Repository navigation
ci: 缓存 bge-m3 权重(1.2 GB),省掉每次重复下载 - #9
Merged
Merged
Conversation
test-embedding job 每次都要现下 1.2 GB 权重(实测 1m28s–2m36s,下载占大头)。
加 actions/cache 缓存 ~/.ollama/models。
关键设计:**刻意不设 restore-keys**
前缀匹配会在未精确命中时退而取"最接近的一条" ⇒ 可能**静默用上旧权重且不报错**。
宁可未命中多下一次 —— 与 DEC-003(别让无生产者的量参与判定)、
DEC-005(别把当次测量当架构事实)同族的判据。
key = ollama-models-${{ runner.os }}-bge-m3-v1
⛔ 换模型/升级权重版本时**必须手动递增 v1**,否则 CI 会一直用旧权重。
位置:**必须在「装并启动 Ollama」之前** —— 否则 ollama pull 看不到已恢复的目录,
缓存永远命中不了(这一点已在 YAML 里注释,并做过顺序校验)。
核实(不靠"应该没问题"):
· YAML 可解析;步骤顺序程序化校验:缓存 #5 在 安装 #6 之前 ✅
· path 是否对:容器内实证 Ollama 用 $HOME/.ollama/models(HOME=/root → /root/.ollama/models)
⇒ runner 上 HOME=/home/runner,即 ~/.ollama/models ✅
如实记录两点边界:
· **加缓存后的第一次运行仍要完整下一次**(缓存还不存在),该次结束才写入
· 上游若重新发布 bge-m3 这个 tag,缓存不会自动感知 ⇒ 有意用"确定性换新鲜度"
提交前两问
① 本次有决策事项 ⇒ 新建 DEC-009-CI怎样缓存embedding模型-20260921.md
(四选一:不做 / actions/cache 不用 restore-keys / 换第三方 action / 自建 GHCR 镜像
→ 选定第二种;含"7天/10GB 属文档口径、本次未核实"的诚实标注)
② CHANGELOG 已写
测试:61 passed(本条只改 CI 配置,不影响本地用例)
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
test-embeddingjob 每次都要现下 1.2 GBbge-m3权重(实测 1m28s–2m36s,下载占大头)⇒ 加actions/cache。⛔ 关键设计:刻意不设
restore-keys前缀匹配会在未精确命中时退而取"最接近的一条" —— 那意味着 可能静默用上旧权重,而且不报错。
⇒ 宁可未命中多下一次。与
DEC-003(别让没有生产者的量参与判定)、DEC-005(别把当次测量当架构事实)是同族判据:别让工具"猜"你的意图。⛔ 换模型 / 升级权重版本时,必须手动把
v1递增 —— 否则 CI 会一直用旧权重且不报错。位置是有讲究的
必须在「装并启动 Ollama」之前 —— 否则
ollama pull看不到已恢复的目录,缓存永远命中不了。已在 YAML 里注释,并做了程序化顺序校验。核实(不靠"应该没问题")
path是否写对$HOME/.ollama/models(HOME=/root→/root/.ollama/models)⇒ runner 上即~/.ollama/models如实记录两点边界
bge-m3这个 tag,缓存不会自动感知 —— 有意用"确定性换新鲜度"(对本仓跑回归的用途更合适)。关于
7 天 / 10 GB那是 GitHub 的文档口径,本次未能核实(
docs.github.com被网络挡住)。已实测的是:本仓现有 2 条缓存 / 125 MB(都是
setup-python的 pip 缓存,key 相同、按分支隔离)。提交前两问
① 有决策事项 ⇒
DEC-009-CI怎样缓存embedding模型-20260921.md(四选一 + 边界 + 反悔成本)② CHANGELOG 已写
测试
61 passed(只改 CI 配置,不影响本地用例)