Skip to content

ci: 缓存 bge-m3 权重(1.2 GB),省掉每次重复下载 - #9

Merged
heweidong-ecco merged 1 commit into
mainfrom
ci/cache-bge-m3
Sep 21, 2026
Merged

heweidong-ecco merged 1 commit into
mainfrom
ci/cache-bge-m3

Conversation

@heweidong-ecco

Copy link
Copy Markdown
Owner

test-embedding job 每次都要现下 1.2 GB bge-m3 权重(实测 1m28s–2m36s,下载占大头)⇒ 加 actions/cache。

⛔ 关键设计:刻意不设 restore-keys

前缀匹配会在未精确命中时退而取"最接近的一条" —— 那意味着 可能静默用上旧权重,而且不报错。

⇒ 宁可未命中多下一次。与 DEC-003(别让没有生产者的量参与判定)、DEC-005(别把当次测量当架构事实)是同族判据:别让工具"猜"你的意图。

key: ollama-models-${{ runner.os }}-bge-m3-v1

⛔ 换模型 / 升级权重版本时,必须手动把 v1 递增 —— 否则 CI 会一直用旧权重且不报错。

位置是有讲究的

必须在「装并启动 Ollama」之前 —— 否则 ollama pull 看不到已恢复的目录,缓存永远命中不了。已在 YAML 里注释,并做了程序化顺序校验。

核实(不靠"应该没问题")

检查 结果
YAML 可解析 + 步骤顺序 ✅ 缓存 #5 → 安装 #6
path 是否写对 ✅ 容器内实证:Ollama 用 $HOME/.ollama/models(HOME=/root → /root/.ollama/models)⇒ runner 上即 ~/.ollama/models

如实记录两点边界

  1. 加缓存后的第一次运行仍要完整下一次(缓存还不存在),该次运行结束才写入缓存 ⇒ 第二次才见 hit。
  2. 上游若重新发布 bge-m3 这个 tag,缓存不会自动感知 —— 有意用"确定性换新鲜度"(对本仓跑回归的用途更合适)。

关于 7 天 / 10 GB

那是 GitHub 的文档口径,本次未能核实(docs.github.com 被网络挡住)。
已实测的是:本仓现有 2 条缓存 / 125 MB(都是 setup-python 的 pip 缓存,key 相同、按分支隔离)。

提交前两问

① 有决策事项 ⇒ DEC-009-CI怎样缓存embedding模型-20260921.md(四选一 + 边界 + 反悔成本)
② CHANGELOG 已写

测试

61 passed(只改 CI 配置,不影响本地用例)

test-embedding job 每次都要现下 1.2 GB 权重(实测 1m28s–2m36s,下载占大头)。
加 actions/cache 缓存 ~/.ollama/models。

关键设计:**刻意不设 restore-keys**
  前缀匹配会在未精确命中时退而取"最接近的一条" ⇒ 可能**静默用上旧权重且不报错**。
  宁可未命中多下一次 —— 与 DEC-003(别让无生产者的量参与判定)、
  DEC-005(别把当次测量当架构事实)同族的判据。
  key = ollama-models-${{ runner.os }}-bge-m3-v1
  ⛔ 换模型/升级权重版本时**必须手动递增 v1**,否则 CI 会一直用旧权重。

位置:**必须在「装并启动 Ollama」之前** —— 否则 ollama pull 看不到已恢复的目录,
      缓存永远命中不了(这一点已在 YAML 里注释,并做过顺序校验)。

核实(不靠"应该没问题"):
  · YAML 可解析;步骤顺序程序化校验:缓存 #5 在 安装 #6 之前 ✅
  · path 是否对:容器内实证 Ollama 用 $HOME/.ollama/models(HOME=/root → /root/.ollama/models)
    ⇒ runner 上 HOME=/home/runner,即 ~/.ollama/models ✅

如实记录两点边界:
  · **加缓存后的第一次运行仍要完整下一次**(缓存还不存在),该次结束才写入
  · 上游若重新发布 bge-m3 这个 tag,缓存不会自动感知 ⇒ 有意用"确定性换新鲜度"

提交前两问
① 本次有决策事项 ⇒ 新建 DEC-009-CI怎样缓存embedding模型-20260921.md
   (四选一:不做 / actions/cache 不用 restore-keys / 换第三方 action / 自建 GHCR 镜像
     → 选定第二种;含"7天/10GB 属文档口径、本次未核实"的诚实标注)
② CHANGELOG 已写

测试:61 passed(本条只改 CI 配置,不影响本地用例)
@heweidong-ecco
heweidong-ecco merged commit 375fd79 into main Sep 21, 2026
2 checks passed
@heweidong-ecco
heweidong-ecco deleted the ci/cache-bge-m3 branch September 21, 2026 14:13
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant