Skip to content

ci: 修掉 bge-m3 缓存的竞态(systemd 服务抢 11434 ⇒ 缓存静默不保存) - #10

Merged
heweidong-ecco merged 1 commit into
mainfrom
ci/fix-ollama-race
Sep 21, 2026
Merged

heweidong-ecco merged 1 commit into
mainfrom
ci/fix-ollama-race

Conversation

@heweidong-ecco

Copy link
Copy Markdown
Owner

⚠️ 这是 PR #9 的修正。加完缓存的第一次运行就暴露了问题 —— 值得单独一个 PR,因为它的教训比缓存本身重要。

现象

运行 缓存结果
PR #9 那次 ✅ 存下了(998 MB)
合并后主干那次 ❌ Path Validation Error: Path(s) ... do(es) not exist, hence no cache is being saved

而主干那次的测试是过的(模型与服务器都在)⇒ 模型落到了别的目录。

根因(安装脚本输出里的硬证据)

>>> Creating ollama systemd service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.

安装脚本会创建并启用一个 systemd 服务(以 ollama 用户运行,模型目录 /usr/share/ollama/.ollama/models)。
它与我们手起的 ollama serve 抢 11434,而由服务端决定 ollama pull 把模型写到哪:

谁赢 模型落点 缓存
我们的进程 $HOME/.ollama/models ✅ 能存能取
systemd 服务 /usr/share/ollama/… ❌ 静默不保存

⇒ 缓存能不能生效靠抢 —— PR 与主干两次结果不同,正是因为这个竞态。

处置(三条一起做才有意义)

  1. 装完 sudo systemctl stop ollama + disable —— 把 11434 唯一地交给我们的进程
  2. 显式钉死 OLLAMA_MODELS="$HOME/.ollama/models",与 cache 的 path 对齐
  3. 加守卫步骤:test -d "$HOME/.ollama/models" 不成立就 exit 1
    —— 让"路径不对"表现为 红的 job,而不是安静地白攒一次缓存

📌 判据:会静默失效的东西,必须配一个能红的守卫。
缓存存不下 ≠ job 失败 ⇒ 没有守卫时,它只表现为"缓存永远不命中",查无可查。

核实(不靠"应该没问题")

检查 结果
YAML 可解析 ✅
步骤顺序(程序化校验) ✅ 缓存#5 < 安装#6 < 守卫#7 < 跑测试#8
四条关键行存在性 ✅ systemctl stop / disable / export OLLAMA_MODELS / ollama pull
cache path 与 OLLAMA_MODELS 指向同一目录 ✅

顺带

提交前两问

① 沿用 DEC-009(已补记竞态与处置,含硬证据)
② CHANGELOG 已写

加完缓存的第一次运行就暴露了问题:PR 那次存下了(998 MB),合并后主干那次
报 "Path Validation Error: Path(s) ... do(es) not exist, hence no cache is being saved"
—— $HOME/.ollama/models 不存在,而同一 job 的测试是过的(模型与服务器都在)。

根因(安装脚本输出里的硬证据):
  >>> Creating ollama systemd service...
  Created symlink /etc/systemd/system/default.target.wants/ollama.service → ...
安装脚本会创建并启用一个 systemd 服务(以 ollama 用户跑,模型在
/usr/share/ollama/.ollama/models),它与我们手起的 ollama serve 抢 11434;
而由**服务端**决定 ollama pull 把模型写到哪:
  · 我们的进程赢 → $HOME/.ollama/models        → 缓存能存能取
  · systemd 服务赢 → /usr/share/ollama/…        → 缓存 path 不存在,**静默不保存**
⇒ 缓存能不能生效靠抢(PR 与主干两次结果不同,即由此而来)。

处置(三条一起做才有意义):
1. 装完 systemctl stop + disable ollama —— 把 11434 唯一交给我们的进程
2. 显式钉死 OLLAMA_MODELS="$HOME/.ollama/models",与 cache 的 path 对齐
3. 加守卫步骤:test -d "$HOME/.ollama/models" 不成立就 exit 1
   —— 让"路径不对"表现为**红的 job**,而不是安静地白攒一次缓存

判据(本仓第 N 次同族):**会静默失效的东西,必须配一个能红的守卫。**
缓存存不下 ≠ job 失败 ⇒ 没守卫时只表现为"缓存永远不命中",查无可查。

核实:YAML 可解析;步骤顺序程序化校验(缓存#5 < 安装#6 < 守卫#7 < 跑测试#8);
四条关键行存在性检查通过;cache path == OLLAMA_MODELS 指向同一目录。

提交前两问
① 本次有决策事项 ⇒ 沿用 DEC-009(已在其「五之二」补记这个竞态与处置,含硬证据)
② CHANGELOG 已写

测试:61 passed(只改 CI 配置)
@heweidong-ecco
heweidong-ecco merged commit b4566d4 into main Sep 21, 2026
2 checks passed
@heweidong-ecco
heweidong-ecco deleted the ci/fix-ollama-race branch September 21, 2026 14:27
heweidong-ecco added a commit that referenced this pull request Sep 21, 2026
实测(三次运行对比):
  PR #10(下载,miss→save)      116s
  主干 push(下载,miss→save)    99s
  主干 dispatch(**命中**)        97s
⇒ 缓存实际只省 ~19s(~17%)。

**推翻我原先的说法**:本 DEC 开头写「下载占大头」——**是错的**。
GitHub runner 网络很快,1.2 GB 约 20 秒下完;那 ~100 秒里主要是
Ollama 二进制安装 + pip + 测试本身(CPU 推理)。正确说法是「下载约占 1/5」。

来源分析:原判断来自**本机**体感(8 GB 内存 + 慢网络),**不能外推到 CI** ——
与 DEC-005(把当次测量当成架构事实)是同一族错误。

保留该缓存的理由(已写进 DEC-009 §五之三):
  · 仍是净收益;成本只有 998 MB 配额(上限远未用满)
  · 为正确性加的三件事(停 systemd 服务 · 钉死 OLLAMA_MODELS · 守卫)与缓存无关也该有 ——
    否则模型落在哪不确定,测试跑的可能不是你以为的那份权重

判据:**收益小 ≠ 该撤销,但必须把真实收益说清楚** ——
连"省多少"都不量,就会一直拿一个夸大的理由维护一段复杂度。

提交前两问
① 本次无新增决策事项(沿用 DEC-009,只是补记实测数据与纠正前提)
② CHANGELOG 已写

测试:61 passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant