From 54c158cc73aa475e0589f2b0fdd4353cef575d67 Mon Sep 17 00:00:00 2001 From: heweidong-ecco <290444878+heweidong-ecco@users.noreply.github.com> Date: Mon, 21 Sep 2026 22:23:24 +0800 Subject: [PATCH] =?UTF-8?q?ci:=20=E4=BF=AE=E6=8E=89=20bge-m3=20=E7=BC=93?= =?UTF-8?q?=E5=AD=98=E7=9A=84=E7=AB=9E=E6=80=81=EF=BC=88systemd=20?= =?UTF-8?q?=E6=9C=8D=E5=8A=A1=E6=8A=A2=2011434=20=E2=87=92=20=E7=BC=93?= =?UTF-8?q?=E5=AD=98=E9=9D=99=E9=BB=98=E4=B8=8D=E4=BF=9D=E5=AD=98=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 加完缓存的第一次运行就暴露了问题:PR 那次存下了(998 MB),合并后主干那次 报 "Path Validation Error: Path(s) ... do(es) not exist, hence no cache is being saved" —— $HOME/.ollama/models 不存在,而同一 job 的测试是过的(模型与服务器都在)。 根因(安装脚本输出里的硬证据): >>> Creating ollama systemd service... Created symlink /etc/systemd/system/default.target.wants/ollama.service → ... 安装脚本会创建并启用一个 systemd 服务(以 ollama 用户跑,模型在 /usr/share/ollama/.ollama/models),它与我们手起的 ollama serve 抢 11434; 而由**服务端**决定 ollama pull 把模型写到哪: · 我们的进程赢 → $HOME/.ollama/models → 缓存能存能取 · systemd 服务赢 → /usr/share/ollama/… → 缓存 path 不存在,**静默不保存** ⇒ 缓存能不能生效靠抢(PR 与主干两次结果不同,即由此而来)。 处置(三条一起做才有意义): 1. 装完 systemctl stop + disable ollama —— 把 11434 唯一交给我们的进程 2. 显式钉死 OLLAMA_MODELS="$HOME/.ollama/models",与 cache 的 path 对齐 3. 加守卫步骤:test -d "$HOME/.ollama/models" 不成立就 exit 1 —— 让"路径不对"表现为**红的 job**,而不是安静地白攒一次缓存 判据(本仓第 N 次同族):**会静默失效的东西,必须配一个能红的守卫。** 缓存存不下 ≠ job 失败 ⇒ 没守卫时只表现为"缓存永远不命中",查无可查。 核实:YAML 可解析;步骤顺序程序化校验(缓存#5 < 安装#6 < 守卫#7 < 跑测试#8); 四条关键行存在性检查通过;cache path == OLLAMA_MODELS 指向同一目录。 提交前两问 ① 本次有决策事项 ⇒ 沿用 DEC-009(已在其「五之二」补记这个竞态与处置,含硬证据) ② CHANGELOG 已写 测试:61 passed(只改 CI 配置) --- .github/workflows/tests.yml | 33 +++++++++++++++ CHANGELOG.md | 29 +++++++++++++ ...dding\346\250\241\345\236\213-20260921.md" | 41 +++++++++++++++++++ 3 files changed, 103 insertions(+) diff --git a/.github/workflows/tests.yml b/.github/workflows/tests.yml index da99b8a..6dd80be 100644 --- a/.github/workflows/tests.yml +++ b/.github/workflows/tests.yml @@ -151,6 +151,25 @@ jobs: - name: 装并启动 Ollama,拉 bge-m3 run: | curl -fsSL https://ollama.com/install.sh | sh + + # ⚠️⚠️ 安装脚本会**创建并启用一个 systemd 服务**(日志里可见 + # "Creating ollama systemd service..."),它以用户 `ollama` 运行、 + # 模型目录在 `/usr/share/ollama/.ollama/models`。 + # 它会和我们下面手起的 `ollama serve` **抢 11434** —— + # **谁赢谁决定 `ollama pull` 把模型写到哪**: + # · 我们赢 ⇒ $HOME/.ollama/models ⇒ 缓存 path 命中,能存能取 + # · 服务赢 ⇒ /usr/share/ollama/… ⇒ path 不存在 ⇒ actions/cache 直接 + # 报 "Path(s) ... do(es) not exist" 且**不保存缓存**(静默失效) + # 实测(2026-09-21):PR 那次我们赢、主干那次服务赢 ⇒ 缓存时有时无。 + # ⇒ 所以这里**先把服务停掉并禁用**,把 11434 唯一地交给下面的手起进程。 + sudo systemctl stop ollama 2>/dev/null || true + sudo systemctl disable ollama 2>/dev/null || true + + # 显式钉死模型目录 —— 必须与上面 cache 步骤的 path(~/.ollama/models)一致。 + # 由**服务端**决定模型落点,所以这个变量要传给它(下面那个 ollama serve)。 + export OLLAMA_MODELS="$HOME/.ollama/models" + mkdir -p "$OLLAMA_MODELS" + nohup ollama serve > /tmp/ollama.log 2>&1 & for i in $(seq 1 30); do curl -sf http://localhost:11434/api/tags >/dev/null && break @@ -158,5 +177,19 @@ jobs: done ollama pull bge-m3 + # ⛔ 守卫:本 job 的缓存能不能存下来,**完全取决于** $HOME/.ollama/models 是否存在。 + # 没有这道守卫时,路径不对只会让缓存静默失效(job 照样绿), + # 表现为"缓存永远不命中"却查不出原因(2026-09-21 真实踩到)。 + # 现在让它在路径不对时**直接红**,而不是安静地白攒一次。 + - name: 守卫:确认模型目录存在(缓存依赖它) + run: | + test -d "$HOME/.ollama/models" || { + echo "::error::$HOME/.ollama/models 不存在 —— 模型很可能落到了 /usr/share/ollama/…" + echo "OLLAMA_MODELS=$OLLAMA_MODELS" + echo "--- ollama 服务日志 ---"; cat /tmp/ollama.log || true + exit 1 + } + du -sh "$HOME/.ollama/models" + - name: 跑需要 embedding 的用例 run: pytest -m requires_ollama -q diff --git a/CHANGELOG.md b/CHANGELOG.md index 3434abb..cbec110 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -25,6 +25,35 @@ - ⚠️ **加缓存后的第一次运行仍要完整下一次**(缓存尚不存在),该次运行结束才写入缓存 - 裁决与边界见 **`DEC-009`** +### 操作(Ops)· 修掉缓存落地时踩到的竞态(守护进程抢 11434) + +⚠️ **加完缓存的第一次运行立刻就暴露了问题**:PR 那次缓存**存下了**(998 MB), +合并后主干那次却报 `Path Validation Error: Path(s) ... do(es) not exist, hence no cache is being saved` +—— 即 `$HOME/.ollama/models` **不存在**,而同一 job 的测试**是过的**(模型与服务器都在)。 + +**根因**(安装脚本输出里的硬证据): +``` +>>> Creating ollama systemd service... +Created symlink /etc/systemd/system/default.target.wants/ollama.service → ... +``` +安装脚本会**创建并启用一个 systemd 服务**(以 `ollama` 用户跑,模型在 `/usr/share/ollama/.ollama/models`), +它与我们手起的 `ollama serve` **抢 11434**,而**由服务端决定 `ollama pull` 把模型写到哪**: + +| 谁赢 | 模型落点 | 缓存 | +|---|---|---| +| 我们的进程 | `$HOME/.ollama/models` | ✅ 能存能取 | +| systemd 服务 | `/usr/share/ollama/…` | ❌ **静默不保存** | + +⇒ **缓存能不能生效靠抢**(PR 与主干两次结果不同,即由此而来)。 + +**处置**(三条一起做): +1. 装完 `systemctl stop` + `disable ollama` —— 把 11434 唯一交给我们的进程 +2. **显式钉死 `OLLAMA_MODELS="$HOME/.ollama/models"`**,与 cache 的 `path` 对齐 +3. **加守卫步骤**:目录不存在就 `exit 1` —— 让"路径不对"表现为**红的 job**,而不是安静白攒一次 + +> 📌 判据:**会静默失效的东西,必须配一个能红的守卫**(缓存存不下 ≠ job 失败, +> 没守卫时只表现为"缓存永远不命中",查无可查) + ### 操作(Ops)· 推送通道与仓库卫生 - **`origin` 改走 SSH-over-443**(`ssh://git@ssh.github.com:443/...`)—— diff --git "a/docs/decisions\345\206\263\347\255\226/DEC-009-CI\346\200\216\346\240\267\347\274\223\345\255\230embedding\346\250\241\345\236\213-20260921.md" "b/docs/decisions\345\206\263\347\255\226/DEC-009-CI\346\200\216\346\240\267\347\274\223\345\255\230embedding\346\250\241\345\236\213-20260921.md" index d61f85b..cc83a83 100644 --- "a/docs/decisions\345\206\263\347\255\226/DEC-009-CI\346\200\216\346\240\267\347\274\223\345\255\230embedding\346\250\241\345\236\213-20260921.md" +++ "b/docs/decisions\345\206\263\347\255\226/DEC-009-CI\346\200\216\346\240\267\347\274\223\345\255\230embedding\346\250\241\345\236\213-20260921.md" @@ -67,6 +67,47 @@ key: ollama-models-${{ runner.os }}-bge-m3-v1 - [ ] 首次运行:日志出现缓存 **miss** ⇒ 下载 ⇒ 结束时 **saved** - [ ] 第二次运行:日志出现缓存 **hit** ⇒ 无 1.2 GB 下载 ⇒ 用 `gh api …/actions/caches` 核到该条目 +## 五之二 · ⚠️ 落地后立刻踩到的坑:**守护进程抢 11434,缓存时有时无** + +> 这是**实现层**的发现,写在这里是为了不让它再发生(也因为它正是"缓存静默失效"的活标本)。 + +**现象**:PR 那次跑,缓存**存下了**(998 MB);合并后主干那次,却报 + +``` +[warning]Path Validation Error: Path(s) specified in the action for caching do(es) not exist, + hence no cache is being saved. +``` + +即:**`$HOME/.ollama/models` 在主干那次根本不存在**,而同一 job 的测试**是过的**(说明模型与服务器都在)。 + +**根因**(安装脚本输出里抓到的硬证据): + +``` +>>> Creating ollama systemd service... +Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service. +``` + +Ollama 安装脚本会**创建并启用一个 systemd 服务**(以用户 `ollama` 运行,模型目录 +`/usr/share/ollama/.ollama/models`)。它和我们手起的 `ollama serve` **抢 11434**, +而**由服务端决定 `ollama pull` 把模型写到哪**: + +| 谁赢 | 模型落点 | 结果 | +|---|---|---| +| 我们手起的进程 | `$HOME/.ollama/models` | ✅ 缓存能存能取 | +| systemd 服务 | `/usr/share/ollama/.ollama/models` | ❌ 缓存 path 不存在 ⇒ **静默不保存** | + +⇒ 这是个**竞态**:缓存能不能生效靠抢。PR 与主干两次结果不同,即由此而来。 + +**处置**(两条一起做才有意义): + +1. 装完后 `sudo systemctl stop ollama` + `disable` —— 把 11434 唯一地交给我们的进程 +2. **显式钉死 `OLLAMA_MODELS="$HOME/.ollama/models"`**,与 cache 的 `path` 对齐 +3. **加守卫步骤**:`test -d "$HOME/.ollama/models"` 不成立就 **`exit 1`** —— + 让"路径不对"表现为**红的 job**,而不是安静地白攒一次缓存 + +> 📌 **判据(本仓第 N 次同族)**:**会静默失效的东西,必须给它配一个能红的守卫。** +> 缓存存不下 ≠ job 失败 —— 所以没有守卫时,它只会表现为"缓存永远不命中",查无可查。 + ## 六 · 反悔成本 低。删掉那个 `uses: actions/cache` 步骤即可回到 A;