diff --git a/.github/workflows/tests.yml b/.github/workflows/tests.yml index 6dd80be..dc0d0b6 100644 --- a/.github/workflows/tests.yml +++ b/.github/workflows/tests.yml @@ -150,7 +150,15 @@ jobs: - name: 装并启动 Ollama,拉 bge-m3 run: | - curl -fsSL https://ollama.com/install.sh | sh + # ⚠️ **不要写成 `curl … | sh`** —— 管道会把 curl 的失败吞掉: + # curl 拿不到脚本(例如 ollama.com 返回 504)时,`sh` 读到的是一段空内容、 + # **退出码是 0**,于是脚本继续往下跑,直到 60 秒后才以 + # `ollama: command not found`(exit 127)报错 —— 完全看不出真实原因。 + # 实测(2026-09-21,PR #12):ollama.com 瞬时 504 ⇒ 就是这个表现。 + # ⇒ 先**下载到文件**(失败即在这一步明确报错),再执行;并加重试吃掉瞬时抖动。 + # (这正是 CLAUDE.md §8「判断命令成败别经过管道」那条判据,本文件先前违反了它。) + curl -fsSL --retry 3 --retry-delay 5 https://ollama.com/install.sh -o /tmp/ollama-install.sh + sh /tmp/ollama-install.sh # ⚠️⚠️ 安装脚本会**创建并启用一个 systemd 服务**(日志里可见 # "Creating ollama systemd service..."),它以用户 `ollama` 运行、 @@ -175,7 +183,19 @@ jobs: curl -sf http://localhost:11434/api/tags >/dev/null && break sleep 2 done - ollama pull bge-m3 + + # 服务起来了才 pull;拉取同样可能被上游抖动打断(registry.ollama.ai),故重试 3 次。 + # ⛔ 三次都失败必须让 job 红 —— 别让"模型没拉到"变成后面某个看不懂的测试失败。 + for i in 1 2 3; do + ollama pull bge-m3 && break + echo "::warning::ollama pull 第 $i 次失败,5 秒后重试" + sleep 5 + if [ "$i" = "3" ]; then + echo "::error::ollama pull bge-m3 连续 3 次失败(上游 registry 可能不稳)" + tail -20 /tmp/ollama.log || true + exit 1 + fi + done # ⛔ 守卫:本 job 的缓存能不能存下来,**完全取决于** $HOME/.ollama/models 是否存在。 # 没有这道守卫时,路径不对只会让缓存静默失效(job 照样绿), diff --git a/CHANGELOG.md b/CHANGELOG.md index e8083b2..4a6c6dc 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -9,7 +9,11 @@ --- -## [第 3 轮] · 2026-09-21 · A1/E/D4/C1 + 推送通道 · ✅ 已完成 +## [第 3 轮] · 2026-09-21 · A1/E/D4/C1 + 推送通道 + CI 缓存 · ✅ 已完成 + +> **本轮收尾状态**(2026-09-21 晚):工作区干净 · 本地=远端=`8064c42` · 无 stash / 无未推送 · +> 本地与远端分支都只有 `main` · 11 个 PR 全部合并 · 主干 CI 双 job 绿 · 本地 61 passed。 +> **下一步从 `CLAUDE.md §6「⏭️ 下一步」`接续**(首要项:升级 3 个 action 的主版本,消除 Node 20 告警)。 > 本轮 4 个 PR 已合并(#4 #5 #6 #7);详见各小节与 `docs/decisions决策/DEC-004~008`。 @@ -25,6 +29,28 @@ - ⚠️ **加缓存后的第一次运行仍要完整下一次**(缓存尚不存在),该次运行结束才写入缓存 - 裁决与边界见 **`DEC-009`** +### 操作(Ops)· 修掉 CI 的一处脆弱:管道吞错 + 上游 504 + +**一个只改文档的 PR 让 `test-embedding` 红了** —— 失败在「装并启动 Ollama」步骤: + +``` +curl: (22) The requested URL returned error: 504 ← ollama.com 瞬时 504 +… line 26: ollama: command not found ← 60 秒后才报错,看不出真因 +``` + +**两层原因**: +1. **外部抖动**:`ollama.com` 瞬时 504(`test` job 同一次是绿的 ⇒ 不是逻辑错) +2. **自身缺陷(更值得记)**:`curl … | sh` 的**管道把 curl 的失败吞了** —— + curl 失败时 `sh` 读到空内容、**退出码仍为 0**,脚本继续跑,直到 60 秒后报 + `command not found`。**报出来的错和真实原因毫无关系。** + +> ⛔ **这违反了同一天刚写进 `CLAUDE.md §8` 的判据**("判断命令成败别经过管道")—— +> **判据写对了,然后在自己的 workflow 里违反了它。** + +**处置**:改成「先下载到文件(失败当场报错,带 `--retry 3`)→ 再执行」; +`ollama pull` 加 3 次重试,**三次都失败则 `exit 1`**(不许让"模型没拉到"退化成 +后面某个看不懂的测试失败)。判据见 `DEC-002 §九`。 + ### 操作(Ops)· 修掉缓存落地时踩到的竞态(守护进程抢 11434) ⚠️ **加完缓存的第一次运行立刻就暴露了问题**:PR 那次缓存**存下了**(998 MB), diff --git a/CLAUDE.md b/CLAUDE.md index 5777a43..1e964bf 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -171,6 +171,19 @@ skill_candidate_store(候选 + 双阈值 0.85/0.65 检索) > ⚠️ **第 1 轮已修的:A2 · C2 · D1 · D2 · B2 · B3 · D3**,外加两条新发现(**删除不清缓存** · 7 个模块的死 `PG_CONN`)。 > 细节与证据全在 `CHANGELOG.md` 与复盘里 —— **别再照待修清单去"修"已修好的东西**。 +### ⏭️ 下一步(2026-09-22 从这里开始) + +> **audit 清单(A1–A3 · B1–B3 · C1–C2 · D1–D4 · E)已全部处置完毕**,没有半成品。 +> 工作区干净、本地=远端、11 个 PR 全部合并、主干 CI 双 job 绿。 + +| # | 事项 | 依据(已核实,别重查) | +|---|---|---| +| 1 | **升级 action 主版本**:`checkout@v4→v7` · `setup-python@v5→v7` · `cache@v4→v6` | CI 日志告警 `Node.js 20 is deprecated`。实测三个 action 的 `action.yml`:**我们用的大版本声明 `node20`,最新主版本已声明 `node24`**。⇒ 升级即消告警。⚠️ 跨多个主版本,**按纪律先落 DEC**(看各自 release notes 有无破坏性变更),验收判据=CI 绿 **且** 告警消失 | +| 2 | (可选)把 `perf_baselines.json` 纳入 CI 归档 | `test_day19` 会写它,但已 gitignore、CI 里随 runner 丢弃 | + +> ⚠️ **现状不影响使用**:Node 20 告警只是告警(job 全绿);但 GitHub 终将移除 Node 20, +> 届时仍声明 `node20` 的 action 会**直接失败** ⇒ 属"现在不急、但别拖太久"。 + **审计未覆盖的文件**(`§八` 明列,别以为都读过了):`README.md` · `FAQ.md` · `embedding_test.py` · `insert_*.py` · `append_location_history.py` · `skill_standards/skill-creator-standard.md` · `docs/mermaid.md` · `终端pythonEOF脚本集.md`(已作废的逐日脚本集)· `archive/deprecated/`。 **🔑 本仓的系统性模式:「机制写了,但没接线」。** 已出现 4 次(`rerank_with_llm` · `demote_from_kv` · `cache_delete` · `summary_confidence`)。 @@ -279,6 +292,18 @@ ssh://git@ssh.github.com:443/heweidong-ecco/memory-system.git > ⛔ **不要**为绕过而关 TLS 校验(`GIT_SSL_NO_VERIFY`、改 CA)—— 那是拿安全换连通。 +### ⚠️ 本机 shell 的两个坑(macOS + zsh,与 Linux/bash 不同) + +> 本次**各踩一次**,都在"写命令验证结论"的过程中,值得记下来: + +| 坑 | 表现 | 正确写法 | +|---|---|---| +| **zsh 不对未加引号的变量分词** | `set -- $spec` 后再用 `$1 $2` ⇒ `$1` 拿到**整串**、`$2` 为空 ⇒ 命令静默查错东西 | 用 `while read -r a b; do … done <<'EOF'`,或 zsh 的 `${=spec}` | +| **BSD 的 base64 解码是 `-D`** | macOS 上 `base64 -d` ⇒ 解码失败但**不报错**,得到空串 | `base64 -D`(或改用 `python -c`) | + +> 📌 又一个同族:**它们都不报错,只是安静地给你错的结果。** +> ⇒ 凡"命令跑完了但结果可疑",先怀疑**工具在 macOS 上不是你以为的那个行为**。 + ### ⛔ 判断命令成败,**别经过管道** **本次真实踩到两次**:用 `git fetch … | tail -1` 判成败 ⇒ diff --git "a/docs/decisions\345\206\263\347\255\226/DEC-002-CI\347\232\204embedding\350\276\271\347\225\214-20260921.md" "b/docs/decisions\345\206\263\347\255\226/DEC-002-CI\347\232\204embedding\350\276\271\347\225\214-20260921.md" index 602b1f8..5e12436 100644 --- "a/docs/decisions\345\206\263\347\255\226/DEC-002-CI\347\232\204embedding\350\276\271\347\225\214-20260921.md" +++ "b/docs/decisions\345\206\263\347\255\226/DEC-002-CI\347\232\204embedding\350\276\271\347\225\214-20260921.md" @@ -85,3 +85,42 @@ > 原裁决的措辞是"因为它**会**很慢/很抖"—— 那是**推测**,不是观测。 > 正确顺序:先按最严的做(都阻断)→ 观测到问题再退; > 而不是先退让 → 再等一个"也许永远不会来"的理由去收紧。 + +--- + +## 九 · 第一次真实 flaky(2026-09-21 当晚)与处置 + +**§七 当初写的判据是**:「若将来它真的 flaky —— 先分辨是环境抖动还是真 flaky; +环境抖动 ⇒ 先重试,或给该 job 加缓存/超时」。**当晚就撞上了第一次,照此办理。** + +**现象**:一个**只改了文档**的 PR,`test-embedding` job **红了**,失败步骤是 +`装并启动 Ollama,拉 bge-m3`。日志: + +``` +curl: (22) The requested URL returned error: 504 ← ollama.com 瞬时 504 +/home/runner/work/_temp/….sh: line 26: ollama: command not found +##[error]Process completed with exit code 127 +``` + +**根因有两层**: + +1. **外部**:`ollama.com` 瞬时 504 ⇒ 脚本没下下来 ⇒ **环境抖动,不是逻辑错**(`test` job 同一次是绿的) +2. **自身(更值得记)**:写法是 `curl -fsSL … | sh` —— + **管道把 curl 的失败吞了**:curl 失败时 `sh` 读到空内容、**退出码仍是 0**, + 于是脚本继续跑,直到约 60 秒后才以 `ollama: command not found` 报错 —— + **报出来的错和真实原因毫无关系。** + +> ⛔ **这恰好违反了同一天刚写进 `CLAUDE.md §8` 的判据**:「判断命令成败,别经过管道」。 +> **判据写对了,然后在自己的 workflow 里违反了它** —— 值得记住这个顺序。 + +**处置**(`.github/workflows/tests.yml`): + +| 改动 | 目的 | +|---|---| +| `curl … -o /tmp/ollama-install.sh` + `sh /tmp/…`(**不再用管道**) | 下载失败**当场**报错,不伪装成 60 秒后的 `command not found` | +| 下载加 `--retry 3 --retry-delay 5` | 吃掉瞬时 504 这类抖动 | +| `ollama pull` 加 3 次重试;**三次都失败则 `exit 1`** | registry 也可能抖;但**不许让"模型没拉到"退化成后面某个看不懂的测试失败** | + +**判据**(本次的提炼): +> **依赖外网的步骤,必须让"外网失败"表现为它自己的失败,而不是别的步骤的怪错误。** +> 前者一眼可诊;后者要花一小时才能追到根因(本次就是)。