Repository navigation
fix: A1 重排序裁决为不接 + E 性能断言纠偏(Vector<RAG 实测不成立) - #5
Merged
Merged
Conversation
audit 的 A1 与 E 落地。
A1 · rerank_with_llm 怎么处置 → 裁决:**不接,明确标注未启用**
docstring 写明「⛔ 未启用」+ 为什么(不是忘了接):
· 真检索在 rrf_fusion 之后直接截断;接进去 = 每次 RAG 多一次秒级往返
· .env 里 DEEPSEEK_API_KEY 默认为空 ⇒ **收益为零、代价确定**
· 无 Key 时它只是打印"跳过"并原样返回,接进去等于多一次空转
+ 将来怎么启用(降级路径 + 性能断言 + 一条证明排序真变了的测试)
裁决见 DEC-004;ARCHITECTURE.md §11 同步登记
E · 性能排序断言 → 处置,**但结论与 audit 的预设不同**
先按用户裁决"补齐那两条断言",补完**第一次跑全量就红了**。
主动复现(ollama stop bge-m3 造冷启动)拿到实测:
KV 0.4-0.6ms · Ledger 1.1-1.6ms · Vector 290-373ms · RAG 341-554ms
⇒ **Vector 与 RAG 只差 6%(373 vs 397ms)**,两者都由同一次 embedding 主导,
谁快取决于当时负载 ⇒ **不可稳定排序**。那句话不只是"没验证过",是**不成立**。
⇒ 改为只断言稳定关系:KV<Ledger、且 VECTOR/RAG 都比 KV 慢 20 倍以上(实测差 600 倍)
文档同步改成与事实相符;并发耗时列标注为"记录值、非断言值"
判据见 DEC-005:「断言只能写机制决定的关系,不能写当次测量决定的关系」
CLAUDE.md 保鲜:清掉 5 处已过时的警告
("Ollama 未安装" · "7 个模块留着死 PG_CONN" · "15s 超时待修" · "45 passed" 等)
—— 过时的警告比没有更坏
提交前两问
① 本次有决策事项 ⇒ 建了**两份** DEC:
· DEC-004-重排序是否接线-20260921.md(三选一:接进去/不接并标注/带开关,含反悔成本)
· DEC-005-性能排序断言能断言到什么程度-20260921.md(含实测证据与可复用判据)
② CHANGELOG 已写(第 3 轮)
测试:58 passed(含连跑 3 次验证新断言不再 flaky)
heweidong-ecco
added a commit
that referenced
this pull request
Sep 21, 2026
test-embedding job 每次都要现下 1.2 GB 权重(实测 1m28s–2m36s,下载占大头)。
加 actions/cache 缓存 ~/.ollama/models。
关键设计:**刻意不设 restore-keys**
前缀匹配会在未精确命中时退而取"最接近的一条" ⇒ 可能**静默用上旧权重且不报错**。
宁可未命中多下一次 —— 与 DEC-003(别让无生产者的量参与判定)、
DEC-005(别把当次测量当架构事实)同族的判据。
key = ollama-models-${{ runner.os }}-bge-m3-v1
⛔ 换模型/升级权重版本时**必须手动递增 v1**,否则 CI 会一直用旧权重。
位置:**必须在「装并启动 Ollama」之前** —— 否则 ollama pull 看不到已恢复的目录,
缓存永远命中不了(这一点已在 YAML 里注释,并做过顺序校验)。
核实(不靠"应该没问题"):
· YAML 可解析;步骤顺序程序化校验:缓存 #5 在 安装 #6 之前 ✅
· path 是否对:容器内实证 Ollama 用 $HOME/.ollama/models(HOME=/root → /root/.ollama/models)
⇒ runner 上 HOME=/home/runner,即 ~/.ollama/models ✅
如实记录两点边界:
· **加缓存后的第一次运行仍要完整下一次**(缓存还不存在),该次结束才写入
· 上游若重新发布 bge-m3 这个 tag,缓存不会自动感知 ⇒ 有意用"确定性换新鲜度"
提交前两问
① 本次有决策事项 ⇒ 新建 DEC-009-CI怎样缓存embedding模型-20260921.md
(四选一:不做 / actions/cache 不用 restore-keys / 换第三方 action / 自建 GHCR 镜像
→ 选定第二种;含"7天/10GB 属文档口径、本次未核实"的诚实标注)
② CHANGELOG 已写
测试:61 passed(本条只改 CI 配置,不影响本地用例)
heweidong-ecco
added a commit
that referenced
this pull request
Sep 21, 2026
加完缓存的第一次运行就暴露了问题:PR 那次存下了(998 MB),合并后主干那次 报 "Path Validation Error: Path(s) ... do(es) not exist, hence no cache is being saved" —— $HOME/.ollama/models 不存在,而同一 job 的测试是过的(模型与服务器都在)。 根因(安装脚本输出里的硬证据): >>> Creating ollama systemd service... Created symlink /etc/systemd/system/default.target.wants/ollama.service → ... 安装脚本会创建并启用一个 systemd 服务(以 ollama 用户跑,模型在 /usr/share/ollama/.ollama/models),它与我们手起的 ollama serve 抢 11434; 而由**服务端**决定 ollama pull 把模型写到哪: · 我们的进程赢 → $HOME/.ollama/models → 缓存能存能取 · systemd 服务赢 → /usr/share/ollama/… → 缓存 path 不存在,**静默不保存** ⇒ 缓存能不能生效靠抢(PR 与主干两次结果不同,即由此而来)。 处置(三条一起做才有意义): 1. 装完 systemctl stop + disable ollama —— 把 11434 唯一交给我们的进程 2. 显式钉死 OLLAMA_MODELS="$HOME/.ollama/models",与 cache 的 path 对齐 3. 加守卫步骤:test -d "$HOME/.ollama/models" 不成立就 exit 1 —— 让"路径不对"表现为**红的 job**,而不是安静地白攒一次缓存 判据(本仓第 N 次同族):**会静默失效的东西,必须配一个能红的守卫。** 缓存存不下 ≠ job 失败 ⇒ 没守卫时只表现为"缓存永远不命中",查无可查。 核实:YAML 可解析;步骤顺序程序化校验(缓存#5 < 安装#6 < 守卫#7 < 跑测试#8); 四条关键行存在性检查通过;cache path == OLLAMA_MODELS 指向同一目录。 提交前两问 ① 本次有决策事项 ⇒ 沿用 DEC-009(已在其「五之二」补记这个竞态与处置,含硬证据) ② CHANGELOG 已写 测试:61 passed(只改 CI 配置)
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
落地
audit源码通读-待修清单-20260921.md的 A1 与 E。A1 ·
rerank_with_llm怎么处置 → 裁决:不接,明确标注未启用docstring 写明「⛔ 未启用」+ 为什么(不是忘了接):
rrf_fusion之后直接截断;接进去 = 每次 RAG 多一次秒级往返(实测 RAG 均 573ms).env里DEEPSEEK_API_KEY默认为空 ⇒ 收益为零、代价确定⇒ 与
DEC-003同一条纪律:别留旋钮没人转。将来要启用,DEC-004写了完整步骤(含降级路径与性能断言)。E · 性能排序断言 → 处置了,但结论与 audit 的预设不同
先按裁决"补齐那两条断言",补完第一次跑全量就红了。主动复现(
ollama stop bge-m3造冷启动)拿到实测:⇒
Vector与RAG只差 6%(373 vs 397ms) —— 两者都由同一次 Ollama embedding 主导,谁快取决于当时负载。⇒ 那句话不只是"没验证过",而是「不成立」。 audit 给的两个选项(补齐断言 / 改文档为部分断言)都不完全适用;正确处置是第三种:断言只写稳定成立的关系。
KV < Ledger、Vector/RAG > KV × 20Vector < RAG文档改成与事实相符;并发耗时列标注为记录值、非断言值。判据见
DEC-005:连跑 3 次验证不再 flaky(含冷启动)。
顺带:CLAUDE.md 保鲜
清掉 5 处已过时的警告("Ollama 未安装" · "7 个模块留着死
PG_CONN" · "15s 超时待修" · "45 passed" 等)——过时的警告比没有更坏(本仓自己的教训:"只有文字就漏")。
提交前两问
① 有决策事项 ⇒ 建了两份 DEC:
DEC-004(重排序:三选一)·DEC-005(断言能断言到什么程度:含实测证据与可复用判据)② CHANGELOG 已写(第 3 轮)