Repository navigation
fix: D4 合并 RAG 检索查询 + 拆掉 testpaths 陷阱;口令轮换完成 - #6
Merged
Merged
Conversation
D4 · search_rag_knowledge 同一张表查两遍 → 合并为一次查询
先核实"合并会不会丢掉索引优化"(不能凭印象):content_embedding 上
**没有任何向量索引**(只有 pkey + 两个 btree),原来那句
ORDER BY cosine_distance LIMIT k 本来就是全表扫描 + 排序 ⇒ 合并零损失。
TDD(红绿都看着发生):
· 先写 test_day24(3 用例):特征测试 2 条**重构前后都绿**(安全网),
往返次数那条 **RED = 实测 2 次** → 改完 GREEN = 1 次
· 排序用**原始距离**而非四舍五入后的 similarity(否则极近距离会因取整换序)
⚠️ 有意不做 BM25 索引缓存:失效边界不好划,键选错会**静默返回过期结果**
(比慢更糟)—— 理由与将来怎么补见 DEC-006 §四
🔧 顺带拆掉一个反复踩中的陷阱:pytest.ini 改为自动收集
本仓**第三次**撞上"新测试文件不加进 testpaths 就不被收集" ——
pytest 会**静默少跑**,看着绿其实没测(day20 / day22 / day24)。
改为 testpaths = . + norecursedirs(必须含 memory-system-venv ——
pytest 默认只认 "venv" 这个名字,不排除会把 site-packages 扫进来)。
验证:自动收集到 61 个用例 / 8 个文件,venv/data/archive 零命中。
🔐 口令轮换完成(上一轮遗留)
ALTER USER + 更新 .env(不入库);实测**旧口令登录被拒**、新口令走代码正路可连。
⇒ 改代码抹不掉历史,唯一解是让历史里的值失效。
提交前两问
① 本次有决策事项 ⇒ 新建 DEC-006-rag检索的往返次数-20260921.md
(含"先看索引再决定查几次"的判据、有意不做的部分、反悔成本)
② CHANGELOG 已写(第 3 轮)
测试:61 passed(全量)· 45 passed / 16 deselected(不依赖 embedding)
heweidong-ecco
added a commit
that referenced
this pull request
Sep 21, 2026
C1 · TTL_SKILLS 从未被任何代码使用 → **删除,而不是接上去**
· 全仓零引用;技能摘要实际走 event_bus 里的 TTL_SUMMARY=3600
· 而 ARCHITECTURE.md §5 把它当生效项写进「分层 TTL:…Skills 1 年」——**那句话是假的**
· 为什么不接上:1 年缓存 ⇒ 技能更新后脏一年;且技能匹配读的是磁盘 skills/
目录,**根本不吃这条 Redis 缓存** ⇒ 收益为零、代价确定
· 与 DEC-004(重排序不接)同一条纪律:别留旋钮没人转
留了「为什么删、别再加回来」的说明;§5/§11 同步更正
与 TTL_RAG 的区别(同是未使用,一个删一个留)见 DEC-007
CLAUDE.md §8 补两条本次真实踩到的操作教训
· **gh 通、git 不通**:git 传输连续 6 次 16s 超时,而同一时刻 gh pr view /
gh run list 正常 ⇒ 判断真实远端状态要用 gh API / git ls-remote,
⛔ 别拿本地 origin/* ref 当"已同步"(它只在成功的 fetch 后才更新)
—— 本次真实踩到:合并 PR #6 后网络断,本地跑出的是旧主干的用例数(58 而非 61),
差点把过期签出当成"主干已验证"
· **合并后别手动推进本地 main**:squash 产生新 SHA,手动推到本地那个未 squash 的
提交会与远端分叉,下次 pull 变成合并而非快进 ⇒ 等 fetch 成功再 merge --ff-only;
拿不到就如实说"本地落后",别用本地状态冒充远端状态
提交前两问
① 本次有决策事项 ⇒ 新建 DEC-007-TTL-SKILLS删除还是接上-20260921.md
(二选一 + 与 TTL_RAG 为何一处删一处留的判据)
② CHANGELOG 已写(C1 小节)
⚠️ 本地落后于远端:本提交基于 2811d57,而远端 main 已是 b1f6356(PR #6 已合并)。
本机到 GitHub 的 git 传输当前持续失败,故**尚未推送**。
网络恢复后需:git fetch → 本地 main 快进 → 本分支 rebase 到新 main → 推 + PR。
测试:58 passed(这是本地过期主干的基线;C1 只删常量,不涉测试)
heweidong-ecco
added a commit
that referenced
this pull request
Sep 21, 2026
C1 · TTL_SKILLS 从未被任何代码使用 → **删除,而不是接上去**
· 全仓零引用;技能摘要实际走 event_bus 里的 TTL_SUMMARY=3600
· 而 ARCHITECTURE.md §5 把它当生效项写进「分层 TTL:…Skills 1 年」——**那句话是假的**
· 为什么不接上:1 年缓存 ⇒ 技能更新后脏一年;且技能匹配读的是磁盘 skills/
目录,**根本不吃这条 Redis 缓存** ⇒ 收益为零、代价确定
· 与 DEC-004(重排序不接)同一条纪律:别留旋钮没人转
留了「为什么删、别再加回来」的说明;§5/§11 同步更正
与 TTL_RAG 的区别(同是未使用,一个删一个留)见 DEC-007
CLAUDE.md §8 补两条本次真实踩到的操作教训
· **gh 通、git 不通**:git 传输连续 6 次 16s 超时,而同一时刻 gh pr view /
gh run list 正常 ⇒ 判断真实远端状态要用 gh API / git ls-remote,
⛔ 别拿本地 origin/* ref 当"已同步"(它只在成功的 fetch 后才更新)
—— 本次真实踩到:合并 PR #6 后网络断,本地跑出的是旧主干的用例数(58 而非 61),
差点把过期签出当成"主干已验证"
· **合并后别手动推进本地 main**:squash 产生新 SHA,手动推到本地那个未 squash 的
提交会与远端分叉,下次 pull 变成合并而非快进 ⇒ 等 fetch 成功再 merge --ff-only;
拿不到就如实说"本地落后",别用本地状态冒充远端状态
提交前两问
① 本次有决策事项 ⇒ 新建 DEC-007-TTL-SKILLS删除还是接上-20260921.md
(二选一 + 与 TTL_RAG 为何一处删一处留的判据)
② CHANGELOG 已写(C1 小节)
⚠️ 本地落后于远端:本提交基于 2811d57,而远端 main 已是 b1f6356(PR #6 已合并)。
本机到 GitHub 的 git 传输当前持续失败,故**尚未推送**。
网络恢复后需:git fetch → 本地 main 快进 → 本分支 rebase 到新 main → 推 + PR。
测试:58 passed(这是本地过期主干的基线;C1 只删常量,不涉测试)
heweidong-ecco
added a commit
that referenced
this pull request
Sep 21, 2026
test-embedding job 每次都要现下 1.2 GB 权重(实测 1m28s–2m36s,下载占大头)。
加 actions/cache 缓存 ~/.ollama/models。
关键设计:**刻意不设 restore-keys**
前缀匹配会在未精确命中时退而取"最接近的一条" ⇒ 可能**静默用上旧权重且不报错**。
宁可未命中多下一次 —— 与 DEC-003(别让无生产者的量参与判定)、
DEC-005(别把当次测量当架构事实)同族的判据。
key = ollama-models-${{ runner.os }}-bge-m3-v1
⛔ 换模型/升级权重版本时**必须手动递增 v1**,否则 CI 会一直用旧权重。
位置:**必须在「装并启动 Ollama」之前** —— 否则 ollama pull 看不到已恢复的目录,
缓存永远命中不了(这一点已在 YAML 里注释,并做过顺序校验)。
核实(不靠"应该没问题"):
· YAML 可解析;步骤顺序程序化校验:缓存 #5 在 安装 #6 之前 ✅
· path 是否对:容器内实证 Ollama 用 $HOME/.ollama/models(HOME=/root → /root/.ollama/models)
⇒ runner 上 HOME=/home/runner,即 ~/.ollama/models ✅
如实记录两点边界:
· **加缓存后的第一次运行仍要完整下一次**(缓存还不存在),该次结束才写入
· 上游若重新发布 bge-m3 这个 tag,缓存不会自动感知 ⇒ 有意用"确定性换新鲜度"
提交前两问
① 本次有决策事项 ⇒ 新建 DEC-009-CI怎样缓存embedding模型-20260921.md
(四选一:不做 / actions/cache 不用 restore-keys / 换第三方 action / 自建 GHCR 镜像
→ 选定第二种;含"7天/10GB 属文档口径、本次未核实"的诚实标注)
② CHANGELOG 已写
测试:61 passed(本条只改 CI 配置,不影响本地用例)
heweidong-ecco
added a commit
that referenced
this pull request
Sep 21, 2026
加完缓存的第一次运行就暴露了问题:PR 那次存下了(998 MB),合并后主干那次 报 "Path Validation Error: Path(s) ... do(es) not exist, hence no cache is being saved" —— $HOME/.ollama/models 不存在,而同一 job 的测试是过的(模型与服务器都在)。 根因(安装脚本输出里的硬证据): >>> Creating ollama systemd service... Created symlink /etc/systemd/system/default.target.wants/ollama.service → ... 安装脚本会创建并启用一个 systemd 服务(以 ollama 用户跑,模型在 /usr/share/ollama/.ollama/models),它与我们手起的 ollama serve 抢 11434; 而由**服务端**决定 ollama pull 把模型写到哪: · 我们的进程赢 → $HOME/.ollama/models → 缓存能存能取 · systemd 服务赢 → /usr/share/ollama/… → 缓存 path 不存在,**静默不保存** ⇒ 缓存能不能生效靠抢(PR 与主干两次结果不同,即由此而来)。 处置(三条一起做才有意义): 1. 装完 systemctl stop + disable ollama —— 把 11434 唯一交给我们的进程 2. 显式钉死 OLLAMA_MODELS="$HOME/.ollama/models",与 cache 的 path 对齐 3. 加守卫步骤:test -d "$HOME/.ollama/models" 不成立就 exit 1 —— 让"路径不对"表现为**红的 job**,而不是安静地白攒一次缓存 判据(本仓第 N 次同族):**会静默失效的东西,必须配一个能红的守卫。** 缓存存不下 ≠ job 失败 ⇒ 没守卫时只表现为"缓存永远不命中",查无可查。 核实:YAML 可解析;步骤顺序程序化校验(缓存#5 < 安装#6 < 守卫#7 < 跑测试#8); 四条关键行存在性检查通过;cache path == OLLAMA_MODELS 指向同一目录。 提交前两问 ① 本次有决策事项 ⇒ 沿用 DEC-009(已在其「五之二」补记这个竞态与处置,含硬证据) ② CHANGELOG 已写 测试:61 passed(只改 CI 配置)
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
D4 ·
search_rag_knowledge查两遍 → 合并为一次查询先核实一个反直觉的点:合并成"取回全部行再在 Python 排"会不会丢掉索引优化?
实测核实 ⇒ 不会,因为根本没有向量索引可丢:
原
ORDER BY cosine_distance LIMIT k本来就是全表扫描 + 排序 ⇒ 合并零损失。TDD(红绿都看着发生)
有意不做 BM25 索引缓存:失效边界不好划,键选错会静默返回过期检索结果(比慢更糟)。理由与将来怎么补见
DEC-006 §四。🔧 顺带拆掉一个反复踩中的陷阱:
pytest.ini改自动收集本仓第三次撞上「新测试文件不加进
testpaths就不被收集」——pytest会静默少跑,看着绿其实没测(day20 / day22 / day24)。已改为
testpaths = .+norecursedirs:⛔
norecursedirs必须含memory-system-venv—— pytest 默认只认 "venv" 这个名字。验证:自动收集到 61 个用例 / 8 个文件,
venv/data/archive零命中。🔐 口令轮换完成(上一轮遗留)
ALTER USER+ 更新.env(不入库)。实测:旧口令登录被拒 ✓、新口令走代码正路可连 ✓。提交前两问
① 有决策事项 ⇒ 新建
DEC-006-rag检索的往返次数-20260921.md(含判据、有意不做的部分、反悔成本)② CHANGELOG 已写(第 3 轮)
测试
61 passed(全量)·45 passed / 16 deselected(不依赖 embedding)