You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
Content-addressed message store + on-demand retrieval (acp_retrieve) — CCR foundation (from billion-context#1097) #352
Activity
ranxianglei commentedon Sep 22, 2026
[bot] 🏷 Triage 完成(查重 + 审核 + 设计裁定),v1 实现进行中,PR 将回本线程。
1. 重复判定
无重复。相邻但不同主题的 open issue:#350(closed,pre-crush channel JSON/code)、#353(图片预压缩 + image_full restore)、#354(tool-result valuator + 确定性压缩插件接口)。本 issue 是「内容寻址存储 + retrieve 原语」的内核奠基,与三者正交,单独处理。
2. 审核结论(动手前查证)
mNNNNN,byRaw/byRef、additive-only、游标highestUsedIndex+1)✓;StateStore envelope 机制(src/persist/store.ts,原子写/compaction-proof/零新依赖)✓;decompress/collectBlockContent(cache-safe 原语)✓;search_context✓;「编号永不复用」硬保证(allocateFreeRef 前向扫描 + Revert "fix: reclaim dead message refs, reuse exhausted capacity (#176)" — ref slot reuse is unsafe #191 revert)✓。blockContents与applyCompactionArchive是 billion-context 侧概念(前者是 bili 的 per-block 原文缓存,后者在 bilisrc/session.ts——[bug] 0.0.90 regression: syncBlocks throws on id-less host-shaped messages (baseIdOf of undefined) #421 里它在 omp native compaction 后把byRaw/byRefprune 到 live raw ids、nextIndex不动)。内核里没有这两个对象。因此「与 blockContents 合一」在内核侧落地为:内核交付统一的内容寻址 store 形状 + 持久化机制(StateStore),bili 把现有 blockContents 数据迁移进同一 store(PR #1099 原型切换点)。内核保持 zero-I/O(DESIGN.md 核心原则:core holds no state, host persists)。3. 设计裁定(issue 中留白项)
{ version, byHash: Record<sha256, text>, byRef: Record<ref, {hash, rawId, kind, toolName?, tokens, head}> }byHash同 hash 只落一份;ref→raw 别名在写入时固化 → [bug] 0.0.90 regression: syncBlocks throws on id-less host-shaped messages (baseIdOf of undefined) #421 式 archive prune 掉messageRefs后,retrieve 仍按 store 自己的byRef解析,存储的 ref 不因 archive 失效(issue 要求项);append-only,首次写入为准,不参与 ref 空间回收。[acp-stored用于幂等检测与 absorb 排除;元数据(kind/tool、tokens、head preview、command)无时间戳/随机成分,token 数在到达时固化 → 之后 byte-stable(prefix-cache 友好)。ccr-store:位于prune之后、absorb-hide/prompt之前(需 assignRefs 已出 ref;新结果落在 preserve-recent 区不会被 prune 吃掉)。只在到达时替换一次,后续轮次幂等跳过。ID-reference 优先:absorb 候选检查跳过带标记的占位符。core.retrieve(store, ref)→ 原文 | not-found(hallucinated ID 代价 = 一次工具调用)。注入消息用保留前缀acp_retrieved_<ref>(role=system, text,同构于acp_summary_):assignRefs 跳过(永不消耗 ref)+ boundaries 收集 messageIds 时排除(永不进 fold space),即使 host 未剥离而 round-trip 也安全。OpenAI 系 wire 要求每个 tool_call 有配对 tool response → 工具结果本身是短 ack,全文走 trailing request-only message(host 持久化前剥离,与 nudge 同通道)。acp_retrieve不进ACP_TOOL_NAMES,仅config.ccr.enabled时注册/注入;CCR 排除自身工具结果(防 retrieve 结果再被 store 的死循环)。三套 wire schema(Anthropic/OpenAI/Responses)齐备。storedCount/retrievalCount)。folded-block 原文入库做可选开关ccr.storeCompressedMessages(默认 false,导出storeCoveredOriginals()供 adapter 在 applyCompression 后调用)——v2 range 级恢复的地基,默认不改变任何现有行为。4.⚠️ 行为变更披露(强制项)
DEFAULT_ABSORB_CONFIG.minToolTokens:1000 → 4000(两处同步:src/absorb.ts:28+src/config.ts:37)。DEFAULT_ABSORB_CONFIG.enabled保持false→ 默认用户零影响。minToolTokens的 host,强制蒸馏门槛从 1000 tok 升到 4000 tok(1k–4k 的结果不再触发 absorb prompt)。原因:提高有损蒸馏门槛、减少 churn,给无损 CCR 让路(issue 第 5 项明确要求)。Config.ccr.minToolTokens默认同为 4000,两阈值对齐。5. 计划
v1 实现 + 全量测试 → PR(Closes #352)链接回本线程。分支
2026-09-23_ccr-content-store。ranxianglei commentedon Sep 22, 2026
[bot] 🏷 内核侧 CCR 基础已实现完毕 → PR #358(Closes #352):#358
交付内容(对照 issue 的 5 项请求)
新模块
src/content-store.ts+src/ccr.ts(+32 个测试于tests/ccr.test.ts,全套 798/798 通过):MessageContentStore:每会话一个 store,sha256 内容寻址去重(byHash)+ ref 索引(byRef),per-ref append-only、first-write-wins。内核保持零 I/O:store 是纯数据 JSON envelope({version, byHash, byRef}),由 host 与CompressionState走同一条 StateStore 持久化路径(README 有指引)。folded-block 原文可由 host 在applyCompression后调用导出的storeCoveredOriginals()补入——v1 不自动接线(避免扩大 applyCompression 的 API 面),作为 v2 groundwork。maxHeadChars,默认 96)。到达时替换一次,之后字节不变;重复见到(含带 dcp tag 回传的形态)幂等跳过。core.retrieve(store, ref)/applyRetrieve:命中返回{ok, text, ackText, injection, entry};injection 是 ephemeralacp_retrieved_*trailing message——不消耗 ref(assignRefs/rebuild 显式跳过)、不进 fold space(resolveBoundaries 排除)、穿过 prune/hide 节点存活。幻觉 ref → not-found ack(代价一次工具调用)。RETRIEVE_TOOL三套 wire shape 按 absorb 同款 opt-in 模式导出(不在ACP_TOOL_NAMES里)。messageRefs被 archive 式 prune(billion-context#421 场景),ref→原文映射仍指向唯一原文。有专门测试模拟 archive prune 后 retrieve 成功。retrieve 注入永不进入 assignRefs 游标路径,不会导致编号重发。管线接入:
ccr-store节点插在 canonical order 的prune之后、filter之前;processTurn接受可选input.contentStore(省略 = 空 store,存量会话零影响),结果恒带回result.contentStore;status breakdown 新增storedMessages/retrievals(度量 retrieve rate,对应「模型从不 retrieve」风险的观测手段)。DEFAULT_ABSORB_CONFIG.minToolTokens: 1000 → 4000(src/absorb.ts+src/config.tsdefaultConfig 两处同步)。原因:提高强制蒸馏门槛,把大结果处理让位给无损 CCR,减少不必要的有损 churn。无回归面:enabled仍为false(absorb 默认关闭),只有显式开启 absorb 的配置受影响且可自行钉阈值;CCR 本身同样默认关闭(config.ccr.enabled: false)。ProcessTurnResult新增必填字段contentStore(对直接解构 result 的 host 是 additive 变更,类型层面新增字段,运行时向后兼容)。验证
npm run typecheck干净 ·npm test798/798 ·npm run buildOK。新文件 prettier-clean;仓库既有格式债未动。留给 owner 的设计决定(如不同意可改)
blockContents/stableSystem的 StateStore 路径合一由 host 侧完成;billion-context 侧接入时即用现成 StateStore。storeCoveredOriginals留作 host 可调用的导出原语;若你希望 applyCompression 内建(加配置开关),说一声我补上。src/absorb.ts一行(既有疏漏,本次已补 ccr/content-store 两行,absorb 行未动以免混入无关 diff)。v2(block summary 携带 message ID 列表、decompress range 级恢复、search_context 返回 ID)与 v3(planning-aware retrieval)依赖本 PR 落地后可独立跟进。
中文摘要:实现了 issue 请求的内核侧 CCR 基础(内容寻址存储 + 确定性占位符 + acp_retrieve 检索原语),纯增量、默认关闭,唯一行为变更是 absorb minToolTokens 1000→4000(absorb 仍默认关闭,无回归),PR #358 待评审合并。
feat: CCR content-cached retrieval — content store + acp_retrieve pri…