## 背景 姊妹仓 billion-context-pi 报了 #593(decompress 无法恢复被折叠的图片,P1),已由 PR #594 以「fold + 尾部追加恢复通道」修复。排查本仓库是否存在相同问题时结论是:**字面同题不存在**——自 acp-kernel#365(0.0.85 起,#1188/#1205 修复链)以来,带媒体 sidecar 的消息永不被折叠(`hasMediaPayload` 守卫折叠路径),「折叠吞图 → decompress 还原不了」在本仓库结构性不可能。 但存在**同族缺口**,而且正是 pi#593 里记录的代价来源: ## 缺口 ### 1. stripImages 剥离的图片没有任何恢复通道 - `compress.stripImages`(opt-in,`src/config.ts:353-360`,默认 `stripImagesKeepRecent=5`)在每请求投影时把窗口外的历史图片 part 丢掉(`src/server.ts:2710-2714` 调 `stripHistoricalImages`)。 - 一旦剥离,模型侧再无任何途径看到这些像素:`src/decompress-shared.ts` 只做文本恢复(collectBlockContent / retrieveByRef,全仓无图片返回路径);`image_full`(#1095,`src/image-compress.ts:244`/`377`)只覆盖「被预压缩降采样的原图」,不覆盖 strip 剥离的图。 - 原始字节一直完整躺在 append-only session store 里——恢复通道在数据层面完全可行,缺的只是工具面。 ### 2. 滑窗滑动持续击穿 prompt cache 窗口 = 尾部 keepRecent 条消息。每来一条新消息就有一条旧消息滑出窗口、其字节被改写(图片 part 被删)→ cache 在该点断裂 → **窗口内的图片字节(会话里最贵的部分)全部按 cache-write 重新计费**,永远无法沉淀为 cache-read。图片密集会话(截图驱动开发流)几乎每轮触发;pi#593 记录的实测代价(单会话数亿 cache-write token)即来自这条机制。 ### 3. 不开 stripImages 的另一角:图片消息永不折叠 = 永久驻留 never-fold 保护(正确地)保住了像素,代价是图片消息永久占据上下文;#1095 降采样缓解体积但不解决「想再看旧图」。于是形成两难:**要么烧上下文,要么烧 cache + 旧图永久失明**。图片越密集的用户越被迫选后者。 ## 建议方向(参照 billion-context-pi#594 的做法) 1. **恢复通道**:decompress(或专用工具)按 ref 从 session store 返回原始 image part,**尾部追加**(缓存前缀不动;pi#594 E2E 实测 cacheRead 23192→23351、新增 cacheWrite 仅 1606);内联预算(如 8 张 / 8MB)超出落盘为宿主可读文件。strip 剥离与 fold 可复用同一条通道。 2. `src/image-note.ts`(#781)已在摘要里为图片留了显式占位符并带 ref,恢复提示可直接挂在这些 ref 上,改动面小。 3. (可选)strip 剥离按「块/整消息边界」推进而非逐消息滑窗,降低 cache 击穿频率。 ## 交叉引用 - 姊妹问题与修复:billion-context-pi#593 / billion-context-pi#594 - 本仓库先例:#1188、#1205(折叠吞图 + 解析丢图,已修)、#617(stripImages 起源)、#1095(降采样 + `image_full`)、#781(摘要图片占位符) - 内核:acp-kernel#365(never-fold-media)
Activity
ranxianglei commentedon Oct 3, 2026
审核完成(功能类,按规范先评估、待你拍板再实现)。逐条核对了本仓代码与姊妹仓 PR #594 的做法。结论:方向成立、值得做;但有一处关键前提需修正(会影响实现路径),且涉及配置面 + 跨仓,不满足 auto-merge,需人工合并。
重复判定:无重复。相关项:billion-context-pi#593(同族,已由 #594 修)、acp-kernel#353(image_full 通道,仅覆盖降采样原图)。本 issue 是 proxy 侧「strip 剥离图无恢复 + 滑窗击穿 cache」的同族缺口,独立成立。
逐条核对(证据)
src/decompress-shared.ts的resolveDecompress/collectBlockContent/retrieveByRef全链路只还文本;image_full(Feature: image pre-compression for screenshot-heavy tool results (resize/quality routing) #1095,src/image-compress.ts:386)只对「被降采样的图」按 ref 还原原分辨率,依赖state.imageShrinks记录 —— strip 剥掉的图从未降采样、无 shrink 记录,image_full不碰它。剥离点src/server.ts:2827调 kernelstripHistoricalImages(parsed, protocol, keepRecent)返回{body, removed},被删 part 不留引用。确认:模型侧无途径再看这些像素。Issue 说「原始字节一直完整躺在 append-only session store 里」——本仓不成立。核了
src/store.ts(CCR content store 的byHash全是文本 payload)+src/persist.ts(无任何 base64/image 字段):bili 持久化层只存文本,不存图字节。可恢复的原始像素实际在客户端每轮重发的原始历史里(proxy 模式:客户端维护自己的完整对话、bili 不改其状态,每个入站请求都带全部历史图;strip 是转发前才删)。所以恢复通道的数据源不是「读 session store」,而是「从入站请求的原始历史按 ref 抽取」——在剥离时刻把被删 part 按 ref 记进有界的 session 侧映射即可(复用现有
session.imageEncodeCache/imageFingerprintsByRef的记账形态)。这比 pi#594 更简单:pi 是进程内扩展、fold 后活上下文只剩投影,必须回查 append-only session log;本仓 proxy 入站请求天然带全量原始历史,纯 host 侧抽取 + 尾部注入,不碰 kernel、不加持久化格式。plugin 模式:agent 自带 acp-kernel、发的是它自己的投影视图——agent 未折叠的图仍在它发给 proxy 的请求里,同样可抽;agent 自折叠掉的图在 agent 本地 store,proxy 不可见(归 agent 自己的 decompress 管,如 pi 进程内做法)。根因分层:表面 = strip 后旧图失明 + cache 反复击穿;根本 = 「旧图放哪」只有两极(永久驻留 / 滑窗剥离),缺「按需可逆取回」这条第三路。pi#594 的本质就是把取回做成一等能力(尾部追加、前缀不动),让剥离变可逆。本仓缺的就是这条工具面(数据本就有)。
对建议方向的评价
image_full已是「按 ref 还原」先例;CCR retrieve(executeRetrieve,src/store.ts:153)已有「超阈值落盘<stateDir>/retrieve/<ref>+ 文件指针」交付语义;range-decompress 已有 ephemeral 尾部注入(pendingRetrievals)通道。内联预算(如 8 张/8MB,同 pi#594)超出落盘。改动面小、风险低。src/image-note.ts:91现在占位符是[image: png 1024x768],不带 mNNNNN ref。要么给占位符补 ref(小改),要么像 pi#594 那样在 compress 结果里点名被折叠的图 ref(b1 folded 1 image(s) from m00003)。后者更贴合「折叠点已知」的场景,推荐。stripHistoricalImages在 acp-kernel/wire,改边界逻辑要先发 acp-kernel(发布规则 kernel 先行),且改 strip 语义(行为变更需披露)、可能新增配置项。我的建议(明确)
拆两条线,都在本 issue 下跟踪(同属 stripImages 子系统/同一张力,符合「一个机制一个 issue」):
两者都不满足 auto-merge(wire/message-shape 双模式、配置面、跨仓 pin)→ 人工合并。
需要你拍板的点(拍完我立即开分支做 A)
<stateDir>/retrieve/还是单开?image_restore)?我倾向扩 decompress,你定。ranxianglei commentedon Oct 4, 2026
一个issue内一个pr直接搞 不要分裂
ranxianglei commentedon Oct 4, 2026
收到,单 issue 单 PR 全做,不分裂。落地范围(都在本仓 host 侧,不碰 kernel pin):
decompress按 ref 取回被剥离/折叠的图片——原始像素从入站请求按 ref 抽取,尾部追加交付(内联预算 8 张/8MB,超出落盘宿主可读文件),复用现有pendingRetrievals尾部注入 + retrieve 落盘语义。proxy 全覆盖,plugin 覆盖 agent 未折叠图。image-note占位符补上 mNNNNN ref([image: png 1024x768 @ m00042]),让模型知道像素可取回、该怎么取。先搭恢复通道(数据源在剥离时刻按 ref 记账、跨重启存活),再叠提示与边界。开工。
ranxianglei commentedon Oct 4, 2026
[bot] 🏷 已按「一个 issue 一个 PR、不分裂」完成开发并开 PR:https://github.com/ranxianglei/billion-context/pull/2022**(`Closes #1995`)。核心的恢复通道**已交付;gap2(cache 击穿频率)作为同一 issue 的遗留 facet 留待你拍板,未另立 issue。
结构化七问
是什么问题:stripImages 为省上下文把窗口外的历史图片从每次转发里丢掉,但丢掉的像素对模型永久失明——decompress 只恢复文本,image_full(Feature: image pre-compression for screenshot-heavy tool results (resize/quality routing) #1095)只覆盖被降采样的原图,strip 剥离的图没有任何恢复路径。于是被迫二选一:要么不 strip(图片永不折叠、永久占满上下文),要么 strip(烧 cache + 旧图永久看不见)。
什么原因导致的:机制层面缺「恢复通道」这一环。数据其实一直在——proxy 从不改客户端状态,每轮请求客户端都会把完整原始历史(含所有历史图片)重发上来,strip 只是在转发那一刻删掉 part、且删掉的字节没被保留到任何地方。所以不是拿不到数据,是工具面没把「按 ref 取回原图」接上。(顺带纠正 issue 里的一个前提:本仓库 session store 是纯文本的,图片字节并不落在 store 里——可恢复的原图实际来自客户端每轮重发的原始历史。)
怎么修复的:加一条恢复通道。每轮请求在 strip 之前,从未剥离的请求体里把仍在场的历史图片按其稳定
mNNNNNref 建索引(新模块src/image-restore.ts);decompress新增可选参数imageRef——传"list"列出可恢复项,传某个 ref 就把原始字节写到宿主可读文件(<stateDir>/retrieve/img/)并返回路径给模型的 read 工具。file-first 投递,四种 wire 统一,不做逐协议的内联图片渲染。索引只在开启 stripImages 时构建、关闭时清空,非 strip 会话零开销。是否有回归问题:审过——纯增量。
imageRef是新增可选参数,不传则行为与现在完全一致;非 strip 会话转发的对话消息体与改动前一致(索引构建被 gate 关掉)。唯一可见的字节变化是所有会话的 decompress 工具描述多了一句说明(+imageRef字段)——纯文档,无语义变化。高危模式逐项过:默认值/阈值/时序/输出格式均未动,stripImages 语义不变,fail-fast 路径未触及。已在 rebase 到最新 master 后本地跑定向测试全绿(image-restore 7/7 + wire-contract/golden/portable/decompress 相关共 41 条),typecheck 与 build 通过;全局回归交给 CI。是否破坏缓存:不破坏,反而化解 dilemma。恢复走 file-first——把原图写盘后只把路径返回给模型,原图像素从不进入转发请求体,因此恢复动作本身对 prompt cache 零影响(比 pi#594 的内联追加更省,后者会新增少量 cacheWrite)。本条不改变任何现有缓存行为。
是否改了设计方向:没转向,是在既有边界内补一环。恢复通道完全复用现有机制(ref 体系、
<stateDir>/retrieve/落盘目录、decompress 分发),不引入新子系统、不动内核(acp-kernel pin 未变)。plugin 模式下 agent 自己折叠的图归 agent 自己的进程内恢复(pi#594 那套),proxy 只负责它看得到的 strip 剥离。是否引入了新的配置:没有。v1 刻意不加任何新 config key——落盘位置固定在既有
<stateDir>/retrieve/树下(与 acp_retrieve 同址);内联/落盘的预算旋钮暂未暴露,file-first 是安全默认,形状验证后再按需加。gap2 待你拍板(同一 issue,不另立):降低滑窗每轮击穿 cache 的频率,本质是 token↔cache 的产品权衡——把 strip 边界锚定到压缩事件(一个棘轮水位,host 侧实现、不动内核),可让两次压缩之间转发体字节稳定、cache-read 得以沉淀,代价是下次压缩前多留一些图片 token。这会改默认 strip 时序,属 owner 决策区。方案已就绪,你点头我就加到本分支同一个 PR,不单独拆。
判定:恢复通道已完成、可合并(涉及 wire 形态/跨模式,不走 auto-merge,需人工 merge);gap2 等你一句确认再并入。
test: #1995 extend #1179 decompress schema guard to the sanctioned im…
test: #1995 gate the 0600-mode assertion to POSIX (NTFS ignores mode …
ranxianglei commentedon Oct 4, 2026
看pr review 好像问题比较大
ranxianglei commentedon Oct 4, 2026
[bot] 🏷 已读完 PR review,三件事这样处理:
① 内存驻留(review 主发现)——成立,正在按根因修。根因:
incomingImageIndex把每轮重发历史里所有图片的 base64 一直钉在会话内存里,长截图会话的常驻内存 ≈ 累计全部图片字节,无上界。修法:索引时即落盘、内存只留元数据(ref → {类型/尺寸/路径},不再持有 b64),恢复直接回已写好的文件路径——彻底去掉无上限驻留;且这是非数据丢失型修法(比「字节上限丢弃旧图」更优,不牺牲可恢复性)。改完跑定向验证后作为fix:追加 commit 到本分支。PR 正文会补上这条行为披露。② 两处首轮测试缺口(search-context #1179 的 schema 漂移守卫没认 imageRef、Windows NTFS 忽略 0600 mode 位)review agent 已用追加 commit
78a8a6bc/b27feee3修到分支、CI 全绿——我核对后确认均为 test-only、无 src 语义变更,接受。③ image-note 占位符带 ref 和 gap2(cache-stable strip boundary) 仍等你拍板,见最终回复里的对比与建议。
稍后带修复结果回来。
fix: #1995 bound incomingImageIndex memory by spilling images at inde…
ranxianglei commentedon Oct 4, 2026
[bot] 🏷 review 里的「大问题」已按根因修掉并推上分支(commit
4e0b04b1),CI 会在本次 push 上重跑。逐项:① 内存驻留(review 主发现)——成立,已修
incomingImageIndex把每轮重发历史里所有图片的 base64 一直钉在会话内存里,长截图会话的常驻内存 ≈ 累计全部图片字节,无上界。<stateDir>/retrieve/img/,skip-if-exists),内存只留元数据 + 路径(新类型IndexedImage,不含 b64)。decompress({ imageRef })随之变成纯路径查找(不再重写字节)。常驻内存从 O(总图片字节)降到 O(#refs × 数百字节)。选落盘而非字节上限,是因为它不牺牲可恢复性(上限会丢旧图)。② 两处首轮测试缺口:review agent 已用
78a8a6bc(search-context #1179 schema 守卫认 imageRef)/b27feee3(Windows 下 0600 mode 断言 gate 到 POSIX)修到分支,均为 test-only、无 src 语义变更,我核对后接受。验证证据:本地 typecheck 干净 + 定向套件全绿(image-restore 7 条、decompress-empty-range、fix-decompress-reaper、wire-contract-golden、strip-images×2、proxy-decompress-cache、search-context-cross-session)+ build 通过;全局回归交 CI(本次 push 触发中)。
仍需你拍板两件(都留在本 issue / 本 PR,不另立):
[image: png 1024x768 @ m00042]):让模型不必先list就能直接点名恢复。我建议并入本 PR——host-side 小改、复用现成 ref 体系。你点头我就补一个 commit。判定:review 主发现已闭环,PR 可合并(人工合并);上面两件一确认即可收工。
ranxianglei commentedon Oct 4, 2026
[bot] 🏷 #1995 / PR #2022 状态更新(接上一条内存修复回复)
已交付并推送(分支
2026-10-03_stripimage-recovery-channel,本地全绿:typecheck / 定向套件 / build):decompress({ imageRef })按 ref 恢复 strip 剥离的图片 → file-first 落盘<stateDir>/retrieve/img/,模型用 read 工具读回。proxy 模式全覆盖;原生 agent 自折叠图归其进程内恢复(同 pi#594)。O(图片字节)降为O(refs);restore 退化为纯路径查找,非 lossy。imageRef属性变更。新情况:master 自我的 rebase 基点前进了 47 个提交(含
src/knobs.ts#2030、server.ts多处改动),PR 现显示 dirty(与当前 master 冲突)。我会在范围定稿后做一次干净的最终 rebase(避免二次 rebase 白折腾),复验后再报。等你拍板两件事(都是 wire/产品决策,我不擅自做):
image-note占位符带 ref[image: png WxH @ mNNNNN]—— 我建议并入本 PR(host-side、复用已有 ref,让摘要里的图可直接imageRef恢复)。你定了我就补(如需)+ 最终 rebase + 复验,然后合并归你。在此之前我停手等你的判断。
feat: image recovery channel for stripImages (#1995)
15 remaining items
feat: image recovery channel for stripImages (#1995)
test: #1995 extend #1179 decompress schema guard to the sanctioned im…
test: #1995 gate the 0600-mode assertion to POSIX (NTFS ignores mode …
fix: #1995 bound incomingImageIndex memory by spilling images at inde…
fix: namespace image restore files by session id (#1995 review)
fix: index tool-result-nested images so every stripped shape is recov…
fix: fold-anchored stripImages cutoff, ref-carrying summary notes, re…
refactor: #1995 drop no-op boundaryFull re-assertion in foldAnchoredC…
docs: #1995 sync CONFIGURATION stripImages sections with fold-anchore…
docs: #1995 fold-anchored fallback wording belongs in the yaml seed, …
fix: address #1995 review round 4 — salt spill-dir sanitizer collisio…
Merge pull request #2022 from ranxianglei/2026-10-03_stripimage-recov…
fix: #1995 review F1 — salt spilled image filenames with a content hash
fix: skip incoming-image index builds for provably image-free bodies (r…