Skip to content

stripImages 滑窗剥离的图片无恢复通道,且滑窗每轮击穿 prompt cache(billion-context-pi#593 同族缺口) #1995

Description

@ranxianglei

背景

姊妹仓 billion-context-pi 报了 #593(decompress 无法恢复被折叠的图片,P1),已由 PR #594 以「fold + 尾部追加恢复通道」修复。排查本仓库是否存在相同问题时结论是:字面同题不存在——自 acp-kernel#365(0.0.85 起,#1188/#1205 修复链)以来,带媒体 sidecar 的消息永不被折叠(hasMediaPayload 守卫折叠路径),「折叠吞图 → decompress 还原不了」在本仓库结构性不可能。

但存在同族缺口,而且正是 pi#593 里记录的代价来源:

缺口

1. stripImages 剥离的图片没有任何恢复通道

  • compress.stripImages(opt-in,src/config.ts:353-360,默认 stripImagesKeepRecent=5)在每请求投影时把窗口外的历史图片 part 丢掉(src/server.ts:2710-2714 调 stripHistoricalImages)。
  • 一旦剥离,模型侧再无任何途径看到这些像素:src/decompress-shared.ts 只做文本恢复(collectBlockContent / retrieveByRef,全仓无图片返回路径);image_full(Feature: image pre-compression for screenshot-heavy tool results (resize/quality routing) #1095,src/image-compress.ts:244/377)只覆盖「被预压缩降采样的原图」,不覆盖 strip 剥离的图。
  • 原始字节一直完整躺在 append-only session store 里——恢复通道在数据层面完全可行,缺的只是工具面。

2. 滑窗滑动持续击穿 prompt cache

窗口 = 尾部 keepRecent 条消息。每来一条新消息就有一条旧消息滑出窗口、其字节被改写(图片 part 被删)→ cache 在该点断裂 → 窗口内的图片字节(会话里最贵的部分)全部按 cache-write 重新计费,永远无法沉淀为 cache-read。图片密集会话(截图驱动开发流)几乎每轮触发;pi#593 记录的实测代价(单会话数亿 cache-write token)即来自这条机制。

3. 不开 stripImages 的另一角:图片消息永不折叠 = 永久驻留

never-fold 保护(正确地)保住了像素,代价是图片消息永久占据上下文;#1095 降采样缓解体积但不解决「想再看旧图」。于是形成两难:要么烧上下文,要么烧 cache + 旧图永久失明。图片越密集的用户越被迫选后者。

建议方向(参照 billion-context-pi#594 的做法)

  1. 恢复通道:decompress(或专用工具)按 ref 从 session store 返回原始 image part,尾部追加(缓存前缀不动;pi#594 E2E 实测 cacheRead 23192→23351、新增 cacheWrite 仅 1606);内联预算(如 8 张 / 8MB)超出落盘为宿主可读文件。strip 剥离与 fold 可复用同一条通道。
  2. src/image-note.ts([Bug] 摘要请求看不到被压缩区间里的图片:renderRange 只取 m.text,图片连占位都没有 #781)已在摘要里为图片留了显式占位符并带 ref,恢复提示可直接挂在这些 ref 上,改动面小。
  3. (可选)strip 剥离按「块/整消息边界」推进而非逐消息滑窗,降低 cache 击穿频率。

交叉引用

Activity

  1. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    审核完成(功能类,按规范先评估、待你拍板再实现)。逐条核对了本仓代码与姊妹仓 PR #594 的做法。结论:方向成立、值得做;但有一处关键前提需修正(会影响实现路径),且涉及配置面 + 跨仓,不满足 auto-merge,需人工合并。

    重复判定:无重复。相关项:billion-context-pi#593(同族,已由 #594 修)、acp-kernel#353(image_full 通道,仅覆盖降采样原图)。本 issue 是 proxy 侧「strip 剥离图无恢复 + 滑窗击穿 cache」的同族缺口,独立成立。

    逐条核对(证据)

    1. strip 后无恢复通道 — 属实。 src/decompress-shared.ts 的 resolveDecompress/collectBlockContent/retrieveByRef 全链路只还文本;image_full(Feature: image pre-compression for screenshot-heavy tool results (resize/quality routing) #1095,src/image-compress.ts:386)只对「被降采样的图」按 ref 还原原分辨率,依赖 state.imageShrinks 记录 —— strip 剥掉的图从未降采样、无 shrink 记录,image_full 不碰它。剥离点 src/server.ts:2827 调 kernel stripHistoricalImages(parsed, protocol, keepRecent) 返回 {body, removed},被删 part 不留引用。确认:模型侧无途径再看这些像素。
    2. 滑窗每轮击穿 cache — 机制成立。 窗口=尾部 keepRecent(默认 5);每条新消息进窗口就有一条旧消息滑出、其图片 part 被改写 → 首个差异字节每轮前移一格 → 该点之后(含窗口内最贵的图片字节)全按 cache-write 重计,沉淀不成 cache-read。截图驱动会话几乎每轮触发,即 pi#593 实测数亿 cache-write 的来源。
    3. 不开 strip 则图永不折叠=永久驻留 — 属实。 never-fold-media(acp-kernel#365,0.0.85+)保住像素但永久占上下文;Feature: image pre-compression for screenshot-heavy tool results (resize/quality routing) #1095 降采样缓解体积但不解决「想看旧图」。两难真实存在。

    ⚠️ 一处前提需修正(影响实现路径)
    Issue 说「原始字节一直完整躺在 append-only session store 里」——本仓不成立。核了 src/store.ts(CCR content store 的 byHash 全是文本 payload)+ src/persist.ts(无任何 base64/image 字段):bili 持久化层只存文本,不存图字节。

    可恢复的原始像素实际在客户端每轮重发的原始历史里(proxy 模式:客户端维护自己的完整对话、bili 不改其状态,每个入站请求都带全部历史图;strip 是转发前才删)。所以恢复通道的数据源不是「读 session store」,而是「从入站请求的原始历史按 ref 抽取」——在剥离时刻把被删 part 按 ref 记进有界的 session 侧映射即可(复用现有 session.imageEncodeCache/imageFingerprintsByRef 的记账形态)。这比 pi#594 更简单:pi 是进程内扩展、fold 后活上下文只剩投影,必须回查 append-only session log;本仓 proxy 入站请求天然带全量原始历史,纯 host 侧抽取 + 尾部注入,不碰 kernel、不加持久化格式。plugin 模式:agent 自带 acp-kernel、发的是它自己的投影视图——agent 未折叠的图仍在它发给 proxy 的请求里,同样可抽;agent 自折叠掉的图在 agent 本地 store,proxy 不可见(归 agent 自己的 decompress 管,如 pi 进程内做法)。

    根因分层:表面 = strip 后旧图失明 + cache 反复击穿;根本 = 「旧图放哪」只有两极(永久驻留 / 滑窗剥离),缺「按需可逆取回」这条第三路。pi#594 的本质就是把取回做成一等能力(尾部追加、前缀不动),让剥离变可逆。本仓缺的就是这条工具面(数据本就有)。

    对建议方向的评价

    1. 恢复通道(decompress 或专用工具按 ref 尾部追加) — ✅ 成立且契合架构。 直接复用现成机制:image_full 已是「按 ref 还原」先例;CCR retrieve(executeRetrieve,src/store.ts:153)已有「超阈值落盘 <stateDir>/retrieve/<ref> + 文件指针」交付语义;range-decompress 已有 ephemeral 尾部注入(pendingRetrievals)通道。内联预算(如 8 张/8MB,同 pi#594)超出落盘。改动面小、风险低。
    2. 挂 ref 到 image-note 占位符 — ⚠️ 小修正: src/image-note.ts:91 现在占位符是 [image: png 1024x768],不带 mNNNNN ref。要么给占位符补 ref(小改),要么像 pi#594 那样在 compress 结果里点名被折叠的图 ref(b1 folded 1 image(s) from m00003)。后者更贴合「折叠点已知」的场景,推荐。
    3. (可选)strip 按块/整消息边界推进 — ✅ 是对 cache 击穿的根治方向(剥离边界锚定稳定点:折叠边界/token 水位,而非每轮平移一格)。但跨仓:stripHistoricalImages 在 acp-kernel/wire,改边界逻辑要先发 acp-kernel(发布规则 kernel 先行),且改 strip 语义(行为变更需披露)、可能新增配置项。

    我的建议(明确)
    拆两条线,都在本 issue 下跟踪(同属 stripImages 子系统/同一张力,符合「一个机制一个 issue」):

    • A·恢复通道(host 侧,先做):剥离时按 ref 记映射 → 按 ref 取回 → 尾部注入 + 超预算落盘,接入 restore-by-ref(proxy 全覆盖;plugin 覆盖未折叠图)。不碰 kernel、不加持久化格式。
    • B·缓存稳定的 strip 边界(跨仓,设计过一遍再做):acp-kernel 加「稳定边界推进」strip 变体 + host 策略 + 可能配置开关。

    两者都不满足 auto-merge(wire/message-shape 双模式、配置面、跨仓 pin)→ 人工合并。

    需要你拍板的点(拍完我立即开分支做 A)

    1. 数据源确认:走「入站请求抽取 / 剥离时刻记账」而非「session store」(store 无图字节)——认可这个修正吗?
    2. 配置面(owner-gated,我会按规范写 config surface 段):是否新增内联预算键(默认 8 张/8MB?)、落盘复用 <stateDir>/retrieve/ 还是单开?
    3. 工具形态:扩 decompress(接受 m-ref 返回图,少一个工具面、复用 hint 链)vs 专用新工具(如 image_restore)?我倾向扩 decompress,你定。
    4. plugin 模式范围:A 先保 proxy 全覆盖 + plugin 未折叠图,够不够?
    5. B 排期:本 issue 内分 PR,还是另开 issue?
  2. ranxianglei commented on Oct 4, 2026

    @ranxianglei
    OwnerAuthor

    一个issue内一个pr直接搞 不要分裂

  3. ranxianglei commented on Oct 4, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    收到,单 issue 单 PR 全做,不分裂。落地范围(都在本仓 host 侧,不碰 kernel pin):

    1. 恢复通道(核心):decompress 按 ref 取回被剥离/折叠的图片——原始像素从入站请求按 ref 抽取,尾部追加交付(内联预算 8 张/8MB,超出落盘宿主可读文件),复用现有 pendingRetrievals 尾部注入 + retrieve 落盘语义。proxy 全覆盖,plugin 覆盖 agent 未折叠图。
    2. 可恢复提示:image-note 占位符补上 mNNNNN ref([image: png 1024x768 @ m00042]),让模型知道像素可取回、该怎么取。
    3. 缓存稳定的剥离边界:把 strip 从「尾部 N 条消息」改为「图片所在消息落在活跃压缩块内才剥离」——边界锚定到折叠点,折叠之间不再逐轮平移 → 消除每轮 cache 击穿;保留最近窗口安全下限。

    先搭恢复通道(数据源在剥离时刻按 ref 记账、跨重启存活),再叠提示与边界。开工。

  4. ranxianglei commented on Oct 4, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已按「一个 issue 一个 PR、不分裂」完成开发并开 PR:https://github.com/ranxianglei/billion-context/pull/2022**(`Closes #1995`)。核心的恢复通道**已交付;gap2(cache 击穿频率)作为同一 issue 的遗留 facet 留待你拍板,未另立 issue。

    结构化七问

    1. 是什么问题:stripImages 为省上下文把窗口外的历史图片从每次转发里丢掉,但丢掉的像素对模型永久失明——decompress 只恢复文本,image_full(Feature: image pre-compression for screenshot-heavy tool results (resize/quality routing) #1095)只覆盖被降采样的原图,strip 剥离的图没有任何恢复路径。于是被迫二选一:要么不 strip(图片永不折叠、永久占满上下文),要么 strip(烧 cache + 旧图永久看不见)。

    2. 什么原因导致的:机制层面缺「恢复通道」这一环。数据其实一直在——proxy 从不改客户端状态,每轮请求客户端都会把完整原始历史(含所有历史图片)重发上来,strip 只是在转发那一刻删掉 part、且删掉的字节没被保留到任何地方。所以不是拿不到数据,是工具面没把「按 ref 取回原图」接上。(顺带纠正 issue 里的一个前提:本仓库 session store 是纯文本的,图片字节并不落在 store 里——可恢复的原图实际来自客户端每轮重发的原始历史。)

    3. 怎么修复的:加一条恢复通道。每轮请求在 strip 之前,从未剥离的请求体里把仍在场的历史图片按其稳定 mNNNNN ref 建索引(新模块 src/image-restore.ts);decompress 新增可选参数 imageRef——传 "list" 列出可恢复项,传某个 ref 就把原始字节写到宿主可读文件(<stateDir>/retrieve/img/)并返回路径给模型的 read 工具。file-first 投递,四种 wire 统一,不做逐协议的内联图片渲染。索引只在开启 stripImages 时构建、关闭时清空,非 strip 会话零开销。

    4. 是否有回归问题:审过——纯增量。imageRef 是新增可选参数,不传则行为与现在完全一致;非 strip 会话转发的对话消息体与改动前一致(索引构建被 gate 关掉)。唯一可见的字节变化是所有会话的 decompress 工具描述多了一句说明(+imageRef 字段)——纯文档,无语义变化。高危模式逐项过:默认值/阈值/时序/输出格式均未动,stripImages 语义不变,fail-fast 路径未触及。已在 rebase 到最新 master 后本地跑定向测试全绿(image-restore 7/7 + wire-contract/golden/portable/decompress 相关共 41 条),typecheck 与 build 通过;全局回归交给 CI。

    5. 是否破坏缓存:不破坏,反而化解 dilemma。恢复走 file-first——把原图写盘后只把路径返回给模型,原图像素从不进入转发请求体,因此恢复动作本身对 prompt cache 零影响(比 pi#594 的内联追加更省,后者会新增少量 cacheWrite)。本条不改变任何现有缓存行为。

    6. 是否改了设计方向:没转向,是在既有边界内补一环。恢复通道完全复用现有机制(ref 体系、<stateDir>/retrieve/ 落盘目录、decompress 分发),不引入新子系统、不动内核(acp-kernel pin 未变)。plugin 模式下 agent 自己折叠的图归 agent 自己的进程内恢复(pi#594 那套),proxy 只负责它看得到的 strip 剥离。

    7. 是否引入了新的配置:没有。v1 刻意不加任何新 config key——落盘位置固定在既有 <stateDir>/retrieve/ 树下(与 acp_retrieve 同址);内联/落盘的预算旋钮暂未暴露,file-first 是安全默认,形状验证后再按需加。

    gap2 待你拍板(同一 issue,不另立):降低滑窗每轮击穿 cache 的频率,本质是 token↔cache 的产品权衡——把 strip 边界锚定到压缩事件(一个棘轮水位,host 侧实现、不动内核),可让两次压缩之间转发体字节稳定、cache-read 得以沉淀,代价是下次压缩前多留一些图片 token。这会改默认 strip 时序,属 owner 决策区。方案已就绪,你点头我就加到本分支同一个 PR,不单独拆。

    判定:恢复通道已完成、可合并(涉及 wire 形态/跨模式,不走 auto-merge,需人工 merge);gap2 等你一句确认再并入。

  5. added 2 commits that reference this issue on Oct 4, 2026
  6. ranxianglei commented on Oct 4, 2026

    @ranxianglei
    OwnerAuthor

    看pr review 好像问题比较大

  7. ranxianglei commented on Oct 4, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已读完 PR review,三件事这样处理:

    ① 内存驻留(review 主发现)——成立,正在按根因修。根因:incomingImageIndex 把每轮重发历史里所有图片的 base64 一直钉在会话内存里,长截图会话的常驻内存 ≈ 累计全部图片字节,无上界。修法:索引时即落盘、内存只留元数据(ref → {类型/尺寸/路径},不再持有 b64),恢复直接回已写好的文件路径——彻底去掉无上限驻留;且这是非数据丢失型修法(比「字节上限丢弃旧图」更优,不牺牲可恢复性)。改完跑定向验证后作为 fix: 追加 commit 到本分支。PR 正文会补上这条行为披露。

    ② 两处首轮测试缺口(search-context #1179 的 schema 漂移守卫没认 imageRef、Windows NTFS 忽略 0600 mode 位)review agent 已用追加 commit 78a8a6bc/b27feee3 修到分支、CI 全绿——我核对后确认均为 test-only、无 src 语义变更,接受。

    ③ image-note 占位符带 ref 和 gap2(cache-stable strip boundary) 仍等你拍板,见最终回复里的对比与建议。

    稍后带修复结果回来。

  8. added a commit that references this issue on Oct 4, 2026
    4e0b04b
  9. ranxianglei commented on Oct 4, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 review 里的「大问题」已按根因修掉并推上分支(commit 4e0b04b1),CI 会在本次 push 上重跑。逐项:

    ① 内存驻留(review 主发现)——成立,已修

    • 是什么问题:incomingImageIndex 把每轮重发历史里所有图片的 base64 一直钉在会话内存里,长截图会话的常驻内存 ≈ 累计全部图片字节,无上界。
    • 什么原因:索引为了「之后能恢复原图」把像素本身存进了内存,而不是只存「去哪取」。
    • 怎么修的:改成索引时即落盘(每张图写 <stateDir>/retrieve/img/,skip-if-exists),内存只留元数据 + 路径(新类型 IndexedImage,不含 b64)。decompress({ imageRef }) 随之变成纯路径查找(不再重写字节)。常驻内存从 O(总图片字节)降到 O(#refs × 数百字节)。选落盘而非字节上限,是因为它不牺牲可恢复性(上限会丢旧图)。
    • 是否有回归:纯增量收敛——非 strip 会话仍零开销(index 构建被 gate 掉);strip 会话功能不变(同一批图仍可 list/恢复);唯一可见变化是文件在 index 时就写好(而非首次恢复时)、恢复改为查路径。文件若被外部清理,降级为明确提示「下次请求会自动重写」,不返回悬空路径。
    • 是否破坏缓存:不破坏。恢复仍是 file-first(像素不进转发体),对 prompt cache 零影响;落盘在本机 retrieve 目录,不产生上游流量。
    • 是否改设计方向 / 引入新配置:无转向、无新配置;工具 schema 没变,golden 未动。

    ② 两处首轮测试缺口:review agent 已用 78a8a6bc(search-context #1179 schema 守卫认 imageRef)/ b27feee3(Windows 下 0600 mode 断言 gate 到 POSIX)修到分支,均为 test-only、无 src 语义变更,我核对后接受。

    验证证据:本地 typecheck 干净 + 定向套件全绿(image-restore 7 条、decompress-empty-range、fix-decompress-reaper、wire-contract-golden、strip-images×2、proxy-decompress-cache、search-context-cross-session)+ build 通过;全局回归交 CI(本次 push 触发中)。

    仍需你拍板两件(都留在本 issue / 本 PR,不另立):

    1. image-note 占位符带 ref(如 [image: png 1024x768 @ m00042]):让模型不必先 list 就能直接点名恢复。我建议并入本 PR——host-side 小改、复用现成 ref 体系。你点头我就补一个 commit。
    2. gap2(cache-stable strip boundary):token↔cache 权衡,方案已就绪,等你确认后并入本分支。

    判定:review 主发现已闭环,PR 可合并(人工合并);上面两件一确认即可收工。

  10. ranxianglei commented on Oct 4, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 #1995 / PR #2022 状态更新(接上一条内存修复回复)

    已交付并推送(分支 2026-10-03_stripimage-recovery-channel,本地全绿:typecheck / 定向套件 / build):

    • 恢复通道:decompress({ imageRef }) 按 ref 恢复 strip 剥离的图片 → file-first 落盘 <stateDir>/retrieve/img/,模型用 read 工具读回。proxy 模式全覆盖;原生 agent 自折叠图归其进程内恢复(同 pi#594)。
    • 内存有界(你 review 的主发现,按根因修):索引时即把图片 spill 到盘、只留元数据,驻留从 O(图片字节) 降为 O(refs);restore 退化为纯路径查找,非 lossy。
    • reviewer 两处测试修复已接受(schema-drift guard + POSIX mode gate)。goldens 仅 decompress 描述 + imageRef 属性变更。

    新情况:master 自我的 rebase 基点前进了 47 个提交(含 src/knobs.ts #2030、server.ts 多处改动),PR 现显示 dirty(与当前 master 冲突)。我会在范围定稿后做一次干净的最终 rebase(避免二次 rebase 白折腾),复验后再报。

    等你拍板两件事(都是 wire/产品决策,我不擅自做):

    1. image-note 占位符带 ref [image: png WxH @ mNNNNN] —— 我建议并入本 PR(host-side、复用已有 ref,让摘要里的图可直接 imageRef 恢复)。
    2. gap2 cache 边界稳定化(strip 边界锚定压缩事件而非逐条滑窗)—— token/cache 权衡,等你 go/no-go;同意就加到同一分支,不同意就留作本 issue 的后续 facet。

    你定了我就补(如需)+ 最终 rebase + 复验,然后合并归你。在此之前我停手等你的判断。

  11. 15 remaining items

  12. added 12 commits that reference this issue on Oct 7, 2026
  13. added a commit that references this issue on Oct 7, 2026
    a1abfcc
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions