You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
[design] Parallel compression saves cache; both failure and success strategies account for PARTIAL fold double-seam cost | [design] 并行压缩节省缓存,失败和成功策略都考虑 PARTIAL fold double-seam cost — per-range commit makes rejected-range retry pay twice (#2997 §5) #3003
#2997 §5 提出、本仓库探针确认的问题:多 range compress 是逐 range 提交(kernel/src/compress.ts:658 循环,每个 range 独立 applySingleRange;失败仅 append errors,已成功的 block 保留)。一次调用里部分 range 落地、部分被拒(outcome=partial)时:
已落地 block 打开第 1 个 seam,下一次请求已重付一次 suffix;
模型按提示「Retry ONLY the failed range(s)」重试被拒 range,再开第 2 个 seam → 双重重付。
对照:整批全失败(0 落地)时重付为 0。
validateSummaryLength(kernel/src/compress.ts:1615)是纯函数(只看 spec.summary vs cfg.maxSummaryLength / spec.summaryMaxChars)。可在折叠任何 range 之前预检所有 range 长度 → all-or-nothing:任一会被拒就整批拒,重付 0。代价:失去逐 range 部分进度(一个坏 range 拖垮整批好 range)。
什么原因导致的:根因是提交粒度。长度校验发生在每个 range 各自的 applySingleRange 内部(建块前),但 sibling range 之间没有原子性——一个 range 的长度失败只拦它自己,拦不住同批别的 range 先建块。而摘要长度本是纯函数(只依赖 spec.summary/summaryMaxChars/cfg),可以在任何块落地前统一预检。
Activity
ranxianglei commentedon Oct 13, 2026
[bot] 🏷 已把代码、探针结论、#2753 边界都核完,给出明确建议。未实现任何改动(本 issue 明确"未拍板前请勿实现"),等 owner 决策。
一、核实结果(代码 + 探针均验证过)
kernel/src/compress.ts:658的for (const spec of input.ranges)循环对每个 range 调applySingleRange;成功即 mutatestate.blocks(block 落地),失败只errors.push(...)后continue。一次调用内部分落地、部分被拒(outcome=partial)时,已落地的 block 保留。validateSummaryLength是纯函数属实(kernel/src/compress.ts:1615):只看spec.summary与cfg.minSummaryLength/maxSummaryLength、spec.summaryMaxChars,不依赖 messages/state → 可在折叠任何 range 之前预检。applySingleRange的 throw 分两类——→ 作者提案「长度类改 all-or-nothing、内容类仍逐 range」的分界是对的,且是最小安全切面。
src/stream.ts:868-884,netDelta<=0才拒),且在 kernelapplyCompression之后才 tally。一个"好 range 净收缩 + 一个 summary 过长被拒"的批仍是整体净正→ 过 net 门 → 照常被 commit → 照样双缝。而且 preflight / external-summary 的 preview 路径直接调applyCompression,连 host 门都不经过。所以修法必须落在 kernel 的 per-range commit 循环之前,host 侧修不了。二、明确建议:方案 2(长度类 all-or-nothing 预检),落在 kernel,置于 mutate 循环(line 658)之前
不是三选一里随便挑,理由:
gateMessage逻辑,compress.ts:~540-656,在 mutate 循环前就能整批返回);fix: refuse manual compress folds with zero/negative net benefit before commit (#2748) #2753 也刚立了同样的「commit 前整批拒」范式。把长度预检并入既有门相是扩展既有模式,不是发明新模式。配套细化(保留逃生口):整批拒的报错文案要明确给两条出路——「缩短该 range 摘要后整批重发」或「丢掉该 range、只重发其余 range」。既消除盲重试造成的意外双缝,又不把「某个 range 实在压不好」死锁成「整批永远折不动」。
三、诚实的代价与残余
四、Kernel Boundary 影响(若拍板方案 2)
这是
kernel/**改动:PR body 须声明kernel-change: <reason>;实现前需 owner 批准(本 issue 即为该专用 issue,理由=host 侧修不了,见上);kernel/package.json须 bump version;human-only review(不可 auto-merge);两层测试(kernel 单测 + bili 套件/e2e)都得绿。无 wire-shape / persistence / config-surface 变更。五、待 owner 拍板
我的建议是方案 2(kernel 侧长度类 all-or-nothing 预检 + 逃生口文案)。请定夺:①采纳方案 2 并授权我按 Kernel Boundary 流程开实现 PR;②维持方案 1(接受双缝成本,靠 §6"batch 进一个 call"缓解);③其它方向。在你拍板前我不动代码。
ranxianglei commentedon Oct 13, 2026
8问
ranxianglei commentedon Oct 13, 2026
[bot] 🏷 按八问作答。前提:本 issue 尚未实现任何改动(你要求"未拍板前请勿实现"),故第 4–8 问描述的是**建议方案(方案 2)**的预期行为,非已完成变更;第 1–3 问是我对现状的核实结论。
1. 是什么问题
多 range 压缩是逐 range 提交的:一次
compress调用里,若某个 range 摘要超长被拒、其余 range 正常落地,已落地的先开一道"缝"(前缀重写→下次请求整段 suffix 重付),模型按提示重试被拒 range 又开第二道缝 → 同一批折叠重付两次。对照:整批全失败时重付为 0。这是成本问题(多花钱),不是稳定性 bug(PR #3002 探针已确认缝在 steady build 里头稳定、summary 不越位)。2. 什么原因导致的(分层)
applyCompression(kernel/src/compress.ts:658循环)对每个 range 独立 commit,失败只记errors[]不回滚已落地 block;而"摘要长度"校验(validateSummaryLength,compress.ts:1615,纯函数)是在提交之后(applySingleRange 尾部)才跑 —— 可预测的长度失败没能阻止前面的 range 先落地开缝。3. 影响范围与严重程度
maxSummaryLength(或空/过短)+ 其余合法落地。单 range 调用、整批全失败都不触发(后者重付 0)。4. 怎么修复的(策略/机制,建议方案)
把长度类校验从"提交后逐 range"提前到"提交任何 range 之前整批预检":在 kernel mutate 循环(line 658)之前、分类(gate 相)之后,对将要真正折叠的那批 spec(已排除 consumed/unknown/overlap-skip)逐个跑
validateSummaryLength(已是纯函数);任一会被长度拒 → 整批拒、0 落地、0 缝,报错文案给两条逃生口(「缩短该 range 摘要后整批重发」/「丢掉该 range、只重发其余」)。内容类错误(依赖 state + range 间交互)保持逐 range 不变。这样从源头切断"先开缝再重试再开缝",不在下游掩盖。关键约束:预检必须限定在折叠候选集上,不能对
input.ranges盲目全跑——否则"某 range 本就 consumed 但其摘要恰好超长"会把整批误杀(比现状更差)。5. 是否有回归问题
逐项过既有行为:
高危模式逐项:语义漂移?仅上条④,且有意的成本优化。fail-fast 变吞错?相反——预检是更早 fail-fast,不是吞错。阈值/时序/wire 形状漂移?不改任何阈值(
maxSummaryLength等原样)、不改时序(只是把检查点前移)、不改 wire 消息形状。唯一可见变化是 PARTIAL 场景下工具返回的 error 文案(从"部分成功+retry failed"变"整批拒+两条出路")——属提示词/文案层,实现时须确认非 load-bearing prompt 规则(四条Prompts规则不动)。一个要盯的点:同一 range 若同时有长度问题和内容问题,现状报的是先抛的那个(内容类,因它在 applySingleRange 里更早抛);预检后长度类会先报。这只改哪条消息出现,不改"该 range 必失败"的事实,属可接受的最小漂移。
6. 是否破坏缓存
正相反——本 issue 核心就是减缓存重付。方案把"双缝"降成"单缝",少一次整段 suffix 重付;不新增任何失效源:不改 prefix 结构、不动 summary 锚点位置、不碰 pinned first-user 逻辑(#2741/#2755 pin-safe prune 不受影响)。预检在任何 rebuild 之前,被拒 batch 根本不产生 rebuild → 完全不碰缓存。重试轮=一次正常 fold=一缝,与"本该一次折完"等价。
7. 是否改了设计方向
不改架构/边界/数据流:仍 model-driven、仍 kernel 执行
applyCompression、仍 host 拿结果 rebuild。只是把"长度类可预测失败"的判定从 commit 后移到 commit 前——与 #2753 刚立的"commit 前整批拒"范式同向,是把一个已知失败点纳入既有 pre-commit gate 纪律,非转向。边界判断(为何放 kernel 而非 host):plugin mode 与 preview 路径都直调 kernel,host 侧够不到;kernel 是两模式唯一公共决策点,合 KDD#7(两模式都要推演)。
8. 是否引入新配置
无。不加 env/config/CLI flag,不改任何默认值;
maxSummaryLength/minSummaryLength/summaryMaxChars原样。逃生口是报错文案里的一句话,不是配置项。收工判定:这是待拍板的建议,不是已完成修复。结论:方案 2(kernel 侧、折叠候选集上的长度类 all-or-nothing 预检 + 逃生口文案)是唯一同时做到治根、覆盖两模式、不动 wire/persistence/config 的最小改动,建议采纳。采纳后我按 Kernel Boundary(
kernel-change声明 +kernel/package.jsonbump + human-only review + kernel 单测/bili 套件两层绿)开 PR;在你明确授权前不动代码。ranxianglei commentedon Oct 13, 2026
[bot] 🏷 八问已在上面那条(floor 6)答完,这里只收个尾、不重复:
已完成:代码逐行核实(逐 range commit 循环
kernel/src/compress.ts:658、validateSummaryLength纯函数:1615、错误面分层、两模式执行路径、#2753/#3002 边界)+ 给出明确建议(方案 2:kernel 侧、折叠候选集上的长度类 all-or-nothing 预检 + 逃生口文案)。未做:未动任何代码——遵守你"未拍板前请勿实现"。
现在只差你一个决定:①采纳方案 2 并授权我按 Kernel Boundary 开 PR;②维持现状;③其它方向。你定了我就按对应路径走,定之前不动手。
ranxianglei commentedon Oct 14, 2026
这个方案很好,我补充一些让他更加省
ranxianglei commentedon Oct 14, 2026
[bot] 🏷 方向对,我把三条都按真实机制 + 成本账压一遍,直说哪条划算、哪条其实跟自己的目标打架。先立个成本标尺,后面都拿它量:
成本标尺(谁贵谁便宜)
→ 省钱第一杠杆是减少独立提交次数(缝),不是减少重发。下面每条都对齐这个。
#1(失败文本留在原地 + 重编辑/扩 max 工具)
~/.config的maxSummaryLength调大一次),不该做成模型运行时旋钮。#2(确实太长必须精简 → 只能重新生成)
同意,和 all-or-nothing 逃生口一致。补一刀优先级:内容确实丰富时,优先「拆 range」而非「重写成更短」——拆既保真又不顶 cap,还能塞进同一批(一缝);只有 range 小到能浓缩时才走「重写更短」。
#3(连续压缩不立即折叠,等没有下一次再折,N 次只付一次)
目标我完全认同:N 次连续折叠理想就该付 1 道缝。但我反对的是跨请求延迟折叠这个机制——风险高,且跟触发它的动态对着干:
合起来的实现面(等你拍板)
maxSummaryLength,不做模型运行时旋钮。动手前请你确认范围:1–3 是我建议的落地面(1 动 kernel,2/3 动提示词层);4/5 视数据再说。确认前仍不动代码。
ranxianglei commentedon Oct 14, 2026
都做吧 尤其是4收益最大 但是被你列为可选了
[-][design] PARTIAL fold double-seam cost — per-range commit makes rejected-range retry pay twice (#2997 §5)[/-][+][design] 并行压缩节省缓存,失败和成功策略都考虑 PARTIAL fold double-seam cost — per-range commit makes rejected-range retry pay twice (#2997 §5)[/+]ranxianglei commentedon Oct 14, 2026
[bot] 🏷 收到,"都做"我领了。但动手前我把 #4 又对着代码压了一遍,发现它其实是空操作(近乎零收益),得先跟你对齐——因为它是你点名的最大收益项,我不能闷头建一个没用的东西。
关键发现:#4 为什么是空的
bili 的 agentic 循环是服务端自己驱动的(
src/loop/core.ts:1271-1279:"proxy acts as the client",受MAX_LOOP_ROUNDS限)。每轮(round)内:src/loop/core.ts:1065-1101的 for 循环,每个 compress 各自 commit);refreshFolded(src/loop/core.ts:1243-1263)把折叠物化到下一轮视图。→ 同一轮里的多个 compress 本来就合并成一道缝(一次 refresh = 一次前缀翻转)。我原把 feat: OpenAI Responses API support (/v1/responses) #4 定义为"同响应并行 compress 合并提交",而这现在已自动发生,照建就是死代码。
"连续压缩 N 次付一次"真正的来源
缝不是按"提交次数",而是按"折叠在哪个 round 物化"算:
要压到 1 道只有两条路:
refreshFolded,攒到循环结束一次性物化。直接对抗现有设计——refreshFolded是刻意让模型尽快看到压缩效果、避免中途爆窗。延迟会让模型全程看着未压缩原文干活、上下文继续涨,恰在"快满了才反复压"([cache] 0.1.196 (d64139f9) 仍复现 post-fold follow-up excess —— #2741/#2755 修复后 2/2 大折叠复发 #2997 场景)时最易爆。落地计划(等你点头)
现在就做(已授权、低风险、互不依赖):
需要你确认一件:同意把 #4 从本次范围撤掉、延迟物化留待埋点后单独决策吗?点头我就按 1–3 开工(kernel 改动走 Kernel Boundary:声明 + bump + human-only review + 两层测试)。若你想让我先把延迟物化的具体代价量化出来再定,我可以只出风险评估、不实现。
ranxianglei commentedon Oct 18, 2026
接单
[-][design] 并行压缩节省缓存,失败和成功策略都考虑 PARTIAL fold double-seam cost — per-range commit makes rejected-range retry pay twice (#2997 §5)[/-][+][design] Parallel compression saves cache; both failure and success strategies account for PARTIAL fold double-seam cost | [design] 并行压缩节省缓存,失败和成功策略都考虑 PARTIAL fold double-seam cost — per-range commit makes rejected-range retry pay twice (#2997 §5)[/+]ranxianglei commentedon Oct 18, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重: 不重复 —— 本 issue 即 #3003(该设计文档本体),无同机制的并行 issue/PR;交付为单一 PR #3670(Closes #3003)。
标签: bug + dsh + scope/kernel + p2 —— 缺陷类成本问题;#2997 现场为 dsh-lane;修复全在内核压缩引擎;特定条件下多 range 折叠有实际成本损失、非致命。
实现完成,PR 已开:**#3670 master,两 commit:
kernel:主修 +feat:埋点)。本地 kernel 套件 1304/1304 绿,host typecheck 过;全量 bili 套件/e2e 交 CI 判定。八问:
compress里,只要有一个 range 的摘要长度校验失败(超上限/低于下限),其余合法 range 会先落地、打开一条缝(下次请求重付折叠点之后的整个后缀),模型重试失败的那个又开第二条缝 → 双缝双倍重付。是成本问题,不是稳定性 bug(test(dsh-lane): post-fold prefix-stability backstop for the uncovered plugin/openai lane (#2997) #3002 probe 已证缝头稳定)。applySingleRange内部(建块前),但 sibling range 之间没有原子性——一个 range 的长度失败只拦它自己,拦不住同批别的 range 先建块。而摘要长度本是纯函数(只依赖spec.summary/summaryMaxChars/cfg),可以在任何块落地前统一预检。applyCompression逐-range 提交循环之前加一道 all-or-nothing 长度预检,作用域严格限定在会改 state 的折叠候选集(status==="ok"未跳过 ∪status==="consumed"且 refold 决策 kind=refold)。任一候选长度类失败 → 整批拒绝(blocksCreated=0,零缝);错误信息点名每个越界 range + 超出量 + 给两个出口(缩短/拆分后整批重发,或剔除越界 range 只重发其余)。内容类错误(保护区全空 / turn-integrity 拆分 / 无新消息)依赖 state+跨 range 覆盖,保持逐 range 不变。host 侧另加轻量埋点:按 turn 统计带折叠的 round 数,≥2 打日志,量化残余多缝成本,供后续「延迟物化」拍板(本次不实现)。blocksCreated>0触发,整批拒(=0)不会误重置。SUMMARY_BUDGET_NOTE本就写「单个超长摘要会让整个 call 失败、什么都不折」;此前描述的是期望契约而内核做的是部分提交,现在行为终于对齐了这句话。compress.maxSummaryLength/minSummaryLength/ per-specsummaryMaxChars,不加任何 env/config/flag。判定:可合(待人工 review +
kernel-guardjob + CItestlanes 绿)。kernel 变更按边界规则需人工审,我不合并——请 owner 自行合并:#367011 remaining items
test: pin the refold direction of the all-or-nothing length gate (#3003…
refactor(fold-hold): drop dead test seam + internal-only export, remo…
feat(compress): defer fold materialization through compress bursts — …
refactor(fold-hold): drop dead test seam + internal-only export, remo…
test: pin the eager fold-render contract in fold-visibility suites (#…
test: pin the eager fold-render contract in fold-visibility suites (#…
Merge origin/master into feat/defer-materialization (release-train sy…
ranxianglei commentedon Oct 19, 2026
ai: zhipuai-lb/glm-5.3
关联(同族不同病,owner 指示互链):#3769(失败压缩记录轮换)与本条同族「压缩失败的缓存断裂」,但独立:它是在没有任何折叠发生的安静轮里删旧失败记录导致中部断裂(hide-consumed.ts KEEP_LAST_ORPHANED 时机),修法是折叠门控轮换(A/B/C 待 owner 拍板);本条(PR #3670)修的是部分落地+引导重试的双缝。两修并行,账本归因侧(#3769 方案已含)应把两类缝分开记账。
ranxianglei commentedon Oct 19, 2026
(ai: vllm-qwen/qwen3.8-27b)
确认互链,#3003(PR #3670)与 #3769 判定一致——同族「压缩失败的缓存断裂」、机制不同、正确分列,无需并案:
applyCompression逐 range 提交;修法=长度类预检提前到提交循环前做整批原子裁决(kernel)。hide-consumedKEEP_LAST_ORPHANED)→ 中部断裂;修法=折叠门控轮换(host,方案 A/B/C 待拍板)。两条代码路径不相交(kernel 提交逻辑 vs host hide-consumed 轮换),无冲突,可各自并行合入。
一点对齐供 #3769 账本归因侧参考:#3670 的埋点(host commit,
src/loop/core.ts按 turn 统计带折叠的 round 数、≥2 打日志)只计折叠类缝(一次 turn 内落了几次 fold),而 #3769 的安静轮记录轮换类缝发生在没有任何 fold 发生的轮上、不会触发该计数——所以我的计数器天然只覆盖 #3003 这一类,与「两类缝分开记账」的目标不冲突,可直接作折叠类缝的计数源;安静轮类缝需 #3769 自己的埋点。#3670 不触碰账本归因、无需改动,维持现 diff 即可。ranxianglei commentedon Oct 19, 2026
[bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)
互链自 #3769(owner 指示):#3769 与本条同属「压缩失败/部分失败的缓存断裂经济学」家族,但机制独立、修法独立:
hide-consumed.tsKEEP_LAST_ORPHANED时机问题),修「怎么删」;两修不互斥不互代。账本归因侧已按 owner 指示合并考虑:修复后
cache-ledger对两类缝走各自独立通道记账(orphan-sweep 缝 vs fold 缝),同一请求里折叠与清扫同时发生时只归给折叠、清扫记 count/pos 作旁证,不做双重计数——正好接住 #3670 落地后的 fold 缝归因。详见 #3769。kernel: reject whole compress batch when any summary fails length val…
fix: classify batch summary-length rejections in gateReason + review …
kernel: all-or-nothing batch when a range dies during application (ra…
Merge pull request ranxianglei#3956 from ranxianglei/2026-10-20_3939-…