Skip to content

Finish compressAtFoldPoint default-on rollout: S4 per-tier resolution + dedicated byte-stability proof #5503

Open

Description

@ranxianglei

来源: PR #5483 (#5483) 分析 compressAtFoldPoint 默认开转正时发现

查重: 无 —— open/closed 的 issue 与 PR 里都没有针对下面两处的跟进项(#5470 是特性 issue、#5471 是已合并的 opt-in PR、#5483 是本次转正 PR,均为特性本体)。

compressAtFoldPoint 已在 #5483 从默认关转正为默认开。评审中有两处收尾项被有意留在本 PR 之外(一为 v1 行为不变的一致性瑕疵,一为测试覆盖补齐),按「同属 default-on rollout 收尾、用一个清单管理」的原则合并立项如下。

子项 A:S4 快照渲染路径的 per-tier 解析不对称

  • 现象:稳态轮经完整 cascade 解析开关(可落到 provider/model 层),但 S4 快照渲染路径(src/plugin-render.ts:147)只读 env + 全局 compress 段(loadConfigFile().compress?.compressAtFoldPoint)。翻转前(默认关)两者结果一致;翻转后(默认开)在「按 provider/model 层做 per-tier opt-OFF」的新场景下会分叉——同一会话稳态轮走 off 布局、S4 路径走 on 布局。
  • 影响:纯视图层、窄触发(必须显式在某个 tier 配 false);不动 refs/state、不影响缓存,属一致性瑕疵而非数据问题。代码内已有 KNOWN ASYMMETRY 注记(src/plugin-render.ts:141)。
  • 建议:把 resolveRequestConfig 已解析出的值透传进 S4 渲染路径,与稳态轮同源,消除双源;并加一个 per-tier opt-off 的渲染一致性测试钉住它。

子项 B:默认开的专用字节稳定证明(解除 CI 修复里的 off 固定)

  • 现象:[PR] feat(compress): compress-at-fold-point default on after real-model verification #5483 的 CI 修复 commit 6ad3f0be 把 cache-proof / cache-seam-probes / fold-round2-shape 三个逐元素比较器固定为 BILI_COMPRESS_AT_FOLD_POINT=off(它们尚未把 carrier 挪位登记为期望差异)。因此「默认开下跨折叠轮的稳定前缀字节逐字不变」这条核心保证,目前只由 storage-render goldens(单帧快照)+ kernel/tests/relocate-compress.test.ts(变换确定性)+ 真实模型多日观察支撑,没有一条回归测试直接钉住它。
  • 影响:默认开波及所有未显式配置的会话;在 follow-up 落地前该性质靠经验证据支撑、无回归钉。owner 已知情决策、非阻塞,但宜尽快补上以锁死核心保证。
  • 建议:让这三个比较器把「compress 调用对从尾部挪到其自身折叠点」声明为期望且缓存安全的差异(先定位挪位后的调用对位置,再做逐元素比对),然后解除 off 固定,使其在默认开下继续证明 prefix-cache 稳定。

Activity

  1. ranxianglei commented on Nov 2, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复。按失败签名(repetition / tool-guardrails / repetitionRecovery)检索 open+closed issue 与 PR:没有其他线程提议给 repetition guard 加恢复语义。相关但不同的线程:#5225 / #5264 / #5327(均已合并)修的是同一守卫的误报(合法长轮询被杀)——加了墙钟维度与三段式升级,本 issue 正是在其成果之上提恢复需求;#5220 / #5231(compress 失败回执,作者引用的先例)属不同子系统,仅作模式参考;#4476(输出侧 text-run 退化守卫)机制与面都不同。

    标签: pi / omp / scope/wiring / p2 —— 功能请求不打 bug;该守卫只接在 pi/omp 车道;属协议接线层;现有行为有绕行(调高 guardrails.repetition.abort 或禁用守卫),未到 p1。

    核验结果(对当前 master ee0dcc7):

    检测机制与描述一致(src/agent/tool-guardrails.ts,指纹 = sha1(工具名 + 规范化参数),默认 warn=3 / abort=5)。但 issue 里的行为表相对当前 master 已过期:#5225/#5327 落地后,"warn→一刀杀"已经变成三段式——

    第 N 次相同调用 当前 master 行为
    第 3、4 次 警告随对应 tool result 附上(引导文案),回合继续
    第 5 次(=abort 阈值) 只拒绝这一次调用,不 abort——最后警告(reason 写明再犯即终止、改长等待或换参),回合保留,模型换任何参数/工具计数立即重置
    第 6 次(被拒后仍一字不差重发) 拒绝 + ctx.abort() 杀回合

    另有墙钟豁免:上一个相同调用实际执行 ≥5s 判为长轮询、计数归零(#5225)。所以"第 5 次就杀回合"在 master 上不再成立:终局步在第 6 次,且第 5 次已经有一个保活回合的恢复台阶。omp 宿主侧 ctx.abort() 副作用的说法经核实有据(#5225 里 Maziar123 的评论报告了同根因并列出三项副作用)。

    对照提案,真正还缺的(收窄后):

    1. 终局步(第 6 次)仍是 ctx.abort() —— 这是本 issue 的核心诉求:优雅结束 + 结构化 stuck report,避开 abort 的宿主侧副作用;
    2. @3/@4 警告是同一句文案发两遍,与 @5 最后警告之间没有独立中间档 —— 观感级缺口;
    3. 全部文案为固定字符串(与同文件其他守卫通知一致),issue 要求可配置。

    决策 ① proxy 层 vs plugin 层:建议留在现有 extension(pi/omp 插件)层,不做 proxy 侧孪生检测器。架构事实:只有 extension 能看见执行中的工具调用,核心 proxy 只在重发历史里事后看到——等它检出循环已晚数轮,干预要么改写历史中段字节(前缀缓存代价高)要么注入下一次出站请求;更根本的是回合属于宿主,proxy 无法结束或重跑客户端的回合,"re-request"语义在 proxy 层落不了地。而 pi/omp 里 "re-request" 本来就是自然流程:steering 文案附在最新 tool result 尾部会自动随下一次模型调用送达,covoyage/covonaut retry.go 的模式免费映射过来,不需要额外 API。

    决策 ② 可配置 vs 固定消息:建议固定消息起步,不引入提案里的五字段 RepetitionRecoveryConfig。理由:按 Configuration Surface Discipline 新配置字段需你先拍板;同文件其他通知(输出上限、bash 超时、text-run)全是固定字符串,单独在这里开可配置破坏一致性;maxAttempts 冗余(梯级由现有 warn/abort 阈值导出),reRequest 在 pi/omp 架构下是 no-op(tool result 之后必然跟随下一次模型调用)。将来确有定制需求,在现有 guardrails.repetition 对象下加最小字段即可。

    决策 ③(真正的拍板点):终局步怎么办。三个选项:

    • A(推荐)软停 + 硬兜底:第 6 次起用结构化停止指令文案(stuck report:N 次相同调用、发生了什么、请换策略或向用户报告)拒绝,不 abort;对相同调用持续拒绝;在更高计数(如 abort+4,默认第 10 次)设无条件 abort 兜底,保证不合规模型也必然终止。代价:每个退化循环 episode 最多多烧约 4 个模型往返,有界;常见情形(模型响应停止指令)完全避开 abort 副作用。
    • B 保留 abort + 事后注入:终局仍 ctx.abort(),事后经宿主持久通道(sendUserMessage,[pi] 内置 billion-context-pi-subagents(acp_delegate)进 Pi lane:官方自有 subagents 支持 #2186)把结构化报告注入 transcript,让下一回合带着解释开始。终止确定性最强;但 abort 副作用原样保留(正是 omp 报告的伤害本身)。
    • C issue 字面方案(不 abort、无兜底):只靠模型服从拒绝原因。风险:token 无界燃烧——目标人群(贪婪小模型)恰是最可能不服从的人群,用户最终还是手动 Ctrl-C(UX 与 abort 相同,少了清理、多了成本)。不建议单独采用。

    无论选哪个,建议默认 opt-in 先行(现有 guardrails.repetition 对象下加一个布尔,默认 false = 现状),field 验证后再翻默认值——沿用 bash-timeout 注入当初的保守引入路径(#3366),避免一个自 #3331 起默认开启的守卫发生默认值漂移。

    结构化八问(决策请求体例):

    1. 是什么问题:重复调用守卫生效时,终局动作(ctx.abort() 整轮杀掉)没有恢复引导,且有真实宿主侧副作用;Repetition guard aborts legitimate read-only long polling inside Pi Codemode #5225 之后第 5 次已有保活拒绝,第 6 次仍是硬 abort。
    2. 什么原因导致的:原设计用"连续相同调用次数"单维度代理"退化循环",响应只有 warn→kill 二档;kill 选了 ctx.abort() 是因为当时没评估过 abort 的宿主侧代价,Repetition guard aborts legitimate read-only long polling inside Pi Codemode #5225 修了误报(时间维度+分级拒绝)但没动终局步。
    3. 影响范围与严重程度:所有 pi/omp 车道上模型进入真退化循环(同工具+等价参数、快速连发)的场景;触发条件窄(必须真在循环,合法长轮询已被 Repetition guard aborts legitimate read-only long polling inside Pi Codemode #5225 豁免);后果 = 整轮中止 + 宿主侧副作用;有绕行 → p2。
    4. 怎么修复的:待拍板,见选项 A/B/C;推荐 A(软停+硬兜底)+ opt-in 默认。
    5. 是否有回归问题(按选项):A — 触碰终局路径,需核:兜底计数恒高于 abort 阈值(resolveRepetition 现钳制 abort≥warn+1,需对应处理)、pi/omp 共享代码路径行为一致、input 事件 reset() 语义不变、被拒调用的 pendingStarts 条目永不 complete()(既有小泄漏,不变)。B — 零行为漂移。C — token 无界燃烧,可用性回归。
    6. 是否破坏缓存:不涉及。steering/拒绝文案走最新 tool result 尾部或拒绝通道,不动历史前缀字节;压缩账本/fold 状态不受影响。
    7. 是否改了设计方向:不改。留在 pi/omp extension 层守卫体系内;不引入 proxy 侧孪生检测器(架构上落不了地,理由见决策 ①)。
    8. 是否引入了新的配置:视选项而定——推荐方案最多在现有 guardrails.repetition 对象下加一个布尔(如 recovery,默认 false);不引入 issue 的五字段对象。新配置按 Configuration Surface Discipline 需你签核,故先列此决策。

    选项对比:

    选项 终止保证 abort 副作用 成本上界 行为漂移
    A 软停+硬兜底 ✅(兜底计数) 常见情形避开 ≤~4 额外往返/episode 翻默认时需披露旧→新
    B abort+事后注入 ✅(立即) 保留 零 无(opt-in)
    C 纯软停 ❌ 靠模型服从 避开 无界 有

    等你拍板:①②我给了明确推荐,确认后照做;③请选 A/B/C + 默认姿态(opt-in / 直接翻默认)。定稿后实现:单个 PR,pi/omp 共享路径 + 回归测试(门双向断言)。

  2. ranxianglei commented on Nov 2, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    更正说明:本线程上一条长评论(floor 4,查重/标签/八问分析)是发错线程的误发——它分析的是另一个 issue(重复调用守卫的 recovery 需求),我错把上游 GitHub 编号当成了镜像编号。与本线程(compressAtFoldPoint 默认开收尾)无关,请忽略该评论;正确内容已发到对应线程 #5507。抱歉造成噪音;该误发评论留在此处待 owner 处理,我不自行关闭/删除任何条目。

  3. ranxianglei commented on Nov 2, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    按清单完成了两处收尾并开了 PR:**https://github.com/ranxianglei/billion-context/pull/5516**(叠在 #5483 分支上,diff 只含这 3 个 commit;#5483 合入后 rebase 回 master)。子项 B 里 cache-proof 这一个比较器做了工程取舍、转独立跟进 issue #5515,下面如实说明。

    查重:不重复(见正文;本条即 #5483 评审遗留的两处收尾,无既有跟进项)。

    1. 是什么问题:[PR] feat(compress): compress-at-fold-point default on after real-model verification #5483 把 compressAtFoldPoint 从默认关转正为默认开后,留了两处没收尾——① S4 快照渲染路径读这个开关的来源和稳态轮不一致(前者只看 env + 全局 compress 段,后者走完整 cascade:env > model > provider > global);② 三个逐元素字节稳定比较器被 CI 修复 commit 固定成 off,于是「默认开下跨折叠轮稳定前缀字节逐字不变」这条核心保证没有一条直接回归钉。
    2. 什么原因导致的:① 翻转前两源结果恰好一致,所以 S4 路径沿用了更省事的「env + 全局」双源;翻转后一旦有人在某个 provider/model tier 显式配 false,两源就分叉(同一会话稳态轮走 off 布局、S4 走 on 布局)。② 那三个比较器是按「compress carrier 在尾部」的旧布局写的;默认开把 carrier 挪到它自己的折叠点,比较器还没学会把这次挪位登记成「期望且缓存安全」的差异,只能先 off 固定兜底。
    3. 影响范围与严重程度:① 纯视图层、窄触发——只有显式在某 tier 配了 false 的会话才会看到稳态轮与 S4 渲染布局不一致;不动 refs/state、不影响缓存,属一致性瑕疵而非数据问题。② 纯测试覆盖缺口:核心保证此前靠 storage-render goldens(单帧快照)+ kernel/tests/relocate-compress.test.ts(变换确定性)+ 真实模型多日观察支撑,缺一条多代/decimation/host-compaction 维度的直接钉。均非阻塞。
    4. 怎么修复的:① 让 S4 门从「会话最近一次 cascade 解析出的 Config 印章」(/acp 面板(plugin/status)的 nudge 行用内核默认配置渲染,不反映 resolveRequestConfig 解析后的生效值 #833 effectiveConfig)回读开关,与稳态轮同源、消除双源;冷会话/翻转前无印章时经 stale-guard 落到 env + 全局(即默认开)。加了端到端 per-tier opt-off 渲染一致性测试钉住它(做成确定性:ingest 阶段 pin off 保证存储布局稳定原位,再删掉 env pin 让两轮渲染纯靠会话印章驱动,隔离掉管道自身 debounce 结算挪位的竞态)。② 给 fold-round2-shape 与 cache-seam-probes 解除 off 固定,各自把「compress 调用对从尾部挪到自身折叠点」声明为唯一允许的 mid-history 差异,其余任何 mid-history 改写仍判回归。
    5. 是否有回归问题:① 仅当会话在 provider/model tier 设了这个开关时,S4 渲染从「忽略该 tier、用全局/默认」变为「跟随该 tier、与稳态轮一致」——这是有意修正,不是回归;未在该 tier 配置的会话行为不变。② 两个比较器只是把「唯一允许差异」白名单精确扩到结构定位的那个 carrier 对,断言牙口保留(别的 mid-history 改写照样红)。除 S4 视图解析外无生产行为变化。
    6. 是否破坏缓存:否。S4 改动是视图渲染,不动 refs/state/前缀;那两个比较器恰恰是在默认开下继续证明 prefix-cache 稳定。
    7. 是否改了设计方向:否。复用既有 /acp 面板(plugin/status)的 nudge 行用内核默认配置渲染,不反映 resolveRequestConfig 解析后的生效值 #833 会话印章机制,无新数据流/边界转向。
    8. 是否引入了新的配置:否。无新 env/config/CLI;开关解析沿用现有 cascade。

    cache-proof 为何没一起解钉(诚实交代):默认开下 ephemeral compress tool_call 会内联进一条同时带稳定回复文本的 assistant 消息(纯调用回合则留下空壳 {role:"assistant",content:""}),载体是元素的子部件而非独立元素,cache-proof 的逐元素判据需要「子元素归一化」重做才能把它表达成缓存安全差异;我做到 11/13,剩的两个失败是多代折叠 × host-rewrite 交互(round-2 重新物化早期回合),继续逐个特化会变成脆弱过拟合(堵 not 疏)。故单独立 #5515 做判据重做,不在本次收尾里硬塞。核心保证仍有上面两个比较器 + goldens + kernel 确定性测试的直接覆盖。

    行为变更提示(old→new):S4 /__bili/plugin/render 的 fold-point 开关来源由「env + 全局文件段」改为「会话印章(与稳态轮同源)」。仅对在该 tier 显式配置(多为 opt-OFF)的会话可观测:之前 S4 用全局/默认布局,现在跟随 tier、与稳态轮对齐。

    验证:npm run typecheck 干净;A 测试 8/8 稳定绿(顺带修掉了原先 debounce 结算挪位竞态导致的偶发红);fold-round2-shape / cache-seam-probes 默认开下绿;cache-proof 与 base 逐字节一致(本地 hostcomp-anthropic 有一处失败,在 base src 上同样复现,非本 PR 引入,以 CI 为准)。

    收工判定:子项 A 完整交付;子项 B 交付 2/3 比较器(cache-proof 一个转 #5515 跟踪)。PR #5516 待 review,叠在 #5483 上、需 #5483 先合。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions