Skip to content

The replacement position needs to be implemented in a new form: whether compress-fold performs in-place replacement (com | 置换位置的是需要以新形态落地:  压缩折叠是否原位置替换(compressAtFoldPoint,默认关)——把折叠产生的 compress 调用对放到它自己的折叠点处替换,而不是留在历史尾部 #5697

Open

Description

@ranxianglei

这个功能,  压缩折叠是否原位置替换(compressAtFoldPoint,默认关)——把折叠产生的 compress 调用对放到它自己的折叠点处替换,而不是留在历史尾部

置换位置后是compress函数,会导致一些模型比如qwen27b,看到历史上全是这样的调用后,不由自主模仿compress,

导致完全无法控制的重复过度压缩.

因为置换本身就是破坏一次缓存,需要在置换的一瞬间,换成其他的函数,比如fold函数,或者留挡函数.然后这个也受到保护.

需要注意 后续t2 t3压缩需要兼容.

这个功能作为实验性质,web透出,默认关闭.

Activity

  1. changed the title [-]置换位置的是需要以新形态落地:  压缩折叠是否原位置替换(compressAtFoldPoint,默认关)——把折叠产生的 compress 调用对放到它自己的折叠点处替换,而不是留在历史尾部[/-] [+]The replacement position needs to be implemented in a new form: whether compress-fold performs in-place replacement (com | 置换位置的是需要以新形态落地:  压缩折叠是否原位置替换(compressAtFoldPoint,默认关)——把折叠产生的 compress 调用对放到它自己的折叠点处替换,而不是留在历史尾部[/+] on Nov 5, 2026
  2. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    🔶 需要决策
    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。相关线程与本单关系:

    背景一句话:挪位已经存在且生效,但挪位后调用对仍叫 compress,qwen27b 这类弱注意力模型看到历史里成排的 compress 调用会不由自主模仿 → 完全无法控制的重复过度压缩。

    已核实的机制(全部对 master 代码验证过):

    • 现状:relocateCompressCarriers(kernel/src/relocate-compress.ts)把 active 块的调用/结果对挪到 [已折叠区]–[调用对]–[保护消息],纯视图变换(refs/state 不动、每轮确定性重算、第二轮起字节稳定);应用在 src/plugin-render.ts:147 与 src/server/relay.ts:2209 两处;只影响插件车道(代理模式没有持久调用对)。
    • 你的判断成立:改名在置换那一瞬间零额外缓存代价——发生挪位的轮次本来就要破一次前缀缓存(字节移动了),同轮改名是免费的;之后各轮确定性重算,字节稳定。
    • 改名不破坏身份:变换跑在 assign-refs/sync-blocks 之后的视图层,refs 按入站 id 分配;出站-only 改名不进账本,fork 恢复(kernel rebuild 从客户端历史读原名)不受影响。
    • T2/T3 兼容面明确:T1 块蒸馏进 T2 时其载体对转 inactive,走既有 hide-consumed 隐藏路径;T2 自己的载体对(新的 compress 调用)走同一套「挪位+改名」逻辑,只按 block.active 判定、tier 无关。需要回归钉:保护随 active 状态走,不在死块上滞留。
    • 「保护」为什么需要:载体对在账本里只是普通可压缩消息,后续折叠(含 T2/T3 蒸馏范围)可能把它吞掉;有 fail-safe 兜底(载体消失时 stripKernelSummaries 保留 acp_summary 锚,摘要不会丢),但布局再变一次 = 再破一次缓存 + 失去干净落位。保护 = 把承载 active 块的调用对(按 toolCallId 识别,call+result 两条)排除出后续折叠范围。

    结构化八问:

    1. 是什么问题:原位置替换后的 compress 调用对保留原名,弱注意力模型(qwen27b 等)从历史里模仿它,触发重复过度压缩,不可控。
    2. 什么原因导致的:渲染层把「compress」这个可执行工具名当成历史记录呈现——记录形态与可执行形态同名,模型分不出「已完成的记账」和「待执行的命令」。[PR] feat: forbid unprompted/out-of-bounds compression (compress.requireNudge / requireRecommendation) #5685 的运行时闸门挡住了伤害,没挡住源头。
    3. 影响范围与严重程度:仅影响开了 compressAtFoldPoint 的会话(实验性、默认关、用户面小);qwen27b 类模型一旦触发,会话进入过度压缩循环、实际不可用(特定条件下接近 p1 体验);其他模型/开关关的会话零影响。
    4. 怎么修复的:置换瞬间把调用对改名为 fold(不注册、不可调用,模仿即自然失败)+ 把载体对排除出后续折叠范围 + T2/T3 按 block.active 判定兼容。
    5. 是否有回归问题:新开关默认关,关态与今天逐字节一致(与现有 cafP 同一不变量);开态只影响插件车道的出站视图,代理模式不变;范围校验只拒覆盖载体的范围,合法范围不受影响。
    6. 是否破坏缓存:改名发生在首次挪位同一轮,无额外断裂;其后字节稳定;保护防止载体被吞导致的二次断裂。
    7. 是否改了设计方向:不变向——延续 [Feature][experimental] After compression, relocate the compress call pair to its own fold point (weak-attention models | [Feature][experimental] After compression, relocate the compress call pair to its own fold point (weak-attention models | [Feature… #5470 立的「视图层变换」教义(refs/state 不动、确定性重算),只是给变换语义加上改名+保护。
    8. 是否引入新配置:compress.compressAtFoldPointAsFold boolean 默认 false(+ env BILI_COMPRESS_AT_FOLD_POINT_AS_FOLD),web 配置页透出为实验项,CONFIGURATION.md 中英同步。

    待决问题(选项对比,各带代价):

    # 事项 选项 推荐
    Q1 开关拓扑 A) 新子开关依附 compressAtFoldPoint(镜像现有 ClearThinking 子开关模式;存量 opt-in 用户字节不变、可做 A/B 对比;代价:多一个配置项)/ B) 改名内建进主开关(条目少;但已开主开关的用户字节变化 = 行为漂移需披露,且失去对比能力) A
    Q2 改名目标与注册 A) 改名 fold 且不注册进工具 schema(模型在历史里看到 fold(...) 但工具列表里没有;模仿发出即被宿主当未知工具拒绝,天然劝退;代价:模仿轮产生一条错误结果)/ B) 注册 fold 为 no-op 工具返回礼貌拒绝(交互更顺;但把 fold 放进 schema 本身招揽调用,与去模仿目的相悖,还增 schema token) A
    Q3 保护落点 A) 宿主侧范围校验:插件 compress handler 拒绝覆盖 active 载体对的范围(零内核改动;模型发起的折叠与 T2/T3 蒸馏范围都走同一 handler;代价:靠错误反馈收敛,顽固重试每轮被拒——有 #5685 requireNudge 兜底有界)/ B) 内核侧 id 排除(recommend/preflight/emergency 路径统一覆盖,更彻底;代价:内核改动更大,声明 + 人工评审 + 版本 bump) 先 A,不足再叠 B
    Q4 改名实现位置 A) kernel relocateCompressCarriers 加 rename 选项(RelocateOptions.renameTo;两个应用点单一事实源、kernel 级可测;代价:触碰 kernel/**,PR 需 kernel-change: 声明 + 你批准 + kernel 版本 bump)/ B) 纯宿主侧 diff 前后数组找挪动对再改名(避开内核门禁;但两处应用点逻辑分散、脆弱) A
    Q5 与在途 #5516(现有形态默认开 rollout)的关系 A) 并行:#5516 继续推现有形态(其 diff 仅触 plugin-render/handle/tests,与新开关无语义冲突,rebase 协调即可);新形态独立实验落地,真实模型数据积累后再决定「改名形态」是否成为默认开目标 / B) 暂缓 #5516 等新形态验证(避免把可模仿形态推给全体弱注意力用户;代价:rollout 延期,期间这部分用户继续受注意力漂移之苦) A

    推荐组合:Q1=A、Q2=A、Q3=A、Q4=A、Q5=A。不决定的默认行为:功能类事项等你拍板才动工;回复「go」即按上述推荐组合实现,kernel 部分在 PR 中声明 kernel-change: 并等你批准。

    标签:p2(整体可用、特定模型有明显问题、有绕行 = 关 cafP 或开 #5685 的 requireNudge 闸门)、scope/kernel(改名触碰 kernel relocate 与折叠资格面)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions