Skip to content

dsh内部问题 出现这个错误后,重启dsh可以发消息 但陷入无限压缩失败 #2146

Closed

Description

@ranxianglei

image.png

bili (17).log


Mirrored from ework issue #2146

Activity

  1. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已收到,日志已完整分析(bili (17).log 共 8945 行),问题确认存在,正在修复。先同步结论:

    复现确认:01:13:53→03:55:25Z(约 2 小时 42 分)内共 161 次 compress 失败,全部集中在 session-4e8bd980(glm-5.3-flash,窗口 167232);同日志里另一个 session(deepseek-v4-flash)压缩一直正常。期间模型从未调用过一次 acp_status——尽管每次失败回执都要求它调用。

    机制分层:

    1. 表面现象:无限压缩失败循环,每次失败都是一轮 ~106K token 的完整往返,纯烧上下文和费用;
    2. 直接机制:重启后客户端持久化历史里残留了上一代会话的 ref 工件(模型追着 m29971–m30020、m26511–m26545 这类 ref 压缩,而本代实际最高 ref 只有 m26xxx)→ kernel 报 "unknown ref";模型每次换一个相邻的新区间继续试(spec-walking),直到日志结束都没停下;
    3. 现有防线为何失效:出现持续压缩失败,无法自动恢复 #847 的重复失败守卫按精确 spec 计数(同一区间连败 ≥2 才升级提示),而该模型每次都提交不同 spec,守卫永远不触发;失败 compress 回执中给出当前可压缩区间 — 社区 PR #1008 (@asuan-dev) #1026/ACP 状态标记被拼接进用户消息文本块;跨会话代际 stale refs 压缩整批失败 #1029 的可压缩区间提示和当前 ref 快照虽然都在回执里,但被弱模型忽略了。

    修复方向(host 层,不改 kernel):
    ① 跨 spec 连续失败熔断器:同一会话连续 3 次 compress 失败(任意 spec)后,回执切换为强停指令(停止调用 compress、继续原任务),成功或静默 10 分钟自动解除;熔断时打 [warn: compress-loop] 日志行,便于从 bili.log 直接诊断这类死循环;
    ② "全部 ref 越界"精确诊断:当请求的所有端点都高于本会话最高 ref 时(这种 spec 在本会话中必然不存在、重试必败),回执明确告知这是上一代残留工件、不要再用它们,而不是泛泛的 "typo or wrong session"。

    顺带发现(另行立项):dsh desktop(Windows asar 安装)的 profile 副本更新通道是坏的——每 3 分钟 bundle refresh to 0.1.184 failed ... Cannot find module '...dsh-desktop-host\lib\cli.js',代理冻结在 0.1.179。这违反 Install-Lane 契约第 2 条(每个副本必须有活的更新路径),属于独立子系统,稍后带来源标记单独开 issue。

    范围外说明:截图里的 Maximum call stack size exceeded 是 dsh 客户端自身的 JS 崩溃,不在 bili.log 中,不属于 bili 的问题域(如需要可向 dsh 上游反馈,等你决定)。

    修复实现中,PR 稍后跟上。

  2. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    已审核并修复,PR 已开:**https://github.com/ranxianglei/billion-context/pull/2147**(Closes #2146)。结构化七问:

    1. 是什么问题:dsh 重启后,模型(glm-5.3-flash)持续用「旧世代」refs 调 compress——这些 refs 在当前会话里永远无法解析。日志里 2h42m 内 161 次连续压缩全部失败、每次参数都不同(先是在 frontier 之上顺序滑窗 m29971–m30020…,之后贴着 frontier 略超前,最后是大段尾部区间),模型没有一次按回执要求去调 acp_status;每轮空转烧掉约 106K input tokens。(截图里的 "Maximum call stack size exceeded" 是 dsh 客户端自身的 JS 崩溃,发生在日志窗口之前,不属 bili 范围。)

    2. 什么原因导致的(分层):

    3. 怎么修复的(host 侧,src/stream.ts,两种模式共享路径):

    • 跨 spec 熔断器:会话级连续 compress 总失败计数(任意参数),第 3 次失败时把失败回执里的诊断提示块整体换成硬停段落("STOP calling compress now … Continue your actual task");成功或静默 10 分钟解除。熔断器从不拒绝执行——它只改失败回执对模型说的话,合法调用随时还能成功并重置计数;arm 时打 warn 日志供运维定位。
    • 确定性诊断:当请求的所有 ref 都高于会话最高 ref 时,回执明确写死「这些 ref 在本会话不可能存在,是旧世代残留产物,它们的任何超集都永远压不了」——替代会误导模型找错别字的通用文案。
    • preflight 内部通道显式排除(loopTracking:false),避免 bili 自己的重试误触熔断。

    4. 是否有回归问题:逐项审过既有行为——#847 精确 spec 守卫第 2 次照常触发(不变);第 3 次起其文本被熔断段落取代(有意变更,见下方披露);[Compression FAILED 前缀不变 → preflight 的 startsWith 检查、ACP 可见性标记、host 侧 grep 均不受影响;回执仍为单行格式;成功路径仅清两个 session.metadata 键,wire/持久化格式零变化。本地定向回归:涉及失败回执的全部 12 个测试文件 89/89 绿 + 新增 6 例,typecheck/build 干净;全量套件交 CI。无其他语义漂移。

    5. 是否破坏缓存:不涉及。前缀缓存、重试策略、增量游标、去重键均未触碰;熔断状态存于 session.metadata(随会话持久化),不影响上游 cache hit。

    6. 是否改了设计方向:否。仍是 host 侧失败回执策略;kernel 未动(深层根因按 Kernel Boundary 留给 owner 决策,本修复在 host 侧把损失封顶)。分析中另发现一个独立问题已单独立项:#2148(dsh 宿主 CLI 本身损坏时 profile 拷贝自更新永久失败、版本冻结且无用户可见信号——本事故正是在那份冻结的 0.1.179 上发生的)。

    7. 是否引入新配置:无。阈值(连续 3 次)与衰减窗口(10 分钟)为硬编码常量,遵循配置面纪律(同 DEGENERATE_FOLD_COVERAGE);日后想调灵敏度再立项讨论。

    行为变更披露(旧→新):同一会话 10 分钟内第 3 次起的连续 compress 失败(任意参数),回执由 [errors][Current context…][Repeat-failure guard…][span hint][no-viable…] 变为 [errors][旧世代诊断?] [COMPRESS CIRCUIT BREAKER: N …]——诊断提示块被要求全面停手的段落取代(继续堆叠被无视的建议正是本次事故失效的原因)。plugin 模式(dsh,即本事故路径)与 wire 模式同时生效。

    收工判定:修法移除的是「换参绕防」的产生机制而非掩盖症状(同样的根因换形状出现也成立),方向成立;等 CI 全绿后可合并。另:dsh 端的 stack overflow 崩溃若要向 dsh 上游报告,跨仓库提交需要你点头,我再投递。

  3. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    这个是不是只是修复只止血而没有定位而为什么会无限压缩

  4. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    问得准。第一版确实偏「止血」——你这一问我重新把日志挖透了一层,定位出完整的因果链,而且发现并补掉了一个第一版漏掉的自持机制。现在 PR #2147 有两个 commit(新增 3773b9f0),CI 重跑中。

    完整因果链(三层,全部有日志证据)

    第 1 层:坏请求从哪来(幽灵 refs 的来源)

    • 01:14:01 模型请求 m29971–m30020,而当时会话最高 ref 只有 m26289——m29xxx 在整个当前世代的 ref 空间之外。
    • 模式是系统性滑窗(每次 50 个 ref)+ 数小时持续重试 + 区间不断外扩(m30121–m30170 → m30121–m30260),排除「typo/随机幻觉」。
    • kernel 错误文案自己列了三个可能来源:前一会话实例(中途切模型/upstream)、native-compaction rebase 前的世代、typo。日志全程没有 rebase/compaction 事件行(所有匹配都是失败回执里的文案)→ rebase 排除 → 头号候选:上一世代的压缩产物残留在 dsh 持久化历史里(plugin 模式下 dsh 每请求全量重发历史:1947 msgs / 3.9MiB)。
    • 诚实边界:确切的源 artifact 无法从 bili 日志确认(请求体不落盘),要坐实需要 dsh 侧历史 dump。

    第 2 层:为什么停不下来(循环的维持机制,三个叠加)
    a) 现有守卫可规避:#847 只计数相同 spec,换参数永远触发不了 → 已修(breaker,commit 1);
    b) 所有防线都是 advisory:整个窗口 161 条失败回执每条都写「Run acp_status」,模型 acp_status 调用次数 = 0(grep 全文验证,无一条 tool acp_status executed)——弱模型不听建议 → breaker 把「建议」变「强制停手」(commit 1);
    c) 新发现:回执回显幽灵号(自持环)——每条失败回执逐字引用 kernel 的 per-range 报错(startId="m29971" does not exist…),作为 tool result 进入客户端持久化历史;模型把自己的历史失败当成未完成任务,沿同一梯子继续上滑(证据:20 秒内 m29971–m30020 → m30021–m30070 → m30071–m30120)。即使原始旧产物最终滚出上下文,这条系统自己的报错信息喂给下一轮坏请求的链能让幽灵号无限存活——这才是「无限」的真正机制。→ 已修(commit 2):当 beyond-frontier 诊断成立时,回执里的幽灵 ref 替换为 [stale-ref],服务端日志保留真号供运维;frontier 内的未知 endpoint(真 typo)保持原样可纠正。安全性:诊断成立时所有请求 ref 都高于会话最高 ref,与任何 live 号不可能碰撞。

    第 3 层:为什么用户视角是「无限压缩失败」
    成功和失败其实是交错的——live frontier 上每 ~8-15 分钟就有一次成功压缩(m26066–m26309 @01:16、m26539–m26682 @01:33、…、m26400–m27800 @03:46),但模型把大部分 turn 花在注定失败的尝试上,每轮空转烧 ~106K input tokens,看起来就是 agent 冻死在压缩里。另外挖到第三种失败形态(03:53:m26347–m27964 四个大区间「cannot be anchored」——ref 在 map 里但消息已从客户端重发中消失且无 block 覆盖,即消息内容变更被滤除后旧 ref 悬空):指向客户端侧历史改写或 tiering 后的 block 覆盖空洞,尚未深挖,记为 #2146 下的 checklist 项,拿到复现再查。

    修了什么 vs 剩下什么

    • 已修(bili 侧,PR fix: cross-spec compress-failure circuit breaker + stale-generation diagnosis (#2146) #2147):维持循环的三个机制 a/b/c 逐个打掉;118 定向测试绿 + typecheck 干净(新 base 上还处理了与 Plugin tool endpoint reports ok:true when the kernel refuses a fold range #1875 ProxyToolResult 信封的合流)。
    • 行为变更补充披露(旧→新):all-above-frontier 形态的失败回执,per-range 详情从引用原号变为 [stale-ref](仅 beyond 诊断成立时;其他失败形态回执完全不变)。
    • 剩在 bili 管辖外的根因,等你拍板:
      1. kernel 层跨世代 ref 身份(世代命名空间或全局单调 ref 空间,让旧世代 ref 自明无效)——kernel boundary,需要你批准立项;
      2. dsh 层(重启后不重发陈旧产物/强制 re-anchor)——外部产品,向上游报告需你点头。
        我的建议:先不急着动 kernel——让 host 侧这三道防线先上线观察,同类事故若再现,带数据立 kernel 专项 issue;dangling-ref 第三形态同样等复现。

    结论:不是纯止血——循环的维持机制(可规避守卫、advisory-only、自回显)已全部定位并打断,每一环都有日志锚点;坏请求的最终源头(跨世代残留)定位到 kernel/dsh 辖区,是否推进那两条线由你定。PR:#2147

  5. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    内坑层面如果有bug需要修复

  6. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    把 kernel 侧对照本次事故逐条过了一遍,结论先说:kernel 自身没有需要修的 bug——它的所有行为在自己的契约下都是正确的;存在的是一处「设计级缺口」和一处「文案问题」,都还没到必须动手的程度。 清单如下,供你拍板。

    A. kernel 做对了什么(证据)

    • ref 空间在世代内单调:assignRefsNode cursor = highestUsedIndex+1,ref 永不复用(id-never-reused 契约)。事故里模型要的是本世代从未存在过的号(m29xxx > 最高 m26289),不是 kernel 发重号或丢 ref。
    • 边界解析对未知 ref 正确抛 unknown、已消费 ref 正确吸附到活跃 block(dog/billion-context-pi#32 的修复行为)——两条都对。
    • 错误文案自己列的三个来源(新会话实例 / rebase 前世代 / typo)准确,自诊断诚实。
    • 第三种失败形态(ref 在 map 里但消息已从视图消失)也是如实上报:map 按契约刻意保留死 ref,悬空是客户端视图变化造成的,不是 kernel 记账 bug。

    B. 真正的设计级缺口:跨世代 ref 身份

    问题:客户端重启 / 中途换 upstream 后 refs 从 m00001 重排,但上一世代的压缩产物还留在客户端持久化历史里 → 模型跨世代追幽灵。kernel 没有任何机制让旧世代 ref「自明无效」——数字空间本身不携带世代标识。这是本次事故的最终源头所在层。

    候选方向(讨论用,均未实现):

    1. ref id 带世代标记(如 g2:m00123 或请求级世代头):旧产物一眼判死,边界错误可直接说「旧世代 ref」。代价:ACP tag 线格式全变、客户端解析全变,爆炸半径大。
    2. acp_status 输出加当前世代指纹(+「你的历史里有 N 个旧世代 ref」计数):host 侧可精确判断与定向清理。低成本、不破线格式。
    3. 全局单调 ref 空间(重启不重置,续接持久化高水位):与「重启从 m00001」现有语义冲突,牵动持久化协调,不建议。

    我的建议顺序:① 先让 PR #2147 的三道 host 防线(breaker + 确定性诊断 + 回显抑制)上线观察——如果它们已能把这类事故钉死,kernel 改动的 ROI 存疑;② 若同类事故再现,立专项 issue,从方向 2 起步(小扩展、低风险);③ 方向 1 留作 2 不够时的升级路径。每步走 Kernel Boundary(你批准 + 声明 + 版本纪律)。

    C. 文案问题(很小,可并入 B)

    unknown-ref 错误把「typo」列为三个平权候选之一;当整段 spec 都在 frontier 之上时 typo 可被确定性排除——这个平权措辞在事故里误导模型找不存在的错别字。host 侧已用 beyondFrontierNote 补偿,kernel 严格说不必动;若做 B2 可顺带精修。

    结论

    • 无需立即修的 kernel bug:无。 循环的维持机制全在 host 侧守卫强度不足(fix: cross-spec compress-failure circuit breaker + stale-generation diagnosis (#2146) #2147 已修),kernel 行为全部符合契约。
    • 值得立项的设计项:跨世代 ref 身份(B),建议按上面 ①→②→③ 的节奏推进,等你点头。
    • 另:dangling-ref 第三形态仍等复现,拿到复现先定性(客户端 vs kernel 覆盖空洞)再决定是否立项。

    代码侧本轮小修已推送:回执措辞修正(commit 40097a2b,纯文本无语义变化,测试 14/14 绿),CI 重跑中。PR:#2147

  7. added a commit that references this issue on Oct 7, 2026
  8. 5 remaining items

  9. xiaozhu1337 commented on Oct 11, 2026

    @xiaozhu1337
    Contributor

    补充 Pi 历史样本:起点有效、终点略超 frontier 的一次性失败与诊断建议

    在检查近期全部 Pi 会话时发现两次较轻的 unknown-ref 形态,补充到本票作为边界回归样本。这不是 #2147 失败保护回归的证据,也没有观察到无限重试或历史丢失;无需据此把已修复的原事故重新定性为仍未修复。

    环境与记录边界

    当前 pi 1.1.0,Windows 11,安装/npm latest bili 0.1.192。下列是 2026-10-06 与 10-08 的历史调用;历史代理有多个版本,未把每条工具调用独立绑定到运行版本。当前源码复核基线为 09a48c056da19c261cdfecab0feeba0f930f1ff7。

    请求 当时最高 ref 紧接着的成功重试
    m00548–m00690 m00686 m00548–m00686,约 26,996 tokens 被折叠
    m00224–m00290 m00286 m00223–m00286,约 9,295 tokens 被折叠

    两次都在下一次调用纠正成功,因此没有完整失败状态长期遗留。第二例发生在已生成交付正文的回合尾部,随后出现重复交付/把重组当新空消息的模型行为;其因果未独立确定,不归为 kernel 数据损坏。

    与既有修复的差别

    #2147 的确定性 beyond-frontier 诊断/回显抑制重点覆盖所有请求 refs 都超出 frontier 的形态。这里起点已经有效,只有终点略超,不应被同样诊断为跨世代残留,更不能把有效 refs 全隐藏。PR #2742 的 rebase ref-floor 修复解决的是另一个身份问题,不能阻止模型猜测还没出现的尾编号。

    建议的低风险增强

    1. 在现有错误结果中分别说明哪个端点未知、当前可见最高 ref 和推荐的下一步;模型应根据实际标签或 acp_status 重新选择边界,而不是继续外推编号。
    2. 为 mixed-endpoint 形态增加定向用例:start <= frontier < end、起点不存在但终点存在、保护区/已消费边界、真正的 all-above-frontier。既有 breaker 和错误分类不能回退。
    3. 不自动把终点夹到最高 ref,也不默默提交变更后的范围;那会掩盖请求错误或意外改变被折叠内容。
    4. 提示模型仅在确需继续工作/释放上下文时折叠,避免已交付后为了尾部清理额外制造一次工具往返。此项属行为提示建议,不是强行禁止用户主动压缩。

    如果这些边界已有未公开或新合入的测试,可直接纳入现有覆盖;这条评论只补充历史形态及诊断建议,没有声称当前 master 可复现原无限压缩事故。

  10. added a commit that references this issue on Oct 11, 2026
  11. added a commit that references this issue on Oct 22, 2026
  12. added a commit that references this issue on Oct 31, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions