Skip to content

[Bug] Excessive preflight compression time on ultra-large contexts; client mid-disconnect causes repeated request forwar | [Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发 #3978

Description

@ranxianglei

以下可直接粘贴为 GitHub Issue:


[Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发

环境

  • 组件:billion-context / acp-proxy
  • 版本:v0.1.202
  • 模型:step-5-preview
  • 模型窗口:1,000,000,输出预留后有效窗口约 937,700
  • 代理地址:http://127.0.0.1:18787
  • 上游:http://<private-host>:60829/v1/chat/completions 等
  • 时间:2026-10-20T12:46:56Z ~ 2026-10-20T12:53:34Z
  • 平台:Windows(日志路径为 C:\Users\Administrator\...)

摘要

当会话上下文达到约 1,195,521 tokens、请求 payload 约 1,223,095 tokens 时,代理触发 preflight 压缩。压缩在 30 秒 grace 后仍未完成,代理先提交 SSE headers + keep-alive 保持客户端;但客户端在约 35–43 秒时断开,preflight 随即被 abort,请求不会转发。随后用户/客户端重试会创建新 session,再次进入相同的 preflight 压缩流程并再次失败,形成反复不可用。

同时日志显示 fork adoption 失败、父会话不可加载、reasoning_content 配对缺失等关联问题,可能导致继承压缩状态丢失或严格上游拒绝请求。

实际行为

  1. 会话上下文超过 preflight 目标:

    context 1195521 tokens reached preflight target 937700 ... preflight compressing before forward
    payload ~1223095 tok vs window 937700 (~1.3x) — raising summarization budget 16 -> 21, rounds 16 -> 21
    round 1/21: payload ~1199511 tok vs window 937700 (deficit 261811), 82 viable range(s)
    
  2. preflight 压缩超过 30 秒:

    preflight still running after 30000ms grace — committed early SSE headers + keep-alive to hold the client (#568)
    
  3. 客户端在压缩期间断开:

    [preflight] summarization aborted: client disconnected
    preflight aborted (the client disconnected during preflight compression); not forwarding
    request: 694 msgs, inbound=4.5MiB, local=43219ms
    
  4. 后续重试创建新 session,但仍匹配到不可加载的父链,重新从头压缩并再次失败:

    fork adoption for session-... degraded (snapshot http 404 PARENT_NOT_FOUND (unknown plugin conversation))
    [resume-inheritance] matched tracked chain session-4602b539-4e26-428a-8c09-5408889f88a5 but the parent session is not loadable — starting fresh (#1486)
    context 1195521 tokens reached preflight target 937700 ... preflight compressing before forward
    

涉及多个 session,例如:

  • session-d8182098-67e4-4425-ad79-d81fed689bdf
  • session-afa76480-4a7d-4e69-a5e3-e862c4e00ad6
  • session-e512e03d-0324-487a-84e7-43a8ac7d41f9
  • session-44971819-ea70-4f39-bc61-cf5ac172a3b2
  • session-6abc9cbd-5807-40b4-bfdd-8150b5266ac3
  • session-c9037286-06f8-4e72-81bf-b28bbfd41846

期望行为

  • 超大上下文触发 preflight 压缩时,应在客户端超时前完成,或至少让客户端重试后复用已完成的压缩进度。
  • 客户端在 preflight 中断开时,不应让后续重试反复执行完整压缩且无法转发。
  • fork adoption / resume-inheritance 失败时应有可恢复路径,而不是直接 starting fresh 并丢失继承压缩状态。
  • 对严格 reasoning_content 上游,应保证 assistant tool-call 消息的 reasoning 配对完整,或明确降级/过滤。

复现步骤

  1. 使用 step-5-preview,窗口 1,000,000,输出预留后有效窗口约 937,700。
  2. 构造约 847 条消息、inbound 约 4.5 MiB、本地估算约 1.19M tokens 的会话。
  3. 发起 /v1/chat/completions 请求,触发 preflight 压缩。
  4. 等待 30 秒以上;客户端在压缩完成前断开。
  5. 重试会话,观察新的 session 再次触发 preflight 压缩并再次 abort。

日志证据

2026-10-20T12:46:56.754Z [warn] ... context 1195521 tokens reached preflight target 937700 ... preflight compressing before forward
2026-10-20T12:46:56.775Z [warn] ... [preflight] payload ~1223095 tok vs window 937700 (~1.3x) — raising summarization budget 16 -> 21, rounds 16 -> 21
2026-10-20T12:46:56.927Z [info] ... [preflight] round 1/21: payload ~1199511 tok vs window 937700 (deficit 261811), 82 viable range(s)
2026-10-20T12:47:26.755Z [info] ... preflight still running after 30000ms grace — committed early SSE headers + keep-alive to hold the client (#568)
2026-10-20T12:47:39.480Z [warn] ... [preflight] summarization aborted: client disconnected
2026-10-20T12:47:39.493Z [warn] ... preflight aborted (the client disconnected during preflight compression); not forwarding

关联问题:

2026-10-20T12:46:56.250Z [warn] ... fork adoption ... degraded (snapshot http 404 PARENT_NOT_FOUND (unknown plugin conversation)) — the session continues without inherited compression state (#2399/#2469)
2026-10-20T12:46:56.454Z [info] ... [resume-inheritance] matched tracked chain session-4602b539-4e26-428a-8c09-5408889f88a5 but the parent session is not loadable — starting fresh (#1486)
2026-10-20T12:46:56.674Z [warn] ... reasoning-pair-violated: 200 assistant tool-call message(s) lack reasoning_content while 15 carry it — strict-echo upstreams (DeepSeek thinking mode) will reject the request (#684/#762/#2864)
2026-10-20T12:50:00.650Z [warn] ... network failure with no usage report — armed emergency shrink with local estimate 1353791 tokens

另有大量 /favicon.ico 转发到 https://api.anthropic.com/favicon.ico 后返回 403 Request not allowed 的噪声日志,建议单独过滤或忽略。

影响

  • 大上下文会话在 preflight 阶段不可用,客户端超时后请求不转发。
  • 重试无法复用压缩进度,反复进入 preflight aborted。
  • fork adoption 404 PARENT_NOT_FOUND 导致继承压缩状态丢失,可能放大重复压缩成本。
  • reasoning_content 配对缺失可能导致严格上游直接拒绝请求。
  • 日志噪声较大,不利于定位真实上游错误。

可能原因

  1. preflight 压缩预算提升到 21 轮后,单次压缩耗时超过客户端等待窗口。
  2. 30 秒 grace 后虽发送 keep-alive,但客户端/宿主仍按自身超时断开。
  3. 压缩进度未在客户端断开后持久化,重试会重新全量压缩。
  4. fork adoption 的 snapshot 接口返回 404 PARENT_NOT_FOUND,resume-inheritance 找不到可加载父会话。
  5. 历史消息中 assistant tool-call 的 reasoning_content 配对不完整。

建议修复方向

  • 对超大上下文提前触发压缩,避免在请求临界路径上做 20+ 轮 preflight。
  • 将 preflight 压缩结果持久化;客户端断开后重试可继续/复用,而不是从头开始。
  • 客户端断开时保留压缩任务或记录可恢复 checkpoint。
  • fork adoption 404 PARENT_NOT_FOUND 时提供降级加载/重建父链路径。
  • 修复或规范化 reasoning_content 配对;无法修复时对不支持的上游做明确降级。
  • 过滤 /favicon.ico 等非模型路径的 403 噪声,或降低日志级别。
  • 增加指标:preflight 耗时、轮数、abort 原因、客户端断开时间、压缩复用命中率。

标签建议

bug compression preflight session upstream large-context


如果需要,我可以继续把其中的 fork adoption PARENT_NOT_FOUND 和 reasoning_content 配对问题拆成独立 issue。


Mirrored from ework issue #3978

Activity

  1. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    看看

  2. changed the title [-][Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发[/-] [+][Bug] Excessive preflight compression time on ultra-large contexts; client mid-disconnect causes repeated request forwar | [Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发[/+] on Oct 20, 2026
  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 按失败签名(preflight abort / 客户端断开 / PARENT_NOT_FOUND / resume-inheritance starting fresh / reasoning_content 配对 / favicon 噪声)检索了 open+closed issue 与 PR,无同症状同机制条目。相关但不同:

    标签:bug / scope/kernel / p1(大上下文会话在所述条件下完全不可用:请求永不转发、重试永远再失败 = 核心承诺失灵;客户端身份无法从日志判定——session-<uuid> id 形态不匹配仓库已知任何宿主,上游为私有 relay,故不打客户端标签)。

    已验证(v0.1.202 代码逐行核对,非凭描述推断)

    issue 中每条日志都对应真实代码路径:

    1. 耗时面:payload ~1.3× 窗口时预算从 16→21 轮(src/preflight.ts:1615-1617)。每个 LLM 轮提名 chunk 并发外部 summarization 调用(单次数十秒),总 wall clock 结构性超过客户端硬等待窗(本例 ~40s)。30s grace 后的 keep-alive(每 15s 一个 SSE 注释,src/server.ts:2629-2690)只能防连接因空闲被掐,重置不了客户端的 wall-clock 预算——实测客户端仍在 43s 断开 → clientAbort → 循环终止 → failure = ABORTED_FAILURE(src/preflight.ts:1357/2757)→ not forwarding(src/server.ts:3420-3424 早退返回)。
    2. 进度丢失面(根因):preflight 循环内每轮 fold 通过 commitFold → applyRanges(fold, ctx) 逐个应用到 session 状态(src/preflight.ts:2045+,ctx 携带 deps.session)——但整个 preflight 路径零次 markDirty(src/preflight.ts 全文 0 处;src/stream.ts 仅 3 处且都是模型侧 compress 失败连击簿记,不在 fold 提交路径上)。循环结束后的 markDirty 位点(src/server.ts:3447/3483/3555)全部位于 abort 早退之后,中断时不可达。结果:全部压缩进度只存在于内存,进程重启或会话被池驱逐后磁盘零残留。
    3. 继承恢复面:重试携带新 session id(客户端行为,本例 6+ 个不同 id)。resume-inheritance(Claude 上 resume 导致消息错乱 #1486,src/server/handle.ts:1554-1610)按字节精确前缀命中上一轮会话的 tracked chain,但 loadParent(peekSession 内存 ?? store.loadSync 磁盘)双双落空 → matched tracked chain … but the parent session is not loadable — starting fresh。tracked chain 是 affinity-persist 独立记录的轻量哈希链,全量状态文件因第 2 条从未落盘。fork adoption(dsh 扩展接入 fork 协议(stage 1/#2394 L0):fork 子会话首请求前 snapshot→match→fork 收养 #2399/[Bug][pi] fork adoption masks the root cause of snapshot 409; lineage-only subtask falsely triggered and Responses clien | [Bug][pi] fork adoption 隐藏 snapshot 409 原因,lineage-only 子任务误触发且 Responses 客户端未支持 #2469)与 resume-inheritance 在「父不可加载」时唯一出口都是 starting fresh,无任何恢复路径。于是每次重试从头再做完整 21 轮压缩、再次超时——即观测到的永久不可用循环。
    4. reasoning-pair-violated 对应 src/server.ts:1958/2064(当前 warn-only,不拦转发);/favicon.ico 403 风暴在 src/ 无任何过滤逻辑。

    层次判断

    • 表面现象:反复 preflight aborted + 不转发。
    • 直接原因:多轮 LLM 压缩 wall clock > 客户端硬超时。
    • 根因(本 issue 应修的对象):preflight 压缩进度是易失状态——运行中不落盘、中断后不可恢复、继承路径对「父状态缺失」无兜底,导致每次重试成本从零开始而非累积递减。
    • 耗时问题本身 [PR] fix: stop preflight marathon rounds that would blow the client's patience wall clock (#3573) #3590 在治(轮数/wall-clock 封顶),但只有它的话重试仍从零重来;两者合起来才是闭环。

    对你建议方向的评估

    你的建议 判断
    提前触发压缩 缓解不治本:上下文继续长总会再撞临界;且 nudge cadence 是内核契约(flat 50K,KDD#8),不宜为此改
    持久化 preflight 结果、重试复用 正确切面,核心修法
    断开时保留任务/checkpoint 同上,落地形态 = 每轮 fold 增量持久化
    PARENT_NOT_FOUND 时降级加载/重建父链 方向对;进度一旦落盘,多数场景变「父可加载」走既有继承。真正缺失的父无可重建(chain 只是哈希无内容),诚实 starting fresh 是对的
    reasoning_content 配对规范化 不同症状 + 不同机制(wire 形状 vs preflight 生命周期),建议拆独立 issue——你提过可以自己拆,或我带来源标记立
    favicon 噪声过滤 小项,属默认路由/日志行为变更,需你拍板
    加指标 合理,可作为修复 PR 的可观测性子项

    决策请求(需要你拍板)

    推荐 B+A 组合:

    • B(核心,无其他决策依赖):preflight 进度增量持久化——每轮 fold 成功后 markDirty(debounce 异步写,不阻塞循环),中断时部分状态已在盘上。重试(新 id)经既有 resume-inheritance/fork-adoption 继承已折叠块 → payload 立即缩小 → 剩余缺口单调递减 → 数次重试内收敛到窗口内。不改 wire、不改持久化格式、不加配置面。
    • A(耗时,与 [PR] fix: stop preflight marathon rounds that would blow the client's patience wall clock (#3573) #3590 协调):preflight 总 wall-clock 上限(默认取常见客户端预算之下,如 ~25s);到点时 payload 已 fits 则直接转发,否则返回明确错误(「上下文超窗且压缩未完成」)而非挂到客户端断开。需要新 knob(config-file key,走 env-var 纪律)→ PR 带 config-surface 小节。

    八问(第 3/5 问按选项分列):

    1. 是什么问题:大上下文(>1.3× 窗口)会话陷入「preflight 超客户端超时 → 中断不转发 → 新 session 重试从零再压 → 再超时」死循环,会话永久发不出请求。
    2. 什么原因导致的:三层叠加——(a) 多轮 LLM 压缩 wall clock 结构性超过客户端硬超时;(b) 循环内 fold 进度只写内存不落盘(零 markDirty + 后置位点被 abort 早退跳过);(c) 继承路径对父状态缺失无恢复出口,重试无法累积任何进展。
    3. 影响范围与严重程度:
      • B:所有触发多轮 preflight 且客户端超时短的大上下文会话(本例 step-5-preview 1M 窗口 + ~40s 客户端预算即命中);严重度 = 完全不可用(p1)。
      • A:同人群;现状是「挂到断开」,修后变「快速明确失败或拟合即转发」,体验从静默死亡变为显式反馈。
    4. 怎么修复的:B = 每轮增量持久化 + 复用既有继承机制自动接续(不发明新机制);A = wall-clock 封顶 + fits-forward/fail-fast 语义。
    5. 回归风险:
    6. 是否破坏缓存:否。前缀缓存锚点不动(B 只增加状态耐久性,出站字节仍走既有渲染路径;A 只改超时分支的处置)。
    7. 是否改了设计方向:否。B 复用既有 markDirty/debounce-save/继承机制;A 增加一个决策分支,无新架构。
    8. 是否引入新配置:B:无。A:一个 knob(默认值待定,key 名与三级联解析实现时定,PR 里 config-surface 小节申报)。
    选项 解决什么 代价 主要风险
    只做 B 重试单调收敛,数次内可用 小 部分状态继承需测试兜底
    只做 A 快速失败、止住重试风暴 小 会话仍不可用,只是死得快且明说
    B+A(推荐) 闭环:首次可能超时,后续尝试收敛成功 中 热文件竞争(#3590/#3977)需排序

    拍板后我立即开工 B(无其他决策依赖,独立 PR);A 与 #3590 作者协调排序后再动。reasoning_content 配对与 favicon 两个拆分项是否单独立 issue,请一并示下。

  4. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    PR: #4046 —— 持久化半(B 方向)。墙钟半(A)已由在途 PR #3590(client-patience wall budget)实现,故本 PR 引用而不关闭 #3978;两者合起才是闭环。

    结构化八问:

    1. 是什么问题:超大上下文的 preflight 压缩马拉松跑不完,客户端断开后每次重试都从零重压,会话反复不可用。
    2. 什么原因导致的:压缩进度是「易逝的」。v0.1.202(你的版本)上断开早退跳过全部 dirty-mark,已完成的 fold 只活在内存里;当前 master 顺序已改善(post-loop rebuild 先于 fail-fast 执行,src/server.ts:3554→:3607,我用 md-trace 实测确认),干净断开已能落盘——但请求进行中的硬进程死亡(crash/OOM/重启,1.2M token 量级下相当现实)仍跳过所有 post-loop 路径,磁盘上只剩请求开始时写的零块记录,新 id 重试无块可继承,又从头再来。本 PR 钉死的就是这个剩余缺口。
    3. 影响范围与严重程度:p1。触发条件:会话显著超窗 且(客户端硬超时 < 压缩耗时 或 进程中途死亡);触发后该上下文无法收敛,断连—重试—重压死循环。
    4. 怎么修复的:commitFold(serial/batch 共用的唯一 apply 路径)内每个 fold 落地即 markDirty,由 store 自带 debounce 合并写盘——进度持久化不再依赖「请求如何结束」。核心一行 + 一个端到端回归套件。
    5. 是否有回归问题:逐项审过——wire/配置/持久化格式/kernel 均未动;干净断开行为不变(T1 专门守护现有 rebuild-before-failfast 顺序,将来有人把 fail-fast 挪到 rebuild 之前它会红);T2 负控制确认无 fold 时不多写任何 fold 态;相邻四套件 19/19 绿;typecheck/build 本地绿。
    6. 是否破坏缓存:不涉及。缓存/重试/增量游标/去重键零改动,仅马拉松期间会话文件写入频率提高(每静默窗口一次,debounce 合并)。
    7. 是否改了设计方向:没有。仍是 区间审查(#3331)残留 11 项中小问题集中修:守卫旋钮、存储竞态、静默丢参、CI 触发残角等 #3406 的 host-owned debounce 持久化架构,只是把 dirty-mark 时机从「重建点」前移到「fold 落地点」。
    8. 是否引入新配置:没有。

    验证证据(双向实测):red——撤掉修复后 T3 恰好败在继承块数断言(日志 inherited 40 ref(s) up to m00040,无 blocks 子句 = 父会话有壳无块);green——带上修复 3/3 通过,T3 真实 SIGKILL 子代理进程模拟马拉松中途进程死亡,新实例新 id 重试继承 4 个块(~18k tokens)并收敛到 200。全量测试留给 CI。

    你要求拆分的两个子项,查证后均为既有 issue 的重复,按查重规则未另立新帖:

    收工判定:持久化半完成(#4046 待 CI 与审阅);与 #3590 合入后,本 issue 报告的不可用循环闭环。

  5. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    现状一句话:#3978 的持久化半已交付(PR #4046,3 个提交),我自己引入的两处 CI 问题都已修掉并重跑;master 自身的红与我的 PR 无关,是另外的 flaky 测试,已单独立项跟踪。

    PR #4046(分支 wt-3978-ework-daemon):

    1. fix: persist each committed preflight fold as it lands (#3978) — commitFold 内 per-fold markDirty + 三个回归测试(含 SIGKILL 子进程死亡场景,red/green 双向验证过);
    2. test: register issue3978 suite in LIVE_FILES — 我自己的进程派生测试没登记进 tripwire(tests/claude-native.test.ts linux live-E2E subtests fail/hang in shared multi-agent sandboxes #1248),CI 拦下了它,已补登记并写明并发假设;
    3. test: harden issue3978 T3 child boot against shard-load cold starts — T3 的子代理在分片高负载下 tsx 冷转译超时(60s READY 竞态,ubu22-1/win22-1 各挂一次),已放宽到 180s + 子进程崩溃快速失败 + stderr 诊断入断言信息。本地 typecheck + 3 连跑全绿。

    master 红(非本 PR 引入):bc4a3f87e 上 6 个 test 分片挂了 5 个,每个恰好只挂一个用例,且都是给已关闭的 #3769 钉的两个回归测试在不同分片随机失败:

    • tests/issue3769-pooled-bare-load.test.ts:115(bare-id loadSync hydrates a pooled envelope…)
    • tests/issue3769-upgrade-compat.test.ts:179(upgraded pre-fold-gate state keeps rotation-hidden orphans hidden…)

    本地 node 22 顺序连跑前者 15/15 全过 → 低概率竞态被并行分片负载放大。影响是每个 PR 的测试车道都要碰运气重跑才能绿。已立项 #4049(bug / scope/ci / p2,带来源标记与完整证据:两个 run 的全部 job id、失败断言原文、warmup 日志与 null 返回的矛盾点、建议方向)。

    当前 CI:新 head(dbcc6c811)全部 gate 类检查已绿,6 个 test 分片在跑,约 40 分钟内出结果。预期只剩 #4049 那两个继承性 flake 的随机命中;若如此,按政策等 #4049 修复或重跑收敛,不再在本 PR 里塞无关改动。

    收工判定:#3978 持久化半闭环待 CI 确认 + 人工合并;墙钟半由在途 PR #3590 补齐,两者合起来即完整修复。

  6. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    CI 已跑完(head 5722ac7),结论:本 PR 零自引失败,剩余红全部是已立项的继承性 flake。

    逐分片核对(全部拉了日志,不是看状态码):

    分片 结果 失败内容
    ubuntu 22-2 ✅ —
    ubuntu 22-1 ❌ 仅 issue3769-upgrade-compat.test.ts:179(#4049 签名 B)
    ubuntu 22-3 ❌ 仅 issue3769-pooled-bare-load.test.ts:115(#4049 签名 A);本 PR 的 T3 通过
    ubuntu 24-1 ❌ 签名 A+B;本 PR 的 T3 通过
    windows 22-1 ❌ 仅签名 A
    windows 22-2 ❌ 仅签名 B

    两个补充说明:

    1. 我此前误判过一次:T3 在上一轮 CI 挂掉时我以为是分片负载下的启动超时,放宽了超时并加了 stderr 诊断——诊断把真凶照出来了:CI 上 per-test tmp 目录在仓库树外,Node 找不到 package.json 就把子脚本默认成 CJS,裸 import "acp-kernel" 落到 exports 未定义的 require 条件,子进程启动即死(本地 tmp 在仓库内所以永远复现不了)。已在 5722ac7 修复(子目录旁写最小 {"type":"module"}),并用仓库外 TMPDIR 做了 red/green 验证。此更正也已补到 Two #3769 storage regression tests flake across CI shards on master and unrelated PRs #4049。
    2. LIVE_FILES 登记(9be2ec603)是我自己的进程派生测试漏登记 tripwire(tests/claude-native.test.ts linux live-E2E subtests fail/hang in shared multi-agent sandboxes #1248),与上面无关,已修。

    判定:PR #4046 自身代码路径在所有运行它的 leg 上全绿;5 个红分片里的失败全部属于 master 既有、与本 PR 无关的两个 #3769 flaky 回归测试(#4049,bug/scope/ci/p2)。后续二选一由你定:等 #4049 修复后自然转绿,或重跑失败 job 碰运气。我不打算在本 PR 里塞那两处 flake 的改动——不同机制,拆开管。

  7. pkuqiuning commented on Oct 21, 2026

    @pkuqiuning

    Concrete numbers from an ultra-large preflight that hit this (fork-from-zero-fold path, #3011 class): ~1.29M tokens of context against a 917,504 window on kimi-k3.

    context 1286024 tokens reached preflight target 917504 (usage-baseline=none local-est=1279139)
    payload ~1395826 tok vs window 917504 (~1.5x) — raising summarization budget 16 -> 25, rounds 16 -> 25
    round 1/25: payload ~1323147 tok vs window 917504 (deficit 405643), 140 viable range(s)
    

    Per-round timeline (UTC):

    t event
    08:51:37.528 round 1/25 starts, deficit 405,643, 140 viable ranges
    08:52:07.005 still running after the 30s grace → committed early SSE headers + keep-alive (#568)
    08:54:47.446 summary too short (32 chars): upstream returned plain JSON with empty content (finish_reason=stop, text_chars=32, reasoning_chars=99) → retry same range
    08:56:57.567 round 1's single range finally committed, ~58405 tokens saved
    08:56:58.058 round 2/25, deficit 347,918
    08:57:29.868 summarization aborted: client disconnected
    08:57:30.921 preflight compressed 1 range(s), ~57725 tokens saved (1286024 → 1002586) in 353923ms → preflight aborted … not forwarding

    Two observations:

    1. Per-range latency dominates. A single 58K-token range took ~320s (190s to the empty answer + ~130s retry). At that rate a 25-round budget is ~2h, and because the SSE headers are already committed the client sees a silent stream for the whole time.
    2. The empty-summary path roughly doubles a range's cost. The retry is correct, but classifying finish_reason=stop + empty content as transient before spending a second full summarization would halve the worst case here.

    Also worth noting: the aborted pass left the session at 1,002,586 tokens — still 88K above the window — so no progress was made toward servable, and the client got nothing.

  8. ranxianglei commented on Oct 21, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    重试侧 413 终态判决的又一份独立复核证据(来源: #4215 分析时发现,v0.1.202,DSH native 车道)

    #4215 的事故与 #3011 floor 16(#4068 分析)记录的机制同型,用其日志逐字节核过:

    1. 数字吻合守卫阈值:preflight fail-fast 413 (retryable=false): payload core text alone is ~5742630 bytes ... ≥ ~765684 tokens vs model window 744000。守卫阈值为 max(2MB, 窗口×7.5):744000×7.5=5,580,000 < 5,742,630,ceil(5742630/7.5)=765,684 ≥ 744000——两个条件同时命中,判决无误报。模型 gpt-6.1-sol、窗口 744,000、子会话首请求估算 2,242,367 tok。
    2. 顺序细节(v0.1.202 src/server.ts ~:3383-3424):preflight 返回 compressedRanges>0 后,代码先把 session.stats.lastInputTokens 写成 estimate 源(~:3393-3394),然后才检查 client abort 并「not forwarding」早退——一次被中断的 preflight 会把 estimate 计量器持久化;此后每次重试都满足 probeForEvidence(estimate 源 ⇒ baselineFloor=0)⇒ 原始 payload doomed 检查 ⇒ 直接终态 413,一次折叠都不尝试。首条请求能逃过守卫只因全新子会话 lastInputTokens=0(probeForEvidence=false)。事故里连续 3 次重试(5742677/5742724/5742771 bytes)全部同一终态。
    3. 与 [PR] fix: persist each committed preflight fold so a dead marathon leaves durable progress (#3978) #4046 的关系(重要):[PR] fix: persist each committed preflight fold so a dead marathon leaves durable progress (#3978) #4046 的每轮 fold 落盘治的是「进度丢失」半;本条是「重试侧终态判决」半——有可压 range(本例首轮列出 405 viable ranges)时,raw-bytes doom 检查在真正折叠开始前就把请求判死。两个修复合成才是闭环:[PR] fix: persist each committed preflight fold so a dead marathon leaves durable progress (#3978) #4046 保证中断后进度在盘上可续,重试侧修复保证重试真的去续而不是先判死刑。
    4. 一个待核清的出入:本事故中被折掉的 1 个块最终在盘上(17:06:08 冷加载读到 8353 refs + 1 block),而 floor 4 对 v0.1.202 的描述是「断开早退跳过全部 dirty-mark、fold 只活在内存里」。可能是 refs/stats 变更点的 debounce 写捎带落盘——修重试侧时值得把这个持久化路径一并核清,避免两处对「中断后盘上有什么」的理解不一致。

    落点仍按 #3011 floor 16 提的问题等你拍板(#3025 checklist 单列 vs 并入 #3978)。机制本身无争议:estimate 源 + 超窗 + 存在未耗尽的可压 range 时,不应在折叠前返回不可恢复的本地 413。

  9. edisonzerolam commented on Oct 22, 2026

    @edisonzerolam

    数据点(v0.1.204 / DSH native / win32-x64 / opencode-go·deepseek-v4.1-flash · ctx 1,000,000 · maxTok 384,000)—— 与 floor 2(来自 #4215)同一机制,但这次能把「409 多模态收养门 → 零折叠 → 马拉松 → 终态 413」整条链在一次会话里看全

    先声明:不主张新机制。终态 413 的判决机制与 #4215/floor 16 一致,不再重复论证。新增的只有三点形状。

    1. v0.1.204 仍在复现(版本面)

    上游记录里 floor 2 的事故是 v0.1.202,本条是 0.1.204。说明这个判决路径在 #4046 落地前后都未被触及。

    2. 同一会话里 409 多模态收养门在前,413 在后(#3011 C6 的完整现场)

    之前记录的多是「有 413 但无 adoption 日志」(#4215)或「有 409 但未追到 413」。本条两者连续出现在同一 session,中间隔 8 分半:

    02:04:18.066Z [warn] bili-native-dsh: fork adoption for session-8c217fef-… degraded
                  (snapshot http 409 SNAPSHOT_UNAVAILABLE (Error: multimodal or opaque
                   content cannot be compared by text)) — the session continues without
                  inherited compression state (#2399/#2469)
    02:04:18.855Z output budget restored 1 -> 384000
    02:04:24.575Z processTurn: 7457 msgs, renderTags=text-only
    02:04:24.575Z nudge idle: usage=0% (0/750000), growth=0/22500 (ref=0, interval=50000),
                  pendingT1=2120680/50000 model=deepseek-v4.1-flash
    02:04:35.204Z context 2402717 tokens reached preflight 750000; usage-baseline=none
    02:04:40.850Z [preflight] round 1/32: payload … deficit 1652717, 192 viable range(s)
    02:08:30.564Z [preflight] round 7/32: … deficit 1228213, 186 viable range(s)
    02:09:08.616Z [preflight] round 8/32: … deficit 1182025, 185 viable range(s)
    02:09:17.707Z [preflight] summarization aborted: client disconnected
    02:09:23.733Z preflight compressed 7 range(s), ~470692 tokens saved (2402717 → 1815177) in 288137ms
    02:09:23.733Z preflight aborted (the client disconnected during preflight compression); not forwarding
    02:09:29.602Z preflight fail-fast 413: core text alone is ~6943457 bytes … ≥ ~925795 tokens
    02:12:20.033Z preflight fail-fast 413: core text alone is ~6461455 bytes … ≥ ~861528 tokens
    02:12:44.363Z preflight fail-fast 413: core text alone is ~6629945 bytes … ≥ ~883993 tokens
    

    3. 该会话 117/117 次上游调用零 usage(nudge 从未武装)

    这是本条唯一可能值得单独看的一处。全会话 usage-baseline=none 贯穿,nudge idle 连续十轮都是 usage=0% growth=0/22500(growth 由上游回执 input 差值算出,无回执即恒 0),直到 preflight 才出现一次 nudge INJECT T1: usage=1077% (8074907/750000), growth=6142833/22500。

    也就是说:在 usage 全缺的会话里,增量折叠这条常规路径完全失效,唯一生效的是临界路径上的 preflight——而 preflight 正是最慢、最容易被客户端看门狗掐死的那条路。二者叠加才形成「十轮毫发无损、最后一轮突然马拉松并判死」的形状。是否与 #4153 一类「零 usage」条目同源,我没有验证,不作为主张。

    一处措辞问题(供 owner 判断值不值得改)

    本条 413 文案的结论是 "no upstream can accept it",但它实际比较的量是 limit = 750,000:

    native wall      = 1,000,000     (provider 注册表 ctx)
    completionReserve= min(384,000, 0.25 × 1,000,000) = 250,000
    limit            = 1,000,000 − 250,000 = 750,000   ← 判决用的窗口
    

    750,000 × 7.5 = 5,625,000,而 1,000,000 × 7.5 = 7,500,000。5.63 MB – 7.5 MB 是一条字节带:落在这条带里的 payload 会被文案断言为「上游不可能接受」,而严格说它只是「超出 bili 自己的预留目标」。本例 6,629,945 正在带内。

    我不主张这个 payload 真能过——7.5 B/tok 是最密密度,中文实际密度更低,真实 token 很可能确实超过 1 M。我主张的是:一句话把「bili 的压缩节奏线」写成了「上游物理墙」,而这句话直接决定用户去做什么(本例用户会去删内容,实际瓶颈是 8 轮只折掉 7 个范围)。同理,retryable:false + noteLocalRefusal 在请求从未离开本机时登记 (origin, model, limit),之后连一次能取得真实 usage 的尝试都不允许——这与 #3846 的形状相邻但方向相反。措辞或登记任一处调整都能缓解误导;是否值得改由 owner 定。

    环境与配置

    • bili 0.1.204,Plugin native(dsh 插件原生注入),DSH desktop web profile,OpenAI 兼容 /v1/chat/completions + SSE
    • Windows 11(非 WSL2),Node v24.16.0,win32-x64
    • 无 compress.* 覆盖(cap 取默认 0.25);配置文件里仅剩已移除的 dsh.allowDshCompaction(启动告警 was removed (#3651),值被忽略)
    • 会话:session-8c217fef-63a5-4685-bdc3-5afbc2546448

    落点

  10. ranxianglei commented on Oct 22, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    谢谢这个数据点——第一次看到「409 多模态收养门 → 零折叠子会话 → 8 轮马拉松 → 客户端断连 → 三连终态 413」整条链在同一会话里连续出现。三个形状点已逐行对照 v0.1.204 源码(tag c87185a)核验:两点原样成立,第三点(零 usage)的因果归因需要修正。

    标签:补打 dsh(本条给出具体 DSH native 数据点;bug/scope/kernel/p1 维持)。

    点 1(版本面):成立。 git diff v0.1.202..v0.1.204 在判决区域只有两类变化:DOOMED_PROBE 常量导出化 + 新增 noteLocalRefusal 拒绝台账及其调用点;doomed-check 判决本体未动。你的数字与公式精确吻合:reserve=min(384,000, 0.25×1M)=250,000 已武装 ⇒ limit=750,000(src/server.ts:3138-3140),字节带 5,625,000–7,500,000;三次重试 6,943,457 / 6,461,455 / 6,629,945 全部带内,且字节数逐次不同印证「每请求重建重定价、非缓存旧判决」。

    点 2(重试侧链):成立,机制钉到行。 probeForEvidence 门(src/server.ts:3293,estimate 源 ⇒ baselineFloor=0);probe 分支内 doomed 检查(:3312-3326)跑在拒绝台账检查(:3328)之前——所以对被判 doomed 的 payload,每次重试都从原始字节数学重新推同一个终态 413,一次折叠都不尝试;台账本身((origin,model) 键、TTL 10min、:2738/:2760)只约束非 doomed payload(花掉 forward-once 赌注、挡 image-arbitration 逃生口)。该机制已在 #3011 floor 16 逐行钉死,#4215 以 duplicate of #3011 关闭并把 preflight 侧归入本票失败域;你的 8 轮/288 s/192→185 ranges 已作证据登记。落点(#3025 checklist 独立 vs 并入 #3978)等 owner 拍板。

    措辞问题:确认,另有一处新发现。「no upstream can accept」共三处:preflight 入口 doomed 检查(src/server.ts:3312-3326,标尺=limit)、post-preflight doomed 检查(:3716-3721,标尺=limit)、egress fuse(src/server/relay.ts:606-608,标尺=declaredWindow 带 MIN_ASSUMED_WINDOW_TOKENS 下限)——第三处与前两处标尺不同,措辞漂移更大。reserve 武装时 limit=window−reserve,消息却称其为 "the model window";带内 payload 被断言「上游不可能接受」属过度声明(你自己也指出真实密度比 7.5 B/tok 松)。我的建议:值得修,但它与重试侧判决修复同属一个机制面(doomed-probe 判决家族),应随那个 PR 一并修、不单拆小 PR;消息应写明实际标尺(未武装时即 window,武装时 window − proven completion reservation),通用化表述只保留给带外情形。时机随 owner 对判决落点的拍板。

    点 3(零 usage):观察成立,因果归因修正。 v0.1.204(及当前 master)的 nudge 增长通道根本不消费上游 usage:decideNudge(kernel/src/compress.ts:1706)输入为 {config, state, tokenCount, recommendation, countTokens},无 usage 字段,内部 usage=tokenCount/limit 是本地计量。你的 growth=0/22500 不是「growth 由上游回执 input 差值算出」——真链是:

    1. 子会话零 usage 回执出生 ⇒ lastInputTokens 全程恒 0——这正是 src/server.ts:2296-2316 注释记录的场景([Bug] 上游从不报告 usage 时 nudge 永不触发——上下文无界增长直到超窗(ChatGPT 登录态后端) #728:upstreams that NEVER report usage … lastInputTokens stays 0 for the whole session,decideNudge structurally unfireable at tokenCount == 0);
    2. 你 02:04:24 那行 usage=0% (0/750000), pendingT1=2120680 是直接证据:2.1M ready mass 而计量器读 0;fix: compress over unpruned view + acp-kernel 0.0.38 (billion-context-pi#195) #194 first-sight mass bypass 要求 usage≥minContextLimitPct,计量器为 0 时同样不成立;
    3. [Bug] 上游从不报告 usage 时 nudge 永不触发——上下文无界增长直到超窗(ChatGPT 登录态后端) #728 已有的补救(lastInputTokens==0 时回落上一轮的 localInputEstimate)救不了出生请求——没有「上一轮」;
    4. 即便后续重试把计量器喂活,重试侧 doomed 检查也会先于任何 nudge 注入的压缩执行——节奏缺口与判决缺口叠加:快路径出生即盲,唯一生效的是最慢路径,被断连掐死后判决路径接棒。

    所以点 3 不构成独立缺陷机制——它是本票节奏面 × #3011-floor16 判决面的叠加,根假设(「self-heal via next usage report」)#728 已点名。不单开帖;可做的精修(出生请求就用 preflight 同款本地估计喂计量器,而非等上一轮)属行为变更(大新会话更早武装 nudge),登记为本票/#3011-floor16 的 checklist 项等 owner 拍板,现在不动。

    结构化八问

    1. 是什么问题:外部用户报告同一「马拉松中断→重试终态 413」链在 v0.1.204 复现,附零 usage 与措辞两个新形状。
    2. 什么原因导致的:版本面确认(202→204 判决路径未变,新增台账不改变结论);零 usage 归因修正(计量器全程恒 0 ⇒ nudge 结构性失明,不是 usage 门控问题)。
    3. 影响范围与严重程度:与原票同域,p1 场景(fork 降级大会话 + preflight 中断 + 重试的组合);措辞问题=误导性报错文案(体验级);零 usage=无独立影响面(既有机制叠加)。
    4. 怎么修复的:本轮无代码改动(纯核验+归因修正);措辞修复建议随重试侧判决 PR 一并做;计量器喂活精修登记 checklist 等拍板。
    5. 是否有回归问题:无(未改代码)。
    6. 是否破坏缓存:不涉及。
    7. 是否改了设计方向:无;澄清一项——「零 usage 致盲增量折叠」在任何现有版本都不作为独立门控存在,无需方向调整。
    8. 是否引入新配置:无。

    收工判定:本数据点已登记为 #3978/#3011-floor16 的证据,不开新帖;等 owner 对判决落点的拍板,措辞修复将列入该 PR 验收清单。

  11. 14 remaining items

  12. ranxianglei commented on Oct 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收尾确认(本轮中间两次进程被强制重启,状态汇报可能未同步):终态帧 follow-up PR #5057 已开(2026-10-27_preflight-terminal-frame @ 4bcbcf9f),代码与验证全部完成——四个 preflight「提交头后不转发」出口统一发协议终态帧再 end()(SSE event: error / JSON 追加 error 对象,复用原生 fail-fast 形状),abort 日志补真实 outcome;测试 4/4 绿、red-run 双向钉死 bug、相邻套件 12/12、typecheck/build 全过。详细八问见上一条回复。本票 agent 侧工作至此全部交付:持久化半 #4046、deadline 半 #3590、终态帧半 #5057,等 owner review/合并;CI 结果出来我会在各 PR 下跟进。

  13. ranxianglei commented on Oct 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    来源: #5022 后续分析(报告者自查轮次序列发现的新机制,已对 master 源码逐行核实)。补登一个性能决策项:

    D-new-3(LLM 折叠路径每轮单折)

  14. ranxianglei commented on Oct 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    样本收到,已并入本票记录(v0.1.208 / DSH Desktop,266 轮 26.5MB,preflight 跑完 259s 后成功转发——这条是「时长」半的又一实例:客户端视角就是 4 分钟无首 token。#3590 合入后这类请求会在 wall budget(50s)内停表:够就转、不够快速失败,不再无限挂等)。

    你问的 I2 violation 查过了,是已知诊断边界,不影响折叠选择:

    本票其余状态不变:持久化半 #4046、deadline 半 #3590、终态帧半 #5057 三个 PR 在途,等 review/合并。

  15. ranxianglei commented on Oct 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    状态确认(进程空闲期被例行重启一次,无新进展需要汇报):本票 agent 侧工作已全部交付且无阻塞——持久化半 PR #4046、deadline 半 PR #3590、终态帧半 PR #5057 三个在途等 review/合并;最新一条外部样本(v0.1.208 / 259s 跑完转发 + I2 exemption-overflow)已在上一条回复中并入记录并答复。当前处于等待态:CI 结果与各 PR 的 owner review;有结果我会立即跟进,不会再静默挂起。

  16. ranxianglei commented on Oct 31, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷
    (ai: vllm-qwen/qwen3.8-27b)

    数据点登记(来源: #5306 分析 "inflated context estimate makes folding block before forwarding" 时发现):

    @cinast 的 Windows DSH 环境(v0.1.209,1M 窗口、256K 预留,真实输入 721K–775K 踩在折叠线上)提供三个新形状:

    1. 单次折叠马拉松时长:32 ranges / ~361,844 tok saved(1,325,813→963,975)耗时 864,231 ms,且该请求最终仍以 400 收尾——与 pkuqiuning 的 ~320 s/range、edisonzerolam 的 8 轮/288 s 同型,再次印证"单 range 成本主导总时长"。
    2. "estimate 已写、usage 未 settle"的文件形态:4 个 session 文件的 contextTokens(char-count 上界口径,[Bug] statusInputBaseline falls back to lastUsageGradeTokens instead of the calibrated local estimate — so one 4.7k side-request sample blocks folding for 4 hours | #1595 承诺的"改用本地估算"兜底在 statusInputBaseline 里没有实现,一次 4.7k 侧请求样本即可挡住折叠 4 小时 #4383)为 lastInputTokens(真实账单)的 3.5–4.75×,contextEstimateCalibrated 全缺——请求要么 stall 在 preflight 从未转发、要么转发后吃 400 走 overflow-arm 路径,两种收尾都不让计量字段回到 usage 口径。已核实:preflight 触发器(src/server.ts:3479-3537)不消费 stats.contextTokens,只消费 lastInputTokens(usage/overflow-arm)+ 本请求当场校准的本地估计——高估数字本身不驱动折叠决策;GC sizing 的回落消费偏保守方向(更久保留文件,不会误删)。即 docs(benchmark): Independent 1,500-Item Third-Party Evaluation across LongMemEval-S, ContextBench & MemoryAgentBench (BC v0.1.202 vs Full & 3 RAG Arms) | 第三方Billion Context Benchmark结果 #5306 报告的"高估"是挂死的痕迹,不是独立估算缺陷。
    3. 客户端侧呈现:DSH 发消息 → 零输出(无错误、无 spinner),手动 stop 才正常 abort——与 floor 18 钉的静默 abort 分支(respond:false、无终止帧)呈现一致,佐证"协议终止帧"项的必要性。

    未开新帖(与本票同失败域);数据点在此作为持久化半(PR #4046)/墙钟半(PR #3590)的验收参照。详见 #5306 线程。

  17. mariopasquali commented on Nov 1, 2026

    @mariopasquali
    Contributor

    Production data point from a self-hosted relay (Linux, 4 vCPU / ~6 GiB RAM, Node heap 6144 MiB), bili 0.1.200 pinned, OpenCode V2 clients, long-running agent sessions (mostly OpenAI Responses wire, some Anthropic). Measured from bili.log over the last ~32 h, only requests with inbound ≥ 60 MiB:

    session requests max inbound messages outbound (after folding) local processing median / p90 / max
    A (Responses) 403 126.9 MiB 41,204 ~1.3 MiB 7.8 s / 19.6 s / 33.8 s
    B (Responses) 443 101.8 MiB 33,857 ~1.4 MiB 5.0 s / 15.6 s / 39.1 s
    C (Responses) 185 102.6 MiB 30,398 ~1.8 MiB 6.3 s / 17.4 s / 33.2 s
    D (Responses) 349 100.3 MiB 37,357 ~0.9 MiB 7.5 s / 15.8 s / 31.3 s
    E (Responses) 297 62.1 MiB 23,777 ~1.0 MiB 6.1 s / 14.0 s / 20.9 s

    Observations:

    What would help most for this workload, in order: (1) an incremental/delta turn path that also covers the OpenAI Responses wire, (2) a configurable request-size limit, (3) bounded per-request local work (the preflight PRs #4046 / #3590 / #5057). Happy to run a candidate build against a copy of these sessions and report numbers.

  18. ranxianglei commented on Nov 1, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    生产数据收到,质量很高(32h 实测、分位数齐全),已并入本票记录。按你的优先级逐条回:

    (2)可配置的请求体上限——你钉的 0.1.200 之前已经解决了,升级即可去掉本地补丁。 #3128 由 PR #3202(2026-10-14 合入)落地:入站 BILI_RECEIVE_BODY_BYTES > network.receiveBodyBytes、出站 BILI_OUTBOUND_BODY_BYTES > network.outboundBodyBytes,两者默认 5 GiB(原硬编码 100 MiB)。当前 master 的 HTTP 路径走这套 knob;旧的 100 MiB 常量只剩一个无活跃调用点的遗留导出。所以「session 死在 99.9 MiB」在新版本不会发生;25–30 MiB/天的增长对 5 GiB 上限也是月级而非天级压力。(nginx 的 client_max_body_size 仍需你们自己配。)

    (1)Responses wire 的增量/delta 回合——这是跨组件功能提案,不是 bili 单侧能修的,需要 owner 评估。 现状分层说清:客户端上传体积是客户端协议行为——纯代理模式的 Responses 客户端按协议每轮全量上传历史,bili 无法单方面减少;现有两条相关机制各有边界:①插件增量回合车道(宿主 msgid 信封,POST /__bili/plugin/turn)覆盖 dsh/omp/opencode/pi 插件车道,但前提是客户端走插件 API 而不是裸代理;②快照渲染车道(#3756)把出站前缀改由服务端正史渲染,降低的是模型侧成本与缓存失稳,不减少上传。真正的 Responses-wire delta 路径需要 OpenCode V2 客户端侧配合实现——查重:无既有跟踪。我的建议:作为功能提案提交 owner 决策(含本条数据作需求证据),要立跟踪 issue 的话说一声我来开。

    (3)有界本地折叠工作——映射正确,即三个在途 PR:#4046(进度持久化)、#3590(preflight wall budget,把马拉松变成有界停表)、#5057(终态帧,失败快速可见)。一点诚实修正:你表里 5–8 s 中位数的主体是 30–40k 消息的入站 parse/reconcile/serialize 基线,这三个 PR 约束的是压缩马拉松尾部(你数据里的 p90/max 长尾场景),parse 基线本身不在其覆盖范围。

    Heap OOM:确认收到。大单体的内存缓冲在 #3128 里被明确拆为独立性能方向(可用性修复与流式/spill 分治),当前无已承诺的方案,先记入本票。

    候选构建测试的提议欢迎——等任一 PR 合入出构建后我可以在此跟进给你测试指引。

  19. cinast commented on Nov 2, 2026

    @cinast
    Contributor

    谢谢登记。有一处需要更正,免得这条数据以后被当成另一条因果来引:

    「estimate 虚高 ⇒ 折叠被驱动」这个说法我这边已经撤回(更正在 #5301 下:#5301 (comment))。贵方 10-31 那条登记里第 2 点自己也核到了同一结论(preflight 触发器不消费 stats.contextTokens),这里只是把它对齐:

    • 那 4 个会话的 contextTokens / lastInputTokens = 3.5–4.75× 是观测面痕迹(char-count 上界口径、estimate 已写而 usage 未 settle),不是折叠的驱动因素;
    • 真实驱动是 lastInputTokens 踩线(721k–775k vs 669.6k 折叠线)⇒ 折叠是正当触发;
    • 最终卡死是「折叠耗时超客户端等待窗 → 走静默 abort 分支」,与第 3 点(零输出、手动 stop 才 abort)是同一件事。

    另外补一个我这边的形状,可能对验收有用:那轮 32 ranges / 864,231 ms 之后仍以 400 收尾,说明折叠跑完不等于请求能转发——链路里还有一道终态判决。这条与持久化半(#4046)、墙钟半(#3590)、终态帧(#5057)是三个不同出口,别用同一个指标验收。

    我没有开新帖:与本票同失败域,按你们的规则登记在此。

  20. ranxianglei commented on Nov 2, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    更正收到,已按你撤回后的口径登记(避免后续引用旧因果):contextTokens/lastInputTokens = 3.5–4.75× 是观测面痕迹(char-count 上界口径、estimate 已写而 usage 未 settle),非折叠驱动;真实驱动是 lastInputTokens 踩线(721k–775k vs 669.6k 折叠线)⇒ 正当触发;最终卡死 = 折叠耗时超客户端等待窗 → 静默 abort 分支。与我们 10-31 登记第 2 点的核查结论一致(preflight 触发器不消费 stats.contextTokens),两边已对齐。

    关于「32 ranges / 864s 跑完仍以 400 收尾」——方向同意(折叠跑完 ≠ 请求能转发,验收指标必须分出口),但具体那道判决的归属要修正一下:当前代码里 bili 自己的 post-fold fail-fast 只会发 413 / 502 / 503(状态源在 src/server.ts:4095:upstream-429→503、deterministic-exhausted→413、其余→502),不会发 400。bili 侧仅有的两个 400 出口都是折叠之前的请求级校验(src/server/handle.ts:423、:1271)。所以你这个 400 最可能是上游/网关对折后 payload 的拒绝被原样透传——即「终态判决」在链路里确实有一道,但那道是上游的验证关口,不是 bili 的。要精确归类的话,把那个 400 的响应体贴一下(或关键字段)即可定位:strict-pairing/reasoning 类拒绝(#3922 家族)、schema 类、还是网关限额类,三者修法与归属都不同。

    验收口径按你说的分开记:持久化半(#4046)看「重试是否续上进度」、墙钟半(#3590)看「是否有界停表」、终态帧(#5057)看「失败是否快速可见」、post-fold 上游判决单列——四者互不替代。

    不开新帖的处理正确:与本票同失败域,登记在此即可。

  21. zouzh22 commented on Nov 15, 2026

    @zouzh22
    Contributor

    (ai: OpenAI/GPT-6)

    补一组 DSH 0.2.2-rc.3 的隔离复现。插件的 preflight 会发 : bili-preflight SSE 注释,但这个版本的 pi-ai 适配器仍然可能报 pi-ai stream idle timeout。我用已安装的适配器和环回模拟上游实测:每 100 ms 发一条同样的注释,正文安排在 1400 ms。550 ms 的 idle 设置下,模拟上游发出 6 条注释后客户端报 TIMEOUT 并断开。相同配置去掉注释也会超时。只将 idle 调到 3500 ms,原流收到 14 条注释和完整正文。DSH 侧已有 #11620 讨论。

    插件这边,我把 #3590 的源代码改动和测试移到当前 master 2e3cfc9,解决了与 #4528 轮间 yield 的一个上下文冲突。慢摘要用例在已有进展后返回可重试错误,重发继续折叠并最终转发成功。快摘要用例在同一次请求内完成。55 个定向用例、typecheck、build、两项隔离的 DSH 原生压缩检查通过。模拟测试覆盖了同一会话重试和折叠进展。首次摘要本身超时及 refold 已提交响应头后未正常结束仍分别需要处理,后者已有 #5057。

    官方 v0.1.215 的 DSH 原生压缩冒烟也通过。它包含 #6104 的审查流识别,但 tag 中的 relay 还没有 #6529 已合并的按实测输出预算重试逻辑,因此这次候选基于 master。上述验证全部使用合成请求。

  22. ranxianglei commented on Nov 16, 2026

    @ranxianglei
    OwnerAuthor

    (已收)本单已归入根因聚合 issue(token 见聚合单 body),机器人已停止在本单上的工作,修复走聚合 issue 统一出 PR;本单保留不关,修复验证后统一关闭。(聚合单:[Root Cause] preflight-compress (3 items),GitHub #6896)

  23. hrchrc commented on Nov 18, 2026

    @hrchrc

    Same death-loop confirmed on DSH desktop / Windows / 0.1.213, 2026-11-12 22:39–22:41 local — one full cycle, sanitized:

    22:39:01  [preflight] round 2/32: payload ~1419895 tok vs window 750000 (deficit 669895), 22 viable range(s)
    22:39:06  preflight still running after 30000ms grace — committed early SSE headers + keep-alive to hold the client (#568)
    22:40:11  [preflight] summary attempt 1 got … body failed (TypeError, code=ECONNRESET; 1 attempt); retrying in 1500ms
    22:40:11  [preflight] summarization aborted: client disconnected
    22:40:11  preflight compressed 1 range(s), ~119232 tokens saved (1539127 → 1267675) in 94605ms
    22:40:11  preflight aborted (the client disconnected during preflight compression); not forwarding
    22:40:11  slow-session: 1143 msgs / inbound=5.9MiB took local=94986ms — synchronous per-turn work is starving the event loop (#4528/#5744)
    22:40:11  nudge idle: usage=638% (4784502/750000), growth=3364468/22500 … pendingT1=1345476/50000
    

    Two amplifiers specific to the resume-fork shape (parent ledger lost — child had 0 active blocks, raw history replayed; the folded parent payload was only ~129K tok before the restart):

    1. The client-side patience window is bounded by the host, not just HTTP: while preflight runs ~95 s, the DSH UI shows no reply; the user hits retry, and the next request repeats the same 95 s+ preflight. Even the partial win (119K saved) was discarded with not forwarding.
    2. On this host the retry never even gets a second chance: after the third resume-fork, the host-side gate blocked sending entirely (contextPressure.surfaceTokens 1,249,503 > contextWindow 1,000,000), so from inside the session the loop is terminal — no nudge, no model-driven fold, no manual /compact-equivalent can run.

    Concrete suggestion for the preflight side regardless of what #5962 does about inheritance: persist and reuse in-flight preflight fold results across retried requests (the 94.6 s / 119K-tok fold above was thrown away), or keep folding in background across retries (budget 32 rounds exists — round 2/32) instead of aborting the whole request on client disconnect.

    Version: bili 0.1.213 (commit 133f352), DSH desktop Windows, protocol=openai. Related identity half: #4776.

  24. Maziar123 commented on Nov 19, 2026

    @Maziar123
    Contributor

    Thanks; the resumed-fork detail adds an important acceptance case for #6896. A completed fold should not be discarded solely because the client that initiated it disconnected; a later retry should be able to reuse the durable result. That is different from continuing abandoned work indefinitely or merely extending the client timeout.

    The host-side refusal after the retry also explains why this becomes a terminal loop for the session. No additional reproduction is needed for this report.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions