Repository navigation
Labels
Description
以下可直接粘贴为 GitHub Issue:
[Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发
环境
- 组件:
billion-context / acp-proxy - 版本:
v0.1.202 - 模型:
step-5-preview - 模型窗口:
1,000,000,输出预留后有效窗口约937,700 - 代理地址:
http://127.0.0.1:18787 - 上游:
http://<private-host>:60829/v1/chat/completions等 - 时间:
2026-10-20T12:46:56Z~2026-10-20T12:53:34Z - 平台:Windows(日志路径为
C:\Users\Administrator\...)
摘要
当会话上下文达到约 1,195,521 tokens、请求 payload 约 1,223,095 tokens 时,代理触发 preflight 压缩。压缩在 30 秒 grace 后仍未完成,代理先提交 SSE headers + keep-alive 保持客户端;但客户端在约 35–43 秒时断开,preflight 随即被 abort,请求不会转发。随后用户/客户端重试会创建新 session,再次进入相同的 preflight 压缩流程并再次失败,形成反复不可用。
同时日志显示 fork adoption 失败、父会话不可加载、reasoning_content 配对缺失等关联问题,可能导致继承压缩状态丢失或严格上游拒绝请求。
实际行为
-
会话上下文超过 preflight 目标:
context 1195521 tokens reached preflight target 937700 ... preflight compressing before forward payload ~1223095 tok vs window 937700 (~1.3x) — raising summarization budget 16 -> 21, rounds 16 -> 21 round 1/21: payload ~1199511 tok vs window 937700 (deficit 261811), 82 viable range(s) -
preflight 压缩超过 30 秒:
preflight still running after 30000ms grace — committed early SSE headers + keep-alive to hold the client (#568) -
客户端在压缩期间断开:
[preflight] summarization aborted: client disconnected preflight aborted (the client disconnected during preflight compression); not forwarding request: 694 msgs, inbound=4.5MiB, local=43219ms -
后续重试创建新 session,但仍匹配到不可加载的父链,重新从头压缩并再次失败:
fork adoption for session-... degraded (snapshot http 404 PARENT_NOT_FOUND (unknown plugin conversation)) [resume-inheritance] matched tracked chain session-4602b539-4e26-428a-8c09-5408889f88a5 but the parent session is not loadable — starting fresh (#1486) context 1195521 tokens reached preflight target 937700 ... preflight compressing before forward
涉及多个 session,例如:
session-d8182098-67e4-4425-ad79-d81fed689bdfsession-afa76480-4a7d-4e69-a5e3-e862c4e00ad6session-e512e03d-0324-487a-84e7-43a8ac7d41f9session-44971819-ea70-4f39-bc61-cf5ac172a3b2session-6abc9cbd-5807-40b4-bfdd-8150b5266ac3session-c9037286-06f8-4e72-81bf-b28bbfd41846
期望行为
- 超大上下文触发 preflight 压缩时,应在客户端超时前完成,或至少让客户端重试后复用已完成的压缩进度。
- 客户端在 preflight 中断开时,不应让后续重试反复执行完整压缩且无法转发。
- fork adoption / resume-inheritance 失败时应有可恢复路径,而不是直接
starting fresh并丢失继承压缩状态。 - 对严格
reasoning_content上游,应保证 assistant tool-call 消息的 reasoning 配对完整,或明确降级/过滤。
复现步骤
- 使用
step-5-preview,窗口1,000,000,输出预留后有效窗口约937,700。 - 构造约
847条消息、inbound 约4.5 MiB、本地估算约1.19M tokens的会话。 - 发起
/v1/chat/completions请求,触发 preflight 压缩。 - 等待 30 秒以上;客户端在压缩完成前断开。
- 重试会话,观察新的 session 再次触发 preflight 压缩并再次 abort。
日志证据
2026-10-20T12:46:56.754Z [warn] ... context 1195521 tokens reached preflight target 937700 ... preflight compressing before forward
2026-10-20T12:46:56.775Z [warn] ... [preflight] payload ~1223095 tok vs window 937700 (~1.3x) — raising summarization budget 16 -> 21, rounds 16 -> 21
2026-10-20T12:46:56.927Z [info] ... [preflight] round 1/21: payload ~1199511 tok vs window 937700 (deficit 261811), 82 viable range(s)
2026-10-20T12:47:26.755Z [info] ... preflight still running after 30000ms grace — committed early SSE headers + keep-alive to hold the client (#568)
2026-10-20T12:47:39.480Z [warn] ... [preflight] summarization aborted: client disconnected
2026-10-20T12:47:39.493Z [warn] ... preflight aborted (the client disconnected during preflight compression); not forwarding
关联问题:
2026-10-20T12:46:56.250Z [warn] ... fork adoption ... degraded (snapshot http 404 PARENT_NOT_FOUND (unknown plugin conversation)) — the session continues without inherited compression state (#2399/#2469)
2026-10-20T12:46:56.454Z [info] ... [resume-inheritance] matched tracked chain session-4602b539-4e26-428a-8c09-5408889f88a5 but the parent session is not loadable — starting fresh (#1486)
2026-10-20T12:46:56.674Z [warn] ... reasoning-pair-violated: 200 assistant tool-call message(s) lack reasoning_content while 15 carry it — strict-echo upstreams (DeepSeek thinking mode) will reject the request (#684/#762/#2864)
2026-10-20T12:50:00.650Z [warn] ... network failure with no usage report — armed emergency shrink with local estimate 1353791 tokens
另有大量 /favicon.ico 转发到 https://api.anthropic.com/favicon.ico 后返回 403 Request not allowed 的噪声日志,建议单独过滤或忽略。
影响
- 大上下文会话在 preflight 阶段不可用,客户端超时后请求不转发。
- 重试无法复用压缩进度,反复进入
preflight aborted。 - fork adoption
404 PARENT_NOT_FOUND导致继承压缩状态丢失,可能放大重复压缩成本。 reasoning_content配对缺失可能导致严格上游直接拒绝请求。- 日志噪声较大,不利于定位真实上游错误。
可能原因
- preflight 压缩预算提升到 21 轮后,单次压缩耗时超过客户端等待窗口。
- 30 秒 grace 后虽发送 keep-alive,但客户端/宿主仍按自身超时断开。
- 压缩进度未在客户端断开后持久化,重试会重新全量压缩。
- fork adoption 的 snapshot 接口返回
404 PARENT_NOT_FOUND,resume-inheritance 找不到可加载父会话。 - 历史消息中 assistant tool-call 的
reasoning_content配对不完整。
建议修复方向
- 对超大上下文提前触发压缩,避免在请求临界路径上做 20+ 轮 preflight。
- 将 preflight 压缩结果持久化;客户端断开后重试可继续/复用,而不是从头开始。
- 客户端断开时保留压缩任务或记录可恢复 checkpoint。
- fork adoption
404 PARENT_NOT_FOUND时提供降级加载/重建父链路径。 - 修复或规范化
reasoning_content配对;无法修复时对不支持的上游做明确降级。 - 过滤
/favicon.ico等非模型路径的 403 噪声,或降低日志级别。 - 增加指标:preflight 耗时、轮数、abort 原因、客户端断开时间、压缩复用命中率。
标签建议
bug compression preflight session upstream large-context
如果需要,我可以继续把其中的 fork adoption PARENT_NOT_FOUND 和 reasoning_content 配对问题拆成独立 issue。
Mirrored from ework issue #3978
Activity
ranxianglei commentedon Oct 20, 2026
看看
[-][Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发[/-][+][Bug] Excessive preflight compression time on ultra-large contexts; client mid-disconnect causes repeated request forwar | [Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发[/+]ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重:不重复。 按失败签名(preflight abort / 客户端断开 / PARENT_NOT_FOUND / resume-inheritance starting fresh / reasoning_content 配对 / favicon 噪声)检索了 open+closed issue 与 PR,无同症状同机制条目。相关但不同:
标签:bug / scope/kernel / p1(大上下文会话在所述条件下完全不可用:请求永不转发、重试永远再失败 = 核心承诺失灵;客户端身份无法从日志判定——
session-<uuid>id 形态不匹配仓库已知任何宿主,上游为私有 relay,故不打客户端标签)。已验证(v0.1.202 代码逐行核对,非凭描述推断)
issue 中每条日志都对应真实代码路径:
src/preflight.ts:1615-1617)。每个 LLM 轮提名 chunk 并发外部 summarization 调用(单次数十秒),总 wall clock 结构性超过客户端硬等待窗(本例 ~40s)。30s grace 后的 keep-alive(每 15s 一个 SSE 注释,src/server.ts:2629-2690)只能防连接因空闲被掐,重置不了客户端的 wall-clock 预算——实测客户端仍在 43s 断开 →clientAbort→ 循环终止 →failure = ABORTED_FAILURE(src/preflight.ts:1357/2757)→not forwarding(src/server.ts:3420-3424早退返回)。commitFold→applyRanges(fold, ctx)逐个应用到 session 状态(src/preflight.ts:2045+,ctx 携带deps.session)——但整个 preflight 路径零次 markDirty(src/preflight.ts全文 0 处;src/stream.ts仅 3 处且都是模型侧 compress 失败连击簿记,不在 fold 提交路径上)。循环结束后的 markDirty 位点(src/server.ts:3447/3483/3555)全部位于 abort 早退之后,中断时不可达。结果:全部压缩进度只存在于内存,进程重启或会话被池驱逐后磁盘零残留。src/server/handle.ts:1554-1610)按字节精确前缀命中上一轮会话的 tracked chain,但loadParent(peekSession 内存 ?? store.loadSync 磁盘)双双落空 →matched tracked chain … but the parent session is not loadable — starting fresh。tracked chain 是 affinity-persist 独立记录的轻量哈希链,全量状态文件因第 2 条从未落盘。fork adoption(dsh 扩展接入 fork 协议(stage 1/#2394 L0):fork 子会话首请求前 snapshot→match→fork 收养 #2399/[Bug][pi] fork adoption masks the root cause of snapshot 409; lineage-only subtask falsely triggered and Responses clien | [Bug][pi] fork adoption 隐藏 snapshot 409 原因,lineage-only 子任务误触发且 Responses 客户端未支持 #2469)与 resume-inheritance 在「父不可加载」时唯一出口都是 starting fresh,无任何恢复路径。于是每次重试从头再做完整 21 轮压缩、再次超时——即观测到的永久不可用循环。reasoning-pair-violated对应src/server.ts:1958/2064(当前 warn-only,不拦转发);/favicon.ico403 风暴在 src/ 无任何过滤逻辑。层次判断
preflight aborted+ 不转发。对你建议方向的评估
决策请求(需要你拍板)
推荐 B+A 组合:
八问(第 3/5 问按选项分列):
src/preflight.ts、src/server.ts),而 Root fix: server-side size-evidence ledger + preflight verdict state machine (fold-budget/eligibility B-class family) #3977 集成分支正在重写这些区域——与 [PR] fix: stop preflight marathon rounds that would blow the client's patience wall clock (#3573) #3590/[PR] Batch-B integration: fold budget/eligibility — merge #3353 #3943 #3952 #3867 #2660 #3677 (#3916) #3971 的合入顺序必须协调,避免语义冲突。拍板后我立即开工 B(无其他决策依赖,独立 PR);A 与 #3590 作者协调排序后再动。reasoning_content 配对与 favicon 两个拆分项是否单独立 issue,请一并示下。
ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
PR: #4046 —— 持久化半(B 方向)。墙钟半(A)已由在途 PR #3590(client-patience wall budget)实现,故本 PR 引用而不关闭 #3978;两者合起才是闭环。
结构化八问:
验证证据(双向实测):red——撤掉修复后 T3 恰好败在继承块数断言(日志
inherited 40 ref(s) up to m00040,无 blocks 子句 = 父会话有壳无块);green——带上修复 3/3 通过,T3 真实 SIGKILL 子代理进程模拟马拉松中途进程死亡,新实例新 id 重试继承 4 个块(~18k tokens)并收敛到 200。全量测试留给 CI。你要求拆分的两个子项,查证后均为既有 issue 的重复,按查重规则未另立新帖:
reasoning_content(169 with / 47 without) | thinking 模式回传 400:部分 assistant tool-call 消息缺 reasoning_content(169 条带 / 47 条无) #3922(已有根因分析与 A/B/C 方案对比,机制由 PR [PR] test: pin #3922 mechanism — #651 reasoning-drop creates the 47/169 violator shape on opaque gateways #3940 钉住,等你拍板方案)。我在那边补了一条评论,登记 [Bug] Excessive preflight compression time on ultra-large contexts; client mid-disconnect causes repeated request forwar | [Bug] 超大上下文 preflight 压缩耗时过长,客户端中途断开导致请求反复无法转发 #3978 作为独立复现样本(step-5-preview / OpenAI wire / v0.1.202),并注明顺序关系:本可用性修复上线后这类请求会真正被转发,届时会撞上 strict-pairing 400,需 Thinking mode returns 400: some assistant tool-call messages are missingreasoning_content(169 with / 47 without) | thinking 模式回传 400:部分 assistant tool-call 消息缺 reasoning_content(169 条带 / 47 条无) #3922 的修复跟上。收工判定:持久化半完成(#4046 待 CI 与审阅);与 #3590 合入后,本 issue 报告的不可用循环闭环。
test: harden issue3978 T3 child boot against shard-load cold starts (#…
ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
现状一句话:#3978 的持久化半已交付(PR #4046,3 个提交),我自己引入的两处 CI 问题都已修掉并重跑;master 自身的红与我的 PR 无关,是另外的 flaky 测试,已单独立项跟踪。
PR #4046(分支 wt-3978-ework-daemon):
fix: persist each committed preflight fold as it lands (#3978)— commitFold 内 per-fold markDirty + 三个回归测试(含 SIGKILL 子进程死亡场景,red/green 双向验证过);test: register issue3978 suite in LIVE_FILES— 我自己的进程派生测试没登记进 tripwire(tests/claude-native.test.ts linux live-E2E subtests fail/hang in shared multi-agent sandboxes #1248),CI 拦下了它,已补登记并写明并发假设;test: harden issue3978 T3 child boot against shard-load cold starts— T3 的子代理在分片高负载下 tsx 冷转译超时(60s READY 竞态,ubu22-1/win22-1 各挂一次),已放宽到 180s + 子进程崩溃快速失败 + stderr 诊断入断言信息。本地 typecheck + 3 连跑全绿。master 红(非本 PR 引入):bc4a3f87e 上 6 个 test 分片挂了 5 个,每个恰好只挂一个用例,且都是给已关闭的 #3769 钉的两个回归测试在不同分片随机失败:
tests/issue3769-pooled-bare-load.test.ts:115(bare-id loadSync hydrates a pooled envelope…)tests/issue3769-upgrade-compat.test.ts:179(upgraded pre-fold-gate state keeps rotation-hidden orphans hidden…)本地 node 22 顺序连跑前者 15/15 全过 → 低概率竞态被并行分片负载放大。影响是每个 PR 的测试车道都要碰运气重跑才能绿。已立项 #4049(bug / scope/ci / p2,带来源标记与完整证据:两个 run 的全部 job id、失败断言原文、warmup 日志与 null 返回的矛盾点、建议方向)。
当前 CI:新 head(dbcc6c811)全部 gate 类检查已绿,6 个 test 分片在跑,约 40 分钟内出结果。预期只剩 #4049 那两个继承性 flake 的随机命中;若如此,按政策等 #4049 修复或重跑收敛,不再在本 PR 里塞无关改动。
收工判定:#3978 持久化半闭环待 CI 确认 + 人工合并;墙钟半由在途 PR #3590 补齐,两者合起来即完整修复。
test: mark the issue3978 T3 child dir as ESM so bare acp-kernel impor…
ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
CI 已跑完(head 5722ac7),结论:本 PR 零自引失败,剩余红全部是已立项的继承性 flake。
逐分片核对(全部拉了日志,不是看状态码):
issue3769-upgrade-compat.test.ts:179(#4049 签名 B)issue3769-pooled-bare-load.test.ts:115(#4049 签名 A);本 PR 的 T3 通过两个补充说明:
import "acp-kernel"落到 exports 未定义的require条件,子进程启动即死(本地 tmp 在仓库内所以永远复现不了)。已在 5722ac7 修复(子目录旁写最小{"type":"module"}),并用仓库外 TMPDIR 做了 red/green 验证。此更正也已补到 Two #3769 storage regression tests flake across CI shards on master and unrelated PRs #4049。判定:PR #4046 自身代码路径在所有运行它的 leg 上全绿;5 个红分片里的失败全部属于 master 既有、与本 PR 无关的两个 #3769 flaky 回归测试(#4049,bug/scope/ci/p2)。后续二选一由你定:等 #4049 修复后自然转绿,或重跑失败 job 碰运气。我不打算在本 PR 里塞那两处 flake 的改动——不同机制,拆开管。
pkuqiuning commentedon Oct 21, 2026
Concrete numbers from an ultra-large preflight that hit this (fork-from-zero-fold path, #3011 class): ~1.29M tokens of context against a 917,504 window on
kimi-k3.Per-round timeline (UTC):
summary too short (32 chars): upstream returned plain JSON with empty content (finish_reason=stop,text_chars=32,reasoning_chars=99) → retry same range~58405 tokens savedsummarization aborted: client disconnectedpreflight compressed 1 range(s), ~57725 tokens saved (1286024 → 1002586) in 353923ms→preflight aborted … not forwardingTwo observations:
finish_reason=stop+ empty content as transient before spending a second full summarization would halve the worst case here.Also worth noting: the aborted pass left the session at 1,002,586 tokens — still 88K above the window — so no progress was made toward servable, and the client got nothing.
ranxianglei commentedon Oct 21, 2026
(ai: vllm-qwen/qwen3.8-27b)
重试侧 413 终态判决的又一份独立复核证据(来源: #4215 分析时发现,v0.1.202,DSH native 车道)
#4215 的事故与 #3011 floor 16(#4068 分析)记录的机制同型,用其日志逐字节核过:
preflight fail-fast 413 (retryable=false): payload core text alone is ~5742630 bytes ... ≥ ~765684 tokens vs model window 744000。守卫阈值为max(2MB, 窗口×7.5):744000×7.5=5,580,000 < 5,742,630,ceil(5742630/7.5)=765,684 ≥ 744000——两个条件同时命中,判决无误报。模型 gpt-6.1-sol、窗口 744,000、子会话首请求估算 2,242,367 tok。compressedRanges>0后,代码先把session.stats.lastInputTokens写成 estimate 源(~:3393-3394),然后才检查 client abort 并「not forwarding」早退——一次被中断的 preflight 会把 estimate 计量器持久化;此后每次重试都满足probeForEvidence(estimate 源 ⇒ baselineFloor=0)⇒ 原始 payload doomed 检查 ⇒ 直接终态 413,一次折叠都不尝试。首条请求能逃过守卫只因全新子会话 lastInputTokens=0(probeForEvidence=false)。事故里连续 3 次重试(5742677/5742724/5742771 bytes)全部同一终态。落点仍按 #3011 floor 16 提的问题等你拍板(#3025 checklist 单列 vs 并入 #3978)。机制本身无争议:estimate 源 + 超窗 + 存在未耗尽的可压 range 时,不应在折叠前返回不可恢复的本地 413。
edisonzerolam commentedon Oct 22, 2026
数据点(v0.1.204 / DSH native / win32-x64 /
opencode-go·deepseek-v4.1-flash· ctx 1,000,000 · maxTok 384,000)—— 与 floor 2(来自 #4215)同一机制,但这次能把「409 多模态收养门 → 零折叠 → 马拉松 → 终态 413」整条链在一次会话里看全先声明:不主张新机制。终态 413 的判决机制与 #4215/floor 16 一致,不再重复论证。新增的只有三点形状。
1. v0.1.204 仍在复现(版本面)
上游记录里 floor 2 的事故是 v0.1.202,本条是 0.1.204。说明这个判决路径在 #4046 落地前后都未被触及。
2. 同一会话里 409 多模态收养门在前,413 在后(#3011 C6 的完整现场)
之前记录的多是「有 413 但无 adoption 日志」(#4215)或「有 409 但未追到 413」。本条两者连续出现在同一 session,中间隔 8 分半:
baselineFloor=0⇒probeForEvidence)逐字吻合。注意字节数每次不同,说明重试时 payload 确实在重建,不是缓存旧判决。image-rescale行(历史含 image/png),符合 C6 的 opaque/multimodal 门。fork 是从含图会话分出来的,因此这一半建议只登记为 [Bug] Fork of DSH branch clone: inheritance permanently abandoned by 409 SNAPSHOT_UNAVAILABLE — zero-fold clone triggers context_length_exceeded 400 on first turn | [Bug] DSH 分支克隆的 fork 继承被 409 SNAPSHOT_UNAVAILABLE 永久放弃:克隆零折叠,首轮即 context_length_exceeded … #3011 C6 的又一实例,不在此开新帖。3. 该会话 117/117 次上游调用零 usage(nudge 从未武装)
这是本条唯一可能值得单独看的一处。全会话
usage-baseline=none贯穿,nudge idle连续十轮都是usage=0% growth=0/22500(growth由上游回执input差值算出,无回执即恒 0),直到 preflight 才出现一次nudge INJECT T1: usage=1077% (8074907/750000), growth=6142833/22500。也就是说:在 usage 全缺的会话里,增量折叠这条常规路径完全失效,唯一生效的是临界路径上的 preflight——而 preflight 正是最慢、最容易被客户端看门狗掐死的那条路。二者叠加才形成「十轮毫发无损、最后一轮突然马拉松并判死」的形状。是否与 #4153 一类「零 usage」条目同源,我没有验证,不作为主张。
一处措辞问题(供 owner 判断值不值得改)
本条 413 文案的结论是 "no upstream can accept it",但它实际比较的量是
limit = 750,000:750,000 × 7.5 = 5,625,000,而1,000,000 × 7.5 = 7,500,000。5.63 MB – 7.5 MB 是一条字节带:落在这条带里的 payload 会被文案断言为「上游不可能接受」,而严格说它只是「超出 bili 自己的预留目标」。本例 6,629,945 正在带内。我不主张这个 payload 真能过——7.5 B/tok 是最密密度,中文实际密度更低,真实 token 很可能确实超过 1 M。我主张的是:一句话把「bili 的压缩节奏线」写成了「上游物理墙」,而这句话直接决定用户去做什么(本例用户会去删内容,实际瓶颈是 8 轮只折掉 7 个范围)。同理,
retryable:false+noteLocalRefusal在请求从未离开本机时登记(origin, model, limit),之后连一次能取得真实 usage 的尝试都不允许——这与 #3846 的形状相邻但方向相反。措辞或登记任一处调整都能缓解误导;是否值得改由 owner 定。环境与配置
0.1.204,Plugin native(dsh 插件原生注入),DSH desktop web profile,OpenAI 兼容/v1/chat/completions+ SSEcompress.*覆盖(cap 取默认 0.25);配置文件里仅剩已移除的dsh.allowDshCompaction(启动告警was removed (#3651),值被忽略)session-8c217fef-63a5-4685-bdc3-5afbc2546448落点
ranxianglei commentedon Oct 22, 2026
(ai: vllm-qwen/qwen3.8-27b)
谢谢这个数据点——第一次看到「409 多模态收养门 → 零折叠子会话 → 8 轮马拉松 → 客户端断连 → 三连终态 413」整条链在同一会话里连续出现。三个形状点已逐行对照 v0.1.204 源码(tag c87185a)核验:两点原样成立,第三点(零 usage)的因果归因需要修正。
标签:补打 dsh(本条给出具体 DSH native 数据点;bug/scope/kernel/p1 维持)。
点 1(版本面):成立。
git diff v0.1.202..v0.1.204在判决区域只有两类变化:DOOMED_PROBE 常量导出化 + 新增 noteLocalRefusal 拒绝台账及其调用点;doomed-check 判决本体未动。你的数字与公式精确吻合:reserve=min(384,000, 0.25×1M)=250,000 已武装 ⇒ limit=750,000(src/server.ts:3138-3140),字节带 5,625,000–7,500,000;三次重试 6,943,457 / 6,461,455 / 6,629,945 全部带内,且字节数逐次不同印证「每请求重建重定价、非缓存旧判决」。点 2(重试侧链):成立,机制钉到行。 probeForEvidence 门(src/server.ts:3293,estimate 源 ⇒ baselineFloor=0);probe 分支内 doomed 检查(:3312-3326)跑在拒绝台账检查(:3328)之前——所以对被判 doomed 的 payload,每次重试都从原始字节数学重新推同一个终态 413,一次折叠都不尝试;台账本身((origin,model) 键、TTL 10min、:2738/:2760)只约束非 doomed payload(花掉 forward-once 赌注、挡 image-arbitration 逃生口)。该机制已在 #3011 floor 16 逐行钉死,#4215 以 duplicate of #3011 关闭并把 preflight 侧归入本票失败域;你的 8 轮/288 s/192→185 ranges 已作证据登记。落点(#3025 checklist 独立 vs 并入 #3978)等 owner 拍板。
措辞问题:确认,另有一处新发现。「no upstream can accept」共三处:preflight 入口 doomed 检查(src/server.ts:3312-3326,标尺=limit)、post-preflight doomed 检查(:3716-3721,标尺=limit)、egress fuse(src/server/relay.ts:606-608,标尺=declaredWindow 带 MIN_ASSUMED_WINDOW_TOKENS 下限)——第三处与前两处标尺不同,措辞漂移更大。reserve 武装时 limit=window−reserve,消息却称其为 "the model window";带内 payload 被断言「上游不可能接受」属过度声明(你自己也指出真实密度比 7.5 B/tok 松)。我的建议:值得修,但它与重试侧判决修复同属一个机制面(doomed-probe 判决家族),应随那个 PR 一并修、不单拆小 PR;消息应写明实际标尺(未武装时即 window,武装时 window − proven completion reservation),通用化表述只保留给带外情形。时机随 owner 对判决落点的拍板。
点 3(零 usage):观察成立,因果归因修正。 v0.1.204(及当前 master)的 nudge 增长通道根本不消费上游 usage:decideNudge(kernel/src/compress.ts:1706)输入为 {config, state, tokenCount, recommendation, countTokens},无 usage 字段,内部 usage=tokenCount/limit 是本地计量。你的 growth=0/22500 不是「growth 由上游回执 input 差值算出」——真链是:
usage=0% (0/750000), pendingT1=2120680是直接证据:2.1M ready mass 而计量器读 0;fix: compress over unpruned view + acp-kernel 0.0.38 (billion-context-pi#195) #194 first-sight mass bypass 要求 usage≥minContextLimitPct,计量器为 0 时同样不成立;所以点 3 不构成独立缺陷机制——它是本票节奏面 × #3011-floor16 判决面的叠加,根假设(「self-heal via next usage report」)#728 已点名。不单开帖;可做的精修(出生请求就用 preflight 同款本地估计喂计量器,而非等上一轮)属行为变更(大新会话更早武装 nudge),登记为本票/#3011-floor16 的 checklist 项等 owner 拍板,现在不动。
结构化八问
收工判定:本数据点已登记为 #3978/#3011-floor16 的证据,不开新帖;等 owner 对判决落点的拍板,措辞修复将列入该 PR 验收清单。
14 remaining items
ranxianglei commentedon Oct 28, 2026
(ai: vllm-qwen/qwen3.8-27b)
收尾确认(本轮中间两次进程被强制重启,状态汇报可能未同步):终态帧 follow-up PR #5057 已开(
2026-10-27_preflight-terminal-frame@4bcbcf9f),代码与验证全部完成——四个 preflight「提交头后不转发」出口统一发协议终态帧再 end()(SSEevent: error/ JSON 追加 error 对象,复用原生 fail-fast 形状),abort 日志补真实 outcome;测试 4/4 绿、red-run 双向钉死 bug、相邻套件 12/12、typecheck/build 全过。详细八问见上一条回复。本票 agent 侧工作至此全部交付:持久化半 #4046、deadline 半 #3590、终态帧半 #5057,等 owner review/合并;CI 结果出来我会在各 PR 下跟进。ranxianglei commentedon Oct 28, 2026
(ai: vllm-qwen/qwen3.8-27b)
来源: #5022 后续分析(报告者自查轮次序列发现的新机制,已对 master 源码逐行核实)。补登一个性能决策项:
D-new-3(LLM 折叠路径每轮单折)
compress requested 1 range(s)——严格一轮一折。src/preflight.ts:2618maxFoldsPerRound = emergencyFold ? Infinity : 1(该行出自 ##2383Structured digest produces "zero-conclusion" compression blocks under extreme overflow: one block = one messag | ##2383结构化 digest 在极端溢出下产出「零结论」压缩块:一块 = 一条消息一行、每请求只折一块,87 块常驻 22.9% 窗口(DSH · deepseek-flash · v0.1.201/0.1.202) #4224 c0d6563,当时只为 CPU-only 确定性 digest 放开多折);并行派发(≤4 ranges/batch,MAX_PREFLIGHT_SUMMARY_BATCH)只存在于 batch 路径,且被compress.externalSummary配置门控(src/preflight.ts:2429-2431,[Feature][preflight] fold several ranges in ONE summary call - preflight currently issues one request per range, sequentially, inside the session lock #2678)。未配置 externalSummary 的用户永远串行单折。compress.externalSummary(一个便宜/快的摘要模型)即得 ≤4 路并行折叠,无需等任何发版。ranxianglei commentedon Oct 28, 2026
(ai: vllm-qwen/qwen3.8-27b)
样本收到,已并入本票记录(v0.1.208 / DSH Desktop,266 轮 26.5MB,preflight 跑完 259s 后成功转发——这条是「时长」半的又一实例:客户端视角就是 4 分钟无首 token。#3590 合入后这类请求会在 wall budget(50s)内停表:够就转、不够快速失败,不再无限挂等)。
你问的 I2 violation 查过了,是已知诊断边界,不影响折叠选择:
exemption-overflow出自 invariant-judge(src/invariant-judge.ts:428-430)——一个事后审计出站 wire 的诊断模块(Unified Prefix Cache Fix: Transactional Folding Boundaries + Single Exit Arbiter (Global Tracking) | 前缀缓存统一修复:折叠边界事务化 + 出口单一判官(总跟踪) #3938 决策②引入,默认开,BILI_INVARIANT_JUDGE/diagnostics.invariantJudge可关),只产出日志告警,不在折叠判定路径上。本票其余状态不变:持久化半 #4046、deadline 半 #3590、终态帧半 #5057 三个 PR 在途,等 review/合并。
ranxianglei commentedon Oct 28, 2026
(ai: vllm-qwen/qwen3.8-27b)
状态确认(进程空闲期被例行重启一次,无新进展需要汇报):本票 agent 侧工作已全部交付且无阻塞——持久化半 PR #4046、deadline 半 PR #3590、终态帧半 PR #5057 三个在途等 review/合并;最新一条外部样本(v0.1.208 / 259s 跑完转发 + I2 exemption-overflow)已在上一条回复中并入记录并答复。当前处于等待态:CI 结果与各 PR 的 owner review;有结果我会立即跟进,不会再静默挂起。
fix: keep the established in-band preflight error contract (#3978)
ranxianglei commentedon Oct 31, 2026
[bot] 🏷
(ai: vllm-qwen/qwen3.8-27b)
数据点登记(来源: #5306 分析 "inflated context estimate makes folding block before forwarding" 时发现):
@cinast 的 Windows DSH 环境(v0.1.209,1M 窗口、256K 预留,真实输入 721K–775K 踩在折叠线上)提供三个新形状:
未开新帖(与本票同失败域);数据点在此作为持久化半(PR #4046)/墙钟半(PR #3590)的验收参照。详见 #5306 线程。
mariopasquali commentedon Nov 1, 2026
Production data point from a self-hosted relay (Linux, 4 vCPU / ~6 GiB RAM, Node heap 6144 MiB), bili 0.1.200 pinned, OpenCode V2 clients, long-running agent sessions (mostly OpenAI Responses wire, some Anthropic). Measured from
bili.logover the last ~32 h, only requests with inbound ≥ 60 MiB:Observations:
MAX_REQUEST_BYTES(100 MiB, hard-coded in dist) — one session died at 99.9 MiB; we had to patch it to 200 MiB (plus nginxclient_max_body_size). It would help to make this configurable.Ineffective mark-compacts near heap limit) with several concurrent 80–100 MiB requests; stable at 6144 MiB, current RSS ~3.5 GiB.pluginIncrementalTurns(Anthropic-only, and per [Bug][dsh] Plugin lane performs a full re-parse and resends the entire body every round (81 MiB → hundreds of MB AST), w | [Bug][dsh] plugin 车道每轮全量解析重发 body(81 MiB→数百 MB AST)是 #5403 OOM 的生产者:用水位线断言替换逐条复核,服务端只解析新增尾段 #5418 still resending the full body) does not help here.What would help most for this workload, in order: (1) an incremental/delta turn path that also covers the OpenAI Responses wire, (2) a configurable request-size limit, (3) bounded per-request local work (the preflight PRs #4046 / #3590 / #5057). Happy to run a candidate build against a copy of these sessions and report numbers.
ranxianglei commentedon Nov 1, 2026
(ai: vllm-qwen/qwen3.8-27b)
生产数据收到,质量很高(32h 实测、分位数齐全),已并入本票记录。按你的优先级逐条回:
(2)可配置的请求体上限——你钉的 0.1.200 之前已经解决了,升级即可去掉本地补丁。 #3128 由 PR #3202(2026-10-14 合入)落地:入站
BILI_RECEIVE_BODY_BYTES>network.receiveBodyBytes、出站BILI_OUTBOUND_BODY_BYTES>network.outboundBodyBytes,两者默认 5 GiB(原硬编码 100 MiB)。当前 master 的 HTTP 路径走这套 knob;旧的 100 MiB 常量只剩一个无活跃调用点的遗留导出。所以「session 死在 99.9 MiB」在新版本不会发生;25–30 MiB/天的增长对 5 GiB 上限也是月级而非天级压力。(nginx 的 client_max_body_size 仍需你们自己配。)(1)Responses wire 的增量/delta 回合——这是跨组件功能提案,不是 bili 单侧能修的,需要 owner 评估。 现状分层说清:客户端上传体积是客户端协议行为——纯代理模式的 Responses 客户端按协议每轮全量上传历史,bili 无法单方面减少;现有两条相关机制各有边界:①插件增量回合车道(宿主 msgid 信封,POST /__bili/plugin/turn)覆盖 dsh/omp/opencode/pi 插件车道,但前提是客户端走插件 API 而不是裸代理;②快照渲染车道(#3756)把出站前缀改由服务端正史渲染,降低的是模型侧成本与缓存失稳,不减少上传。真正的 Responses-wire delta 路径需要 OpenCode V2 客户端侧配合实现——查重:无既有跟踪。我的建议:作为功能提案提交 owner 决策(含本条数据作需求证据),要立跟踪 issue 的话说一声我来开。
(3)有界本地折叠工作——映射正确,即三个在途 PR:#4046(进度持久化)、#3590(preflight wall budget,把马拉松变成有界停表)、#5057(终态帧,失败快速可见)。一点诚实修正:你表里 5–8 s 中位数的主体是 30–40k 消息的入站 parse/reconcile/serialize 基线,这三个 PR 约束的是压缩马拉松尾部(你数据里的 p90/max 长尾场景),parse 基线本身不在其覆盖范围。
Heap OOM:确认收到。大单体的内存缓冲在 #3128 里被明确拆为独立性能方向(可用性修复与流式/spill 分治),当前无已承诺的方案,先记入本票。
候选构建测试的提议欢迎——等任一 PR 合入出构建后我可以在此跟进给你测试指引。
cinast commentedon Nov 2, 2026
谢谢登记。有一处需要更正,免得这条数据以后被当成另一条因果来引:
「estimate 虚高 ⇒ 折叠被驱动」这个说法我这边已经撤回(更正在 #5301 下:#5301 (comment))。贵方 10-31 那条登记里第 2 点自己也核到了同一结论(preflight 触发器不消费
stats.contextTokens),这里只是把它对齐:contextTokens / lastInputTokens = 3.5–4.75×是观测面痕迹(char-count 上界口径、estimate 已写而 usage 未 settle),不是折叠的驱动因素;lastInputTokens踩线(721k–775k vs 669.6k 折叠线)⇒ 折叠是正当触发;另外补一个我这边的形状,可能对验收有用:那轮 32 ranges / 864,231 ms 之后仍以 400 收尾,说明折叠跑完不等于请求能转发——链路里还有一道终态判决。这条与持久化半(#4046)、墙钟半(#3590)、终态帧(#5057)是三个不同出口,别用同一个指标验收。
我没有开新帖:与本票同失败域,按你们的规则登记在此。
ranxianglei commentedon Nov 2, 2026
(ai: vllm-qwen/qwen3.8-27b)
更正收到,已按你撤回后的口径登记(避免后续引用旧因果):
contextTokens/lastInputTokens = 3.5–4.75×是观测面痕迹(char-count 上界口径、estimate 已写而 usage 未 settle),非折叠驱动;真实驱动是lastInputTokens踩线(721k–775k vs 669.6k 折叠线)⇒ 正当触发;最终卡死 = 折叠耗时超客户端等待窗 → 静默 abort 分支。与我们 10-31 登记第 2 点的核查结论一致(preflight 触发器不消费stats.contextTokens),两边已对齐。关于「32 ranges / 864s 跑完仍以 400 收尾」——方向同意(折叠跑完 ≠ 请求能转发,验收指标必须分出口),但具体那道判决的归属要修正一下:当前代码里 bili 自己的 post-fold fail-fast 只会发 413 / 502 / 503(状态源在 src/server.ts:4095:upstream-429→503、deterministic-exhausted→413、其余→502),不会发 400。bili 侧仅有的两个 400 出口都是折叠之前的请求级校验(src/server/handle.ts:423、:1271)。所以你这个 400 最可能是上游/网关对折后 payload 的拒绝被原样透传——即「终态判决」在链路里确实有一道,但那道是上游的验证关口,不是 bili 的。要精确归类的话,把那个 400 的响应体贴一下(或关键字段)即可定位:strict-pairing/reasoning 类拒绝(#3922 家族)、schema 类、还是网关限额类,三者修法与归属都不同。
验收口径按你说的分开记:持久化半(#4046)看「重试是否续上进度」、墙钟半(#3590)看「是否有界停表」、终态帧(#5057)看「失败是否快速可见」、post-fold 上游判决单列——四者互不替代。
不开新帖的处理正确:与本票同失败域,登记在此即可。
zouzh22 commentedon Nov 15, 2026
(ai: OpenAI/GPT-6)
补一组 DSH 0.2.2-rc.3 的隔离复现。插件的 preflight 会发
: bili-preflightSSE 注释,但这个版本的 pi-ai 适配器仍然可能报pi-ai stream idle timeout。我用已安装的适配器和环回模拟上游实测:每 100 ms 发一条同样的注释,正文安排在 1400 ms。550 ms 的 idle 设置下,模拟上游发出 6 条注释后客户端报 TIMEOUT 并断开。相同配置去掉注释也会超时。只将 idle 调到 3500 ms,原流收到 14 条注释和完整正文。DSH 侧已有 #11620 讨论。插件这边,我把 #3590 的源代码改动和测试移到当前 master
2e3cfc9,解决了与 #4528 轮间 yield 的一个上下文冲突。慢摘要用例在已有进展后返回可重试错误,重发继续折叠并最终转发成功。快摘要用例在同一次请求内完成。55 个定向用例、typecheck、build、两项隔离的 DSH 原生压缩检查通过。模拟测试覆盖了同一会话重试和折叠进展。首次摘要本身超时及 refold 已提交响应头后未正常结束仍分别需要处理,后者已有 #5057。官方 v0.1.215 的 DSH 原生压缩冒烟也通过。它包含 #6104 的审查流识别,但 tag 中的 relay 还没有 #6529 已合并的按实测输出预算重试逻辑,因此这次候选基于 master。上述验证全部使用合成请求。
ranxianglei commentedon Nov 16, 2026
(已收)本单已归入根因聚合 issue(token 见聚合单 body),机器人已停止在本单上的工作,修复走聚合 issue 统一出 PR;本单保留不关,修复验证后统一关闭。(聚合单:[Root Cause] preflight-compress (3 items),GitHub #6896)
hrchrc commentedon Nov 18, 2026
Same death-loop confirmed on DSH desktop / Windows / 0.1.213, 2026-11-12 22:39–22:41 local — one full cycle, sanitized:
Two amplifiers specific to the resume-fork shape (parent ledger lost — child had 0 active blocks, raw history replayed; the folded parent payload was only ~129K tok before the restart):
not forwarding.contextPressure.surfaceTokens 1,249,503 > contextWindow 1,000,000), so from inside the session the loop is terminal — no nudge, no model-driven fold, no manual/compact-equivalent can run.Concrete suggestion for the preflight side regardless of what #5962 does about inheritance: persist and reuse in-flight preflight fold results across retried requests (the 94.6 s / 119K-tok fold above was thrown away), or keep folding in background across retries (budget 32 rounds exists —
round 2/32) instead of aborting the whole request on client disconnect.Version: bili 0.1.213 (commit 133f352), DSH desktop Windows, protocol=openai. Related identity half: #4776.
Maziar123 commentedon Nov 19, 2026
Thanks; the resumed-fork detail adds an important acceptance case for #6896. A completed fold should not be discarded solely because the client that initiated it disconnected; a later retry should be able to reuse the durable result. That is different from continuing abandoned work indefinitely or merely extending the client timeout.
The host-side refusal after the retry also explains why this becomes a terminal loop for the session. No additional reproduction is needed for this report.