Skip to content

[BUG] Context length out of control: usage in 1M window session climbed to 44% | [BUG] 上下文长度控制不住:1M 窗口会话 usage 涨到 44% #3604

Open

Description

@Light-EI

问题

模型不能有效控制住上下文长度在合理范围。

环境

  • DSH 0.2.1-rc.2,Windows x64,Electron 桌面端
  • billion-context 0.1.197 → 0.1.198(当日 13:14Z 切换)
  • 模型 deepseek-flash,bili 记账窗口 1000000

会话

  • 单会话连续约 6.7 小时(2026-10-17 09:20Z 起,最后一次请求 16:00Z),228 条用户消息
  • 模型侧共 26 次 compress 调用(09:27Z–15:54Z)

日志(bili.log,节选原文)

初始:

2026-10-17T09:20:36.522Z [sess=session-19cc34e3…] [v=0.1.197]
nudge idle: usage=2% (19344/1000000), growth=0/29250 (ref=19344, interval=65000),
pendingT1=0/65000 model=deepseek-flash,
reason="max compressible 0 < threshold 65000; growth 0 < floor 29250"

涨到 20% 时仍在 idle(max compressible 贴着阈值):

2026-10-17T11:36:38.880Z [sess=session-19cc34e3…] [v=0.1.197]
nudge idle: usage=20% (204135/1000000), growth=41711/29250 (ref=162424, interval=65000),
pendingT1=64337/65000 model=deepseek-flash,
reason="max compressible 64337 < threshold 65000"

峰值 44%:

2026-10-17T14:25:48.251Z [sess=session-19cc34e3…] [v=0.1.198]
nudge INJECT T1: usage=44% (443315/1000000), growth=29601/29250 (ref=413714, interval=65000),
pendingT1=127616/65000 model=deepseek-flash,
reason="T1 effective 127616 >= 65000, growth 29601, usage 44%"

会话末尾:

2026-10-17T16:00:45.029Z [sess=session-19cc34e3…] [v=0.1.198]
[acp-usage] input=357650 cached=357504 (cache hit 100%)

计数:nudge idle 880 条,nudge INJECT T1 29 条,[acp-usage] 909 条。

完整会话日志

该会话全部 5,297 行日志(约 1.15 MB,已剔除其他会话):

https://gist.github.com/LightX001/34a8e53627a62eb25d12eed7552f6add

用户侧原话

另外你为什么总是不压缩上下文

Activity

  1. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    看是否 #3600

  2. Light-EI commented on Oct 17, 2026

    @Light-EI
    Author

    查了,不是 #3600 那个形态。

    • 这个会话 preset = cordis(标准模式,非 PTC),顶层 tools 含 compress,会话里 compress 被直接调用 26 次(09:27Z–15:54Z)。
    • nudge INJECT T1 共 29 条(首条 09:26:52Z usage 12%,末条 15:05:37Z usage 41%),不是「从不注入」。
    • 现象是注入和压缩都在发生,usage 仍从 2% 涨到峰值 44%(443,315/1,000,000,14:25Z),结束 36%(357,650);880 条 nudge idle 里大量 pendingT1 停在 56k–64k,贴着阈值不过线。

    所以 #3603 修的是「压缩面被压制」;这单是「压缩面正常、长度仍控制不住」。

  3. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复 #3600(#3603 同源)。 同家族(DSH 0.1.198、大窗口会话上下文涨高),但机制不同:#3600 是 PTC run_code 把工具折叠进 SDK 绑定 ⇒ declaredTools.has("compress") 恒 false ⇒ 压缩面被永久压制(0 注入、一路涨到 100% 才截断 output)。本单我用你贴的完整 5297 行日志独立核对,preset=cordis(标准模式、非 PTC,全日志 0 处 run_code)、顶层 tools 含 compress、模型直接调了 26 次 compress、29 次 nudge INJECT T1(首 09:26:52Z 12%,末 15:05:37Z 41%)——压缩面正常、压缩确实在发生。所以不是 #3600 那个缺陷,不合并、不关闭;@LightX001 补充的观察与我独立核实的数字一致。

    核心结论:这不是「不压缩」,而是高吞吐下「压得比产得慢」。 逐条可从日志复现:

    • 压缩在正常工作:26 次 fold 合计省 ~925K tokens;每次 INJECT 时的 growth 都贴着 floor(~29–32K),说明 nudge 已按最大允许节奏在触发,不是漏触发。
    • 880 条 idle 的闸门分布:growth<floor 独占 380、pending<threshold 独占 244、两者都缺 208。主闸门是「距上次 fold 的新增量还没到 floor」——这是设计内的防抖(floor = 0.45×step = 29250):每次成功 fold 后基准重置,必须等 ~29K 新内容才允许再折。
    • 计费 input 一路锯齿上移:acp-usage input 从 ~140K 抬到峰值 ~443K,每次 fold 后回落 20–45K 又被新内容顶回,基线单调上升——因为你的内容产出速率 > 单次 fold 的移除速率。
    • 非压缩地板只增不减:全程排除 127 条不可恢复媒体(remote URL / file ref,fold 会永久销毁,这个插件压缩上下文,会导致deepseek识图出问题。 #1188/Google wire 的 fileData(URL 引用)图像不被识别为媒体负载:可被折叠、折叠后静默丢失且无警告(#1188 不变量缺口) #2609)+ 211 条为保 turn 完整性撤出的消息。这些永远进不了 summary,构成一个不断变厚的可见底,压低每轮可移除的比例。
    • 成本其实不高:绝大多数请求 cache hit 100%,只有紧跟 fold 的那一请求掉到 22–25%(前缀重写,预期且短暂)。44% 里绝大部分是缓存命中、按折扣价计——绝对 token 数高 ≠ 贵。
    • 有兜底:44% 低于压力带(maxContextLimitPct 默认 0.75 = 75%)。真要继续涨会触发 emergency/over-limit 强制更狠地折。本会话因你下午活跃度下降,44% 峰后收尾停在 36%。

    关于 65000 步长:文档默认是扁平 50000、与窗口无关(KDD#8)。本会话解析出 65000,来自该会话 compress 配置(nudgeGrowthTokens 会把 growthFloor/growthCap 一起钉成同一值,见 src/compress-settings.ts:295)——不是按窗口自动缩放。即便用 50000 默认,同样的锯齿抬升仍会发生,只是峰值略低。想更勤快可把它调小(代价:更多前缀重写)。


    结构化八问

    1. 是什么问题:1M 窗口的高吞吐长会话,usage 涨到 44%,用户感觉「没在压」。
    2. 什么原因导致:表层是 usage 高;机制层是内容生成速率 > fold 移除速率,叠加只增不减的非压缩地板(不可恢复媒体 + 最近区 + turn 完整性撤出);nudge/fold 机制本身按防抖节奏正常工作,没有闸门失效。
    3. 影响范围与严重程度:仅高吞吐长会话;属体验/观感层面(绝对 token 数偏高),因缓存命中 100% 实际成本低,且有 75% 压力带兜底不会溢出——非功能损坏,体验瑕疵级。
    4. 怎么修复:本单无明确代码缺陷可修(机制正确)。可选动作见下方 A/B。
    5. 是否有回归:不涉及(未改代码)。
    6. 是否破坏缓存:不涉及(未改代码);现状缓存健康(多数请求 100%)。
    7. 是否改设计方向:不涉及(未改)。
    8. 是否引入新配置:不涉及(未改);现有 compress.nudgeGrowthTokens 已是现成逃生阀。

    收工判定 + 待你拍板:这一单我判定为**「极端负载下的预期行为,非 #3600 类缺陷」**,当前没有该直接修的 bug。后续走哪条由你定(两条都不是几行小修,涉及取舍/内核边界):

    • A(我的倾向):仅解释 + 文档——把「大窗口高吞吐会话为何会抬升、为何成本其实低(缓存)、如何用 nudgeGrowthTokens 调得更勤快」写进 FAQ / CONFIGURATION,不动代码。本单据此可关。
    • B:若你要「大窗口默认更勤快地压」——那是 nudge 节奏策略调整(kernel 侧、owner-gated、有缓存代价权衡),需另开讨论定方案再动,不塞进本单。

    如果你认为它就该并入 #3600 家族统一管理,也可以告诉我,我把关系标清楚后按你的处置走。

  4. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    补充一条硬证据(回应「是否像 #3600 那样的回归」):该会话中途从 0.1.197 切到 0.1.198,两个版本行为完全一致——

    版本 nudge INJECT T1 nudge idle 峰值计费 input
    0.1.197 21 517 361,523
    0.1.198 8 363 446,537

    即锯齿抬升在两个版本上都存在且同形,不是 198 新引入的回归(#3600/#3603 是「197 好、198 坏」的真回归,本单不是)。这进一步支持结论:机制正常、抬升由负载驱动,非版本缺陷。其余判断见上一条,等你在 A(文档)/ B(内核节奏策略)间拍板。

  5. Light-EI commented on Oct 17, 2026

    @Light-EI
    Author

    经调查发现:这个会话的地板是图片。

    168 张图(1280×720),实测每张 ≈1,290 tokens(909 条 [acp-usage] 按图片到达对齐:1 张 +1,287 / +1,293;2 张 +2,560;3 张 +3,857)⇒ 216,720 ≈ 终态 357,650 的 61%。

    系统提示(0 张图时已是 122,266,约 12% 窗口)再占 34%,合计 94.8%;26 次 fold 能动的只有 ~18,664(5%)。

    这些图是附件引用,被判为不可恢复媒体,所以一张也折不掉。

  6. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    核实了「地板是图片」——核心方向成立,但有一处数字要纠正。(以下全是我用完整日志独立核对,不依赖你的结论)

    ① 成立的部分——不可恢复媒体确实是大硬底

    ② 要纠正的一处——「系统提示 = 122,266(34%)」是误标

    • 启动序列:首个 processTurn 只有 5 条消息、首请求 input≈1,881,之后每请求稳定 +5 条消息递增。说明 DSH 系统提示很小(几千 token),不是 122K。
    • 122,266 其实是首次 INJECT(usage 12%)那一刻的上下文体量,那时已累积了对话 + 图片,并非纯系统提示。所以「系统占 34%」不成立,实际只有几个百分点。
    • (精确到「168 张」「每张恰 1290」我这边从代理日志钉不死——日志不含请求体、数不出图片 part;量级对得上,具体数以你侧对齐为准。)

    ③ 对结论的影响——更清晰,但不改变判定
    上下文被两块「T1 折不掉」的东西主导:(a) 累积的不可恢复媒体附件(远程图/文件引用,结构性不可折);(b) 累积的 T1 summary 块(只能靠 T2/T3 蒸馏,而本会话 29 次 nudge 全是 T1、从未触发 T2/T3)。26 次 fold 只在小得多的可折切片上作业。这是图片密集负载下的预期行为——内核拒绝销毁无法恢复的数据是对的,不是机制缺陷。

    ④ 可行的杠杆(诚实说:内侧没有干净的代码修)

    • 使用侧:内联/data-URL 附件可折+可恢复;远程 URL/文件引用附件不可折。若 DSH 把截图走远程/文件引用通道,那就是这块地板的来源——属宿主序列化选择,非 bili 缺陷。
    • 产品侧(需拍板、有取舍):入站降采样、或对陈旧不可恢复媒体引用做「经同意后摘要并丢弃」——都有数据丢失/宿主耦合风险,都不是本仓范围内能安全落地的修复。

    收工判定不变:本单仍判为「高吞吐(图片密集)负载下的预期行为,非 #3600 类缺陷」。内侧无该直接修的 bug;动作仍是 A(文档解释,含上面「内联 vs 远程附件」的可折性差异)或 B(要动节奏/媒体策略则另开 owner-gated 讨论)。等你定。

  7. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    看看最新版本不是已经可以压缩图片了吗?
    这些图是附件引用,被判为不可恢复媒体,所以一张也折不掉。

  8. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    直接回答:不能。最新版(master,含 #3400)依旧折不掉这种「附件引用」图。 我把两条「压缩图片」的能力分别查了,这条会话两种都不沾:

    能力一:折进 summary(真正的「压缩」)

    能力二:出站降采样 + read_original_image(#3400)

    (顺带:#3402 的 absorb 媒体通道只作用于 tool-result 消息,不碰用户附件图,同样够不到这块地板。)

    所以升级解决不了这一单。 真正能让这些图可压的两条路:

    1. 使用侧:让 DSH 把截图走内联 data: URL 而非远程/文件引用——那样折叠(建议:compress.stripImages 默认开启——否则带图消息不可压缩会形成只升不降的输入地板撑爆上下文 #2607)+降采样(Egress image downscale: shrink big images before sending to the model, originals stay local and self-readable | 重做图片降采样(简化版):发模型前压大图、原图留本地不动、模型被告知尺寸后可自读原图 #3400)都会生效。这是宿主序列化方式的选择。
    2. 产品侧(需你拍板、有代价):给 bili 加一个「到达时抓取并落盘远程图片字节」的能力,把它变成和 data: URL 一样的可归档媒体(对齐 建议:compress.stripImages 默认开启——否则带图消息不可压缩会形成只升不降的输入地板撑爆上下文 #2607 的落盘通道)。代价是每张附件一次网络抓取 + 本地存储增长 + 隐私/延迟权衡——属功能决策,不是 bug 修复。

    收工判定不变:本单仍是「图片密集负载下的预期行为、非机制缺陷」;内侧无该直接修的 bug。若你想推第 2 条(抓取落盘远程图),那是个独立的功能立项,我可以另开 issue 描述方案与代价等你定;否则按 A(文档解释内联 vs 远程附件的可压差异)收口。

  9. changed the title [-][BUG] 上下文长度控制不住:1M 窗口会话 usage 涨到 44%[/-] [+][BUG] Context length out of control: usage in 1M window session climbed to 44% | [BUG] 上下文长度控制不住:1M 窗口会话 usage 涨到 44%[/+] on Oct 17, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions