Skip to content

0.1.63 应用在DeepSeek Harness超出 固定阈值没进行压缩 #351

Closed

Description

@Juna9969

Closing: the full causal chain identified in #499 has shipped.

  1. First-sight mass never compressed (kernel#194) — fixed in acp-kernel 0.0.51 (PR acp-kernel#196): decideNudge now honors a first-sight mass condition (firstSightMassReady) that bypasses the growth floor when nothing has ever been compressed and usage is already high. This is the "1746 msgs / 458k tokens ingested in one shot with zero compressions" case.
  2. Anonymous session re-ingestion after restart — fixed in billion-context 0.1.80 (PR fix: #498 weak-overflow learning + #499 P1a affinity persistence + P1b cache-collapse warn #504): prefix-affinity chains are now persisted (${XDG_STATE_HOME}/billion-context/prefix-affinity.json, hydrated at startup, flushed on shutdown).
  3. pfa session files destroyed by legacy migration — fixed by PR fix: stop legacy-id migration destroying anonymous pfa sessions (#499 prerequisite) #502 (guard in src/persist.ts migrateLegacyIds), publishing in v0.1.82 (PR release v0.1.82 #510).

If you still see raw ~450k resends on bili ≥ 0.1.82 + acp-kernel ≥ 0.0.51 WITHOUT compress.modelContextLimit set, please reopen with the proxy log.

Activity

  1. ranxianglei commented on Aug 30, 2026

    @ranxianglei
    Owner

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 收到,已下载 bili.log(4836 行)正在分析。先确认几个问题,稍后回复结论。

  2. ranxianglei commented on Aug 30, 2026

    @ranxianglei
    Owner

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 已分析完 bili.log,找到原因了。

    结论

    不是压缩逻辑失效,而是 deepseek-v4-flash 的上下文窗口被解析成了 967232,而不是你以为的 200K。压缩的触发阈值(75% 压力线 ≈ 725K / 95% 紧急线 ≈ 919K)是相对这个 967232 算的,所以你的会话(峰值 476383,仅 49%)根本没碰到任何阈值 → 全程不压缩。

    日志证据(问题会话 pfa-8588f5781f70809b,03:37–03:55)

    • 这是一次「匿名前缀亲和」新建的会话,一次性吃进 1746 条历史,pendingT1(可压缩量)= 915144,远超阈值 50000(内容上完全 ready)。
    • 但 nudge 全程 idle,最后一行:
      nudge idle: usage=49% (476383/967232), growth=17721/22500 (ref=458662, interval=50000), pendingT1=934141/50000 model=deepseek-v4-flash, reason="growth 17721 < floor 22500, ready: T1 934141"
    • 解读:两个触发条件都没满足——
      • usage=49% < 75% 压力线(不触发强制压缩);
      • growth=17721 < 增长门槛 22500(自会话起点 458662 以来的新增量不够,节奏门把它挡住了)。
      • pendingT1 虽然 ready,但被 growth 门槛拦住。
    • 03:55:26 上游流被截断(upstream stream truncated,不是 HTTP 400),会话结束。此时 growth 还差 ~4800 才到 22500——第一次压缩本应在再 ~4 分钟后触发,但流先断了。

    为什么窗口是 967232 而不是 200K

    • 200K 是「未知模型」的默认值(顶层 modelContextLimit 默认 200000)。
    • 但 deepseek-v4-flash 在 models.dev 注册表里是已知模型,窗口 = 1000000,注册表优先级高于 200K 默认值。
    • 967232 = 1000000 − 32768(客户端 max_tokens=32768 的输出预留)。
    • 所以压缩分母是 967232,不是 200000。你看到的「200K」是默认值,被注册表的 1M 覆盖了。

    解决方法

    把这个模型在你上游的上下文窗口显式声明为 200000(按模型覆盖,优先级最高)。在 127.0.0.1:8787 后台 → 高级设置 → providers JSON(或配置文件)加入:

    {
      "providers": {
        "http://<你的上游主机>:3002": {
          "models": {
            "deepseek-v4-flash": { "context": 200000 }
          }
        }
      }
    }

    把 <你的上游主机> 换成日志里 forward POST → http://<…>:3002/v1/chat/completions 的真实主机。key 是 URL 前缀、最长匹配生效,只写主机名也可以。保存后立即热更新,无需重启。

    之后 usage = 476383/200000 = 238% ≥ 95% → 立刻触发紧急压缩(EMERGENCY T1),不再等 growth 门槛。

    补充两点

    1. 你的上游其实接受了 476K 的输入(最后一条成功 usage=476383),说明模型真实能力 > 200K。200000 是保守值——如果想充分利用模型窗口可以设更大(如 500000),让 75%/95% 压力线去管理;但既然你想控制在 200K 附近,设 200000 即可。
    2. 最后的 upstream stream truncated 是另一个独立症状:上游直接断了流(非 HTTP 400),所以 bili 的「溢出自愈」(靠 400 学习真实窗口)没机会触发。把窗口设对(200K)后,压缩会在到达上游真实上限之前发生,这个截断大概率也不会再出现。
  3. ranxianglei commented on Aug 30, 2026

    @ranxianglei
    Owner

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 补充一个排查中发现的加固点(不是你这次问题的根因——你的问题用上面的配置就能解决,这里只是记录给维护者参考):

    bili 的「溢出自愈」只在上游返回 HTTP 400 时触发(src/server.ts 的 overflow 检测读的是 !upstream.ok 的 error body,见 inspectContextOverflow)。你这次会话最后是 upstream stream truncated(200 但流被截断,非 400),所以自愈没机会学习真实窗口。

    这意味着一个组合风险:当解析出的窗口比上游真实 serving 上限大(注册表 1M vs 真实 ~477K),且上游恰好用非 400 方式失败(截断/超时)时,bili 没有任何兜底去纠正窗口或强制压缩——会话直接死掉。 你这次正是这种组合(偏大的窗口 + 一次性吃进的大历史 + 非 400 失败)。

    次要一点:新会话一次性吃进大历史时,第一次压缩要等 growth 攒到门槛(22500)才触发——你这次差 ~4800 就触发了。窗口设对后这条影响不大(usage 会直接撞 95% 紧急线、绕过 growth 门),但窗口偏大时它会推迟第一次压缩。

    这两点值得单独开 issue 跟踪(我这边只能回帖、没有建 issue 的工具,先记在这里):

    1. 非 400 失败作为弱 overflow 信号:高 usage 下的流截断/超时,触发窗口自学习或强制压缩(需谨慎——截断原因多样,不能一律当 overflow)。
    2. 大历史会话的首次 nudge:当 pendingT1 已远超 nudgeGrowthTokens 时,考虑绕过 growth 门槛或下调 growth 参考点,让第一次压缩更早发生。
  4. ranxianglei commented on Aug 30, 2026

    @ranxianglei
    Owner

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] ⚠️ 更正上一条回复:我之前建议的按模型 context: 200000 写法不可靠——复查代码后发现实际优先级与文档描述相反,抱歉。

    实际的窗口解析顺序(src/server.ts:791-796):

    anthropic-beta 头 > 插件上报 > launcher 环境变量 > models.dev 注册表(热缓存) > 按模型 context 声明 > 内置表
    

    你的上游是私有中转地址(<host>:3002),注册表热缓存时 deepseek/deepseek-v4-flash(1M)会通过「relay 主机回退」逻辑(src/registry.ts:271-282)被命中——这一步排在你的按模型 context 声明之前。所以即使配置了 models.deepseek-v4-flash.context: 200000 也会被忽略(注册表冷启动时恰好生效、热起来后就失效,行为不一致)。

    可靠的修法:用 compress.modelContextLimit(最高优先级来源,绝对值,始终生效,见 src/compress-settings.ts:16-25):

    按模型(推荐,只影响该模型):

    {
      "providers": {
        "http://<你的上游主机>:3002": {
          "models": {
            "deepseek-v4-flash": {
              "compress": { "modelContextLimit": 200000 }
            }
          }
        }
      }
    }

    或全局(影响所有模型):

    { "compress": { "modelContextLimit": 200000 } }

    Web 界面(127.0.0.1:8787 → 高级设置)里改 providers/compress JSON 后保存即热生效,无需重启。生效后内核阈值以 200K 为分母:约 150K(75%)开始常规压缩、约 190K(95%)强制压缩——即你预期的「固定阈值」行为。

    顺带报告一个 bug(本环境没有创建 issue 的工具,在此线程报告,建议 @ranxianglei 另开 issue):

    1. 文档与实现相反:CONFIGURATION.md:149 写明按模型 context 声明是主来源、注册表只是未声明模型的兜底;但代码里热注册表(peekWindow)优先于按模型声明(configuredWindow),即注册表 > 声明(src/server.ts:791-796)。
    2. 冷/热不一致:注册表冷启动时声明生效(且会跳过注册表查询),热缓存后同一份配置的声明被忽略——行为取决于缓存状态,用户无法控制。
    3. 影响面:任何经私有中转/relay 使用「注册表窗口 > 实际部署窗口」模型的用户,按模型声明都会被静默忽略,压缩阈值按虚高的窗口计算,直到上游先报错(本 issue 的 200K 案例)。

    建议修复方向二选一:让按模型声明优先于热注册表(符合文档语义,用户声明应代表实际部署),或修正文档明确「注册表优先、声明仅作未命中时兜底」并把 context 字段标注为 deprecated。

  5. ranxianglei commented on Aug 30, 2026

    @ranxianglei
    Owner

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 已提交 PR:**https://github.com/ranxianglei/billion-context/pull/352**(docs:把 CONFIGURATION.md 里按模型 context 声明的优先级描述改成与代码实际行为一致,并指引用 compress.modelContextLimit 可靠地固定窗口;纯文档、不改行为)。

    本 issue 的处理小结:

    1. 根因:你的 deepseek-v4-flash 实际部署窗口是 200K,但 models.dev 注册表里该模型是 1M。bili 的窗口解析链(src/server.ts:791-796)在热注册表命中时优先采用注册表值,于是有效窗口被解析成 967232(1M − 32768 输出预留),75%/95% 压缩阈值(≈725K/≈919K)对 200K 的模型永远到不了——直到上游先报错(日志末尾的 upstream stream truncated)。
    2. 立即可用的修复(无需等发版):在配置里设 compress.modelContextLimit: 200000(按模型 compress 块或全局 compress 块均可,Web 界面 127.0.0.1:8787 → 高级设置 保存即热生效)。这是最高优先级来源,始终生效。生效后约 150K 开始常规压缩、约 190K 强制压缩。
    3. 已报告的 bug(建议另开 issue):
    4. 次要发现(未在本 PR 修改):仓库里提交的 package-lock.json 版本停留在 0.1.57,而 package.json 已是 0.1.63,建议下次 release commit 时同步。

    如果 compress.modelContextLimit: 200000 配置后仍有异常,把新的 bili.log 发我,我继续跟。

  6. Juna9969 commented on Aug 30, 2026

    @Juna9969
    Author

    请排查日志时间:03时35后,

    Image从80K+上下文膨胀至458K+并且后面一直没缓存

    Image
  7. ranxianglei commented on Aug 30, 2026

    @ranxianglei
    Owner

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 已逐行排查 03:35 之后的日志,你看到的「80K→458K 膨胀 + 后面没缓存」完全对得上。关键起点是:03:37:03 bili 代理重启了一次,之后所有异常都从这里开始。

    时间线(deepseek-v4-flash,窗口 967232)

    时间 事件
    03:36:43 旧会话 pfa-bc1e… 在 82338 tokens(usage 9%)、128 条消息、缓存命中 98%。未压缩(T1 36820<50000 未就绪;T2 被 cadence 阻塞)
    03:37:03 bili 重启(日志出现全新启动序列:[persist] enabled、acp-proxy listening on 127.0.0.1:8787)。旧会话此后再无任何记录
    03:37:04 重启后客户端重连,prefix-affinity 建新会话 pfa-8588…(depth=1085),1746 条消息、pendingT1=915144(915K 可压缩内容,已 ready)
    03:37:58 新会话首轮 input=458662(即你看到的 458K+),缓存命中 0%(cached=0)
    03:38–03:55 input 缓爬至 476383(49%),growth 只累积到 17721(< 22500 floor),pendingT1 一直 ~915–934K(ready)但全程 0 次压缩,每次请求缓存命中都是 0%
    03:55:26 日志结束:upstream stream truncated(0 字符返回)——上游流中断

    1. 为什么 80K→458K 是「跳变」而非自然增长
    21 秒内不可能自然增长 376K。真实原因:03:37:03 bili 重启后,DeepSeek Harness 客户端重连并发送了完整对话历史(1746 条 / 458K+),而重启前追踪的旧会话只有 128 条 / 82K。所以新会话直接从 458K 起步——这是重启造成的不连续,不是上下文真的「膨胀」了 376K。

    2. 为什么 458K 后一直没压缩(两个原因叠加)

    • 窗口不匹配(主因):bili 用 967232 窗口(models.dev 注册表 1M − 32768 输出预留),你的实际部署是 200K。于是 usage 被算成 47%(458662/967232)而非 ~229%(458662/200000)。kernel 的「超限强制压缩」要 usage≥75% 才会绕过 growth 门槛强制注入——47% 永远触发不了。若窗口是 200K,usage=229%>100% → 超限 → 立即强制压缩,问题就不会发生。
    • growth floor 挡住继承的就绪内容:新会话带着 915K 已就绪(ready: T1)的可压缩内容,但 growth 参考值在会话开始时被重置为当前值 458662,growth 从 0 起算,18 分钟只累积 17721,达不到 22500 的 floor,于是 915K 就绪内容一直被挡着不注入。

    3. 关于「没缓存」(这是真问题,而且更烧钱)
    日志明确:重启前旧会话缓存命中 95–98%,重启后新会话每次都是 0%(cached=0 (cache hit 0%))。即重启后每个请求都在为完整 458K+ 输入付费、零缓存复用。原因:重启后会话分裂成新的 pfa-8588…,其序列化历史(1746 条完整消息)与旧会话已缓存的前缀(被压缩过的 128 条视图)不一致,上游 prompt cache 全部 miss。

    修复(能解决压缩问题,和之前一致)
    设 compress.modelContextLimit: 200000(web UI 127.0.0.1:8787 → 高级设置,热生效、无需重启)。窗口变 200K 后 usage=229% → 超限强制压缩立即触发,上下文会在到 200K 前被压下来。

    另外两点

    • 「growth floor 挡住重启/新会话继承的大量就绪 pendingT1」是 kernel 层缺陷(即使窗口设对,带大量可压缩内容的新/重启会话也要等 22.5K 新 token 才开始压缩)——建议单独跟踪。
    • 03:37:03 的重启:如果不是你手动重启的,值得查一下 bili 为何自己重启(崩溃?系统休眠唤醒?)。这次重启直接导致了 458K 跳变和 0% 缓存两个现象。
  8. ranxianglei commented on Aug 31, 2026

    @ranxianglei
    Owner

    看看最新状态 是否已经解决

  9. ranxianglei commented on Aug 31, 2026

    @ranxianglei
    Owner

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 最新状态核查(截至 v0.1.67):

    ✅ 核心 bug 已在代码侧修复(v0.1.65+,PR #345)
    PR #345「per-route model context declaration outranks the models.dev registry」已合入 v0.1.65。当前 master 的解析链(src/server.ts:837-843)已把按模型 context 声明(configuredWindow)排到注册表(peekWindow)之前:
    betaWindow ?? pluginWindow ?? launcherWindow ?? configuredWindow ?? peekWindow ?? lookupContextLimit
    即我之前报告的「热注册表覆盖按模型声明」已修掉——现在直接设 models.deepseek-v4-flash.context: 200000 就会生效,不再被注册表的 1M 覆盖。

    给用户的结论

    ⚠️ 我发现一个遗留的文档不一致,已开 PR 修
    我之前合入的 PR #352(文档)写的是旧顺序(注册表 > 声明),还明确写了「the registry value outranks this declaration」;但 PR #345 改代码后这已经反了。两个 PR 都进了 v0.1.65,所以现在文档与代码矛盾(正是本 issue 的混淆点)。已开 PR #384:把 CONFIGURATION.md 那段解析顺序改成与 #345 后的代码一致(声明 > 注册表),纯文档、不改行为。

    仍未解决、建议单独跟踪的加固项(本线程已记录,非本次根因):

    1. growth floor 挡住重启/新会话继承的大量就绪 pendingT1(kernel 层,acp-kernel 仓库)。
    2. 非 400 失败(流截断/超时)不作为弱 overflow 信号 → 高 usage 下无兜底、会话直接死。
    3. 重启/会话分裂后上游 prompt cache 命中掉到 0%(成本问题)。

    这 3 项要不要拆成独立 issue?我这边只能回帖、没有建 issue 的工具,需要的话你或平台建一下即可。

  10. ranxianglei commented on Sep 3, 2026

    @ranxianglei
    Owner

    线程里记录的 3 个加固项已全部拆分为独立 issue:

    1. growth floor 挡住重启/新会话继承的大量就绪 pendingT1(kernel 层)→ acp-kernel#194
    2. 非 400 失败(流截断/超时)不作弱 overflow 信号,高 usage 无兜底 → 高 usage 下的非 400 失败(流截断/超时)无任何 overflow 兜底 —— 会话直接死 #498
    3. 重启/会话分裂后上游 prompt cache 命中掉 0%(成本) → 重启/会话分裂后上游 prompt cache 命中掉到 0% —— 每请求全量付费(成本回归) #499

    本 issue 保持 open,等 @Juna9969 在 ≥0.1.65(建议 0.1.76+)上确认压缩按预期触发后关闭。

  11. ranxianglei commented on Sep 3, 2026

    @ranxianglei
    Owner

    🤖 ework agent · qwen3.8-27b

    [bot] 收到,3 项加固已分别落到 acp-kernel#194 / #498 / #499,本 issue 挂起等 @Juna9969 在 ≥0.1.65(当前最新 0.1.77)上确认压缩按预期触发。

    一个待办提醒:我开的文档一致性修复 PR #384(把 CONFIGURATION.md 的解析顺序改成与 #345 之后代码一致:按模型声明 > 注册表)目前仍是 open、未合并——纯文档、无行为改动,方便时合并即可。

    @Juna9969 若在 ≥0.1.65 上配好 context: 200000(或 compress.modelContextLimit: 200000)后压缩仍不触发,把新的 bili.log 发上来我继续跟。在此之前我这边没有其它动作了。

  12. ranxianglei commented on Sep 3, 2026

    @ranxianglei
    Owner

    看看相关issue还差哪些

  13. ranxianglei commented on Sep 3, 2026

    @ranxianglei
    Owner

    🤖 ework agent · qwen3.8-27b

    [bot] 相关条目状态盘点:

    已合并 / 完成 ✅

    仍 open、尚未完成 ⏳

    条目 仓库 状态 还差什么
    #351(本 issue) billion-context open 等 @Juna9969 在 ≥0.1.65(最新 0.1.77)确认压缩按预期触发后关闭——属「验证等待」,非开发任务
    #498 高 usage 下非 400 失败无 overflow 兜底 billion-context open 需设计并实现「流截断/超时作为弱 overflow 信号」的兜底(注意截断原因多样,不能一律当 overflow)
    #499 重启/会话分裂后 prompt cache 掉 0% billion-context open 需先定位前缀为何失配(会话分裂重序列化 vs 上游缓存 TTL),再定修复方案
    acp-kernel#194 growth floor 挡住继承的就绪 pendingT1 acp-kernel open 需改 kernel 的 nudge 参考点/门槛逻辑;跨仓库,按规范 acp-kernel 先发版、billion-context 再 bump 依赖

    小结:文档侧全清(#352 + #384 都合了);剩下的是 3 个实现任务(#498、#499、acp-kernel#194,均尚未完成)+ 本 issue 等用户验证。

    要我现在接手哪个?#498 / #499 在本仓库可直接做;acp-kernel#194 得切到 acp-kernel 仓库并走「先发 kernel 再 bump」流程。你点一个我就开工。

  14. ranxianglei commented on Sep 4, 2026

    @ranxianglei
    Owner

    Closing — the full causal chain is now fixed and shipped:

    1. kernel 0.0.51 (acp-kernel#196/fix(loop): run applyCompression over the unpruned view #197): first-sight mass bypass — a session that arrives with a huge ready mass no longer waits a full growth floor of NEW tokens for its first compress (this session sat 934K-ready for 18 idle minutes and died ~4 min short of the floor). Drain-until-under-band semantics, reviewed + regression-tested.
    2. bili 0.1.80 (PR fix: #498 weak-overflow learning + #499 P1a affinity persistence + P1b cache-collapse warn #504): prefix-affinity table now persists across restarts (prefix-affinity.json, hydrate on boot) — the anonymous session is re-attached instead of re-forked; plus weak-overflow learning (高 usage 下的非 400 失败(流截断/超时)无任何 overflow 兜底 —— 会话直接死 #498) and cache-collapse diagnostics.
    3. bili PR fix: stop legacy-id migration destroying anonymous pfa sessions (#499 prerequisite) #502 (shipping in v0.1.82): migrateLegacyIds no longer destroys anonymous pfa session files on every boot — the prerequisite that made (2) actually survive a restart.

    If this reproduces on ≥0.1.82 with compress.modelContextLimit unset, please reopen with the proxy log.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions