Skip to content

[参考] 上下文管理三则:客户端窗口活读、输出预算对账、代理确认压力 #863

Closed

Description

@plyflai

按你们的要求整理:本文是我们自托管实例上已经在跑的三处上下文管理做法,供上游参考。三条相互独立,可分开取舍。

先划边界:三条都没有改动上游已有的设计意图;它们赖以生长的 substrate 上游都已具备(见文末对照表),我们本地加的是上面那一层。文中用示例名与符号表示,不含实际部署地址、账号信息、会话内容或客户端配置真值。


一、客户端窗口活读(在上游 min(window, cap) 之上)

现状(上游 090a182)

客户端声明的窗口由 launcher 在启动时读一次,通过 BILI_LAUNCHER_MODEL_WINDOWS 交给代理(src/launcher.ts:2017)。对 dsh 而言,这份 map 来自 src/client-config.ts:282,428 对 <DSH_HOME>/settings.yaml(默认 ~/.dsh)里模型条目 contextWindow 的读取。该值进入窗口级联后,再与 operator 的 compress.modelContextLimit 取 min —— 这一层是好的,无异议。

症状

客户端在运行中调大或调小某个模型的 contextWindow 后,代理直到进程重启都仍在用启动快照:min(声明窗口, 配置上限) 与 nudge 分母都按旧值算。我们观测到的形态是客户端已声明 W,而代理仍按旧值算分母,于是 operator 设的上限被算得比客户端实际使用的还小。

本地做法

仅在 BILI_LAUNCHER_CLIENT 指向该客户端时,代理自己去重读同一份配置:

  • 按 TTL(我们取 5 s)重读,读盘用的是 launcher 用的同一个采集器,不引入第二种解析;
  • 读失败或文件缺失时保留上一次好值 —— 瞬时读失败不得缩小一个正在跑的窗口;
  • [window] 行以 source= 标出这条腿的来源(launcher-live 表示活读命中,launcher 表示启动快照),并且只在解析值发生变化时重复打印,使"活读真的生效了"在日志里可判定。

不新增上限:min(声明窗口, 配置上限) 的语义完全不变,只是"当前窗口"这条腿从快照变成活读。其它宿主(启动快照模式)行为逐字节不变。

建议回归覆盖

  1. 运行中修改客户端 contextWindow → 下一次请求的 [window] 行出现新值且 source=launcher-live;
  2. 配置文件临时不可读 → 窗口不缩小,仍用上一次好值;
  3. 非该客户端的宿主 → 仍用启动快照,日志源标识不变。

二、输出预算对账(上游只有「砍」,我们是「砍 + 还」)

现状(上游 090a182)

上游 src/server/budget.ts:78,93 只有 clampOutputBudget / clampOutgoingOutput:预算若会让 input + output 超窗就砍。没有任何地方把压缩刚腾出来的余量还给客户端。

症状

客户端按它能看见的(未压缩)历史算输出上限,形如 window − estimate − 保留值,且这个 estimate 往往来自自己的粗估与零化过的回放 usage。长会话里该差值会被压到几千甚至几十 token:

  • 每次回复都在半句话处被截断;
  • 而代理这边压缩后的载荷仍有几万 token 空余;
  • 反向还会自噬:摘要若因预算不足而截断失败,历史不缩,客户端的估值更大,主循环的预算进一步被压小 —— 两个失败互相喂养。

本地做法(在发出阶段用测得值算,不用记忆值)

reclaimed = estimate(raw body) − estimate(projected body)      # ≥ 0
budget    = requested + reclaimed    # 客户端未声明意图时
budget    = declared                 # 客户端声明了意图时
budget    = min(budget, ceiling)     # 与「砍」共用同一个天花板
ceiling   = window − input − max(2048, ceil(input × 5%))
  • 天花板与上游的钳制共用同一个函数,所以"还"在结构上不可能越过"砍"的边界;已经贴在天花板上的预算保持不动;
  • 客户端可以用一个私有头声明自己的意图(我们是 x-bili-dsh-output-budget),代理消费后在转发前剥掉;缺失或畸形一律按"未声明"处理,绝不当作 0;
  • 不带工具的调用原样放过(标题生成、探针、压缩侧路)—— 这类调用的长度本身就是目的。这条结构判据同时取代了"按数值阈值猜 side request"的做法(原来 ≤ 200 token 的数值判据会把合法的主对话请求一起误伤);
  • 一条反例值得记:不要把无工具调用的预算当成主会话的"高水位"学下来,否则一个十几 token 的探针会教坏主会话。

建议回归覆盖

  1. 长会话(客户端声明的预算被压到很小)+ 代理压缩生效 → 预算被抬回,且不超过天花板;
  2. 客户端声明了预算 → 结果不超过声明值;
  3. 无工具调用 → 预算逐字节不变。

三、代理确认压力:一套账本,而不是两套

原则

压缩发生在代理、决策发生在客户端时,两边各记一套账必然打架:客户端按未压缩历史估自己的上下文压力,代理按压缩后载荷干活,于是客户端会重复压缩代理已经折叠过的内容(两个账本,一个真相)。

本地做法不合并账本、不共享状态,只做一件事:让"看到全部事实的一方(代理)"输出已确认事实,客户端只在决策点取用。

上游已经提供了全部观测面

这也正是我们认为这一条不需要上游再改任何东西的原因:


⚠️ Maintainer note (2026-09-20): the tail of this description (the remainder of §三's field list and any closing notes) was accidentally truncated by a bot-side edit while the issue was being closed — the analysis thread and closing rationale live in the comments below. @plyflai apologies — could you re-paste the remainder when convenient?

Activity

  1. ranxianglei commented on Sep 16, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已完成 Triage:三条逐一对照 090a182(PR #834,是 origin/master 的祖先)做了代码级核实。总体结论:第一条是真缺口、值得做;第二条症状真实但上游已有「砍+还」的雏形(#546),你们的方案是它的严格增强;第三条确认零改动。两条需要修正的事实性描述先说清楚,再给建议方案。


    一、客户端窗口活读 —— 真缺口,但 substrate 描述有两处与上游不符

    核实结果:

    • ✅ src/launcher.ts:2017 启动时一次性注入 BILI_LAUNCHER_MODEL_WINDOWS;src/server/context-window.ts:32 在模块加载时解析成静态 map(LAUNCHER_MODEL_WINDOWS),进程内永不重读——「快照」判断成立,运行中改 contextWindow 确实要重启才生效。窗口级联与 min(声明, 配置上限) 的位置(src/server.ts ~951–997)也与描述一致。
    • ⚠️ 修正 1(dsh 的 substrate):client-config.ts:282/428 上游只读 settings.yaml 里的 baseURL 行(readDshConfig 返回 { baseUrls }),不读 contextWindow;collectModelWindows(client-config.ts:1072)的 scope 分支只有 codex/pi/omp/opencode/codebuddy/kimi,dsh 没有分支 → bili dsh 启动时 BILI_LAUNCHER_MODEL_WINDOWS 根本不会被设置。所以对 dsh 而言,上游连「启动快照」这条腿都不存在——活读之前得先补一个 dsh 的 contextWindow 采集器。
    • ⚠️ 修正 2(BILI_LAUNCHER_CLIENT):这个 env 上游不存在。代理目前不知道自己是哪个客户端拉起的,活读需要新增「客户端身份」交接(代理才知道重读哪份配置、用什么解析器)。
    • 另注:现有 [window] 日志按 model 去重、每模型只打一次(windowSourceLogged Set)。你们要的「值变化才重复打印」需要把去重键从 model 改成 (model, source, value) 这类组合。

    建议方案(我的推荐,供拍板):

    1. launcher 侧:spawn env 增加 BILI_LAUNCHER_CLIENT=<client>(所有 launcher 客户端都传,不只 dsh);
    2. dsh 侧:补 settings.yaml 模型条目 contextWindow 的读取,挂进 collectModelWindows 的 "dsh" scope;
    3. 代理侧:有 BILI_LAUNCHER_CLIENT 时,按 TTL(5s 合理)用同一个 collector 的单客户端 scope 重读(不跑全量 loadClientConfig,避免无关 IO);读失败/缺文件保留上一次好值;[window] 行加 source=launcher-live,值变化时重复打印;无该 env 的宿主逐字节不变。
    4. 收益面比 issue 写的更大:pi/omp/opencode/codebuddy/kimi 的窗口同样是启动快照,同一机制自动覆盖它们的活读问题。

    回归覆盖采用你们列的三条即可,外加一条:非 dsh 的有 collector 客户端(如 opencode)活读生效。

    二、输出预算对账 —— 症状真实且已知(#546),上游已有「还」的雏形

    修正:「上游只有砍」在 090a182 上已不成立。#546(同为本账号报告、已由 PR #548 合入)交付了两件事:

    • isSideRequest 的结构判据已上线:tools 非空 → 永不判 side(src/server/side-request.ts:15)——你们第二节说的「结构判据取代数值阈值猜 side request」上游已经做了这一半;
    • restoreOutputBudget(side gate 之前调用):会话记健康预算高水位(持久化、last-wins),带 tools 且预算 ≤200 的请求原地恢复为高水位,log output budget restored N -> M (#546)。

    但你们的方案确实是严格增强,残余缺口成立:

    1. 高水位只在 ≤200 饿死时触发——部分收缩(比如被压到几千 token)完全不处理;
    2. 记忆值 vs 测得值:高水位依赖历史轮次「见过健康预算」,且当前实现里无工具的 side 请求也会更新高水位——你们指出的反例(探针教坏主会话)在上游现状中真实存在;
    3. 无客户端声明意图的通道。顺带一提:[bug] bili dsh 长会话中 max_output_tokens 被压到 ≤200,主请求被误判为 side request 并绕过压缩 #546 OP 里就列过「允许客户端显式传递原始配置输出预算」这个方向,当时没采纳——你们的私有头正是把它落地了。

    建议方案(我的推荐,供拍板):

    1. 发出阶段用测得值对账:reclaimed = estimate(raw) − estimate(projected)(≥0),未声明意图时 budget = requested + reclaimed,再与现有 clampOutputBudget 共用同一个天花板函数(src/server/budget.ts:78)取 min —— 「还」在结构上越不过「砍」,这一点你们的边界设计直接保留;
    2. 私有头建议通用化命名(如 x-bili-output-budget,不限于 dsh):任何客户端都能用;缺失/畸形一律当未声明;消费后转发前剥掉;
    3. 无工具调用的语义请明确一下:我理解为「不做对账抬升,但保留 clamp」(防溢出是 plugin mode: no hard backstop when the agent ignores the compress nudge — context grows past the window and upstream 400s #453/side request(max_tokens<=200)绕过 preflight 且不检查载荷体积,携带全量历史直转上游导致 400 #554 的职责,不应随对账一起放行)——如果你们的本地行为是无工具调用完全不动(含 clamp),请在回复里确认,两者取舍不同;
    4. 与既有高水位的关系:推荐替换而非并存(测得值在高水位能覆盖的所有场景下都更准,且消灭了 side 请求污染高水位的反例;并存会出现两处「还」互相打架)。这是行为变更,e2e 需同时覆盖 [bug] bili dsh 长会话中 max_output_tokens 被压到 ≤200,主请求被误判为 side request 并绕过压缩 #546 原场景(饿死 16→恢复)与新场景(部分收缩→抬回但不超天花板)。

    回归覆盖采用你们列的三条 + #546 原 e2e 不退化。

    三、代理确认压力 —— 核实完毕,同意零改动

    逐字段核对过:

    • GET /__bili/health(src/server.ts:642)→ { ok, upstream, instanceId, pid, startedAt } ✅
    • GET /__bili/plugin/status?conversationId=…(src/plugin.ts 的 handlePluginStatus)→ { ok, conversationId, fallback, label, pluginAgent, contextLimit, contextTokens, inputTokens, outputTokens, cachedTokens, requests, blocks[{id,tier,active}], panel, lastSeen } ✅

    你们枚举的字段一个不少;fallback 的语义注释本身就挂着 #404/#656 的防护说明,与你们的身份绑定纪律一致。证据链四条件 + 失效即回退的设计不需要上游任何配合,认同。

    唯一的小建议:既然客户端侧逻辑已经把这两个端点的字段当成稳定契约在用,建议在 README/CONFIGURATION 里把 /__bili/health 与 /__bili/plugin/status 的响应字段明示为 client-facing 稳定契约(字段增补自由、删除/改名需走 deprecation)。纯文档变更,成本极低,能防止将来无意破坏下游实现。


    请拍板

    1. 第一节:是否按上述通用机制实施(launcher 传 BILI_LAUNCHER_CLIENT + dsh 补 contextWindow 采集器 + 代理 TTL 活读 + [window] 来源标识)?范围:全部 launcher 客户端受益(推荐),还是仅 dsh?
    2. 第二节:是否按测得值对账实施,并替换现有高水位恢复(而非并存)?私有头命名听你们的(通用名 vs x-bili-dsh-*)。
    3. 第三节:是否需要我补一段文档把两个观测端点钉成稳定契约?

    确认后我出最小补丁形状(或你们按文末提议整理,我们这边 rebase 跟随——两种都行,指定一处即可,避免双头维护)。

  2. ranxianglei commented on Sep 17, 2026

    @ranxianglei
    Owner

    继续

  3. ranxianglei commented on Sep 17, 2026

    @ranxianglei
    Owner

    继续

  4. ranxianglei commented on Sep 17, 2026

    @ranxianglei
    Owner

    稍后处理 先合并fix 回来看这个 ework 参考这个看看 #800

  5. ranxianglei commented on Sep 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    收到,已暂停 #863 实现,等 fix 合了再回来。已读完 #800,核对如下。

    我这边的状态

    关于「先合并 fix」

    回来后的动作

    1. git fetch 最新 master,把分支 rebase 上去(feat: per-request cache reconciliation ledger (acp_cache tool) #804 分支点 a1b24aa 之后 master 已推进很多提交,server.ts 改动很大,必 rebase)。
    2. §2 改用 feat: per-request cache reconciliation ledger (acp_cache tool) #804 的实测 compressedTokens 重写。
    3. typecheck + 全量测试 + build 全绿后再提 PR。

    一句话中文摘要:已暂停 #863,确认其 §2 应复用 #800(#804) 的实测压缩回收量而非双估算;待 #804 及其 kernel 前置链人工合并后,我再 rebase 到最新 master 重做 §2 并继续推进。

  6. ranxianglei commented on Sep 18, 2026

    @ranxianglei
    Owner

    #800
    已经合并 ,简述下本issue核心思想,动机,如何实现

  7. ranxianglei commented on Sep 18, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    已核对:#800 三个子 PR 全部合并(acp-kernel#297 @09-16、billion-context#804 @09-18 master 3e6f33e pin acp-kernel@0.0.77、billion-context-pi#449 @09-18),issue 已 close。简述如下。

    核心思想

    把「压缩是否破坏缓存」从空口争论变成可对账的硬数据。给出一条加法恒等式,让每次 provider 上报的 usage 严格拆成三段,总账与 provider 上报的总缓存命中按构造精确闭合——不是估算,是定义上必然对平:

    missed_i = input_i − cached_i = newContent_i + compRepay_i + ttlRepay_i
    
    • newContent:相对上一次的净新增(正常追加,不算失效);
    • compRepay:压缩导致的失效重付,上限 = 超出折叠分歧点 X 的结构增量(压缩只为它真正打掉的缓存付费);
    • ttlRepay:残差 = 稳定前缀内的漏命中(主因 TTL 过期/逐出)。

    报告每次都打印 identity check OK — IN = C + NC + CR + TR,实现有 bug 当场暴露。进阶:每折经济学(纯 token 口径)——一次性成本 ΔC₁=(w−r)T+qσ−rS、每轮节省 Δs=(S−σ)r、盈亏平衡轮数 n*=ΔC₁/Δs 对照实测节奏 k → PAID BACK / NOT PAID BACK。

    动机

    用户会怀疑我们的压缩严重破坏缓存,进而认为插件不如原生压缩——虽是误解,但空说无凭证。agent 本身记录每次输入输出和命中的缓存,因此有每次与总的缓存命中;要拆解每一次失效来自哪里(压缩 vs TTL),且最终总缓存命中必须和总账对上。工具返回总账 + 分帐明细。

    如何实现(三仓分工)

    仓 改动
    acp-kernel#297 对账核心纯函数 buildCacheReport / formatCacheReport / decomposeSample / summarizeFoldEconomics + acp_cache 只读工具定义(OpenAI/Anthropic/Responses 三 wire)+ 单测。数学口径唯一来源,先发版。
    billion-context#804 代理侧台账:每条流结束采一个 usage 样本(环形缓冲带上限);fold 事件持久化进 session(含 tier 蒸馏);前缀分歧点计算(proxy/plugin 两模式同一管线);executeProxyTool 分发 acp_cache;管理端点 GET /__bili/cache-report?session=。新增 src/cache-ledger.ts。
    billion-context-pi#449 /acp-cache slash 命令 + acp_cache 模型工具(同一段报告文本);样本取自 pi 自己的 SessionEntry usage footer,fold 事件从 state.blocks 派生,不加新存储 schema。

    诚实局限:总账/命中率/每请求命中数全是 provider 原始数据、恒等式精确闭合;但 NC/CR/TR 之间的拆分依赖我们自己的 token 估算尺度算 X(折叠分歧点大小),非 provider 计费尺度;ttl/other 桶把 TTL 过期、eviction、其他稳定前缀失效合在一桶(wire 数据无法区分)。

    与本 issue(#863) 的关系

    #804 合并后,§2(输出预算对账)所需的实测压缩回收量已在代理侧可取——每个压缩块的 compressedTokens(fold 事件同一数据源)。所以 §2 不再用双估算,直接读测得值替代:更准且天然非负。前置已就绪,我随时可 rebase 到最新 master 重做 §2 并推进 §1/§3。

    一句话中文摘要:#800 用一条按构造闭合的加法恒等式把每次缓存 miss 拆成「新内容+压缩重付+TTL残差」并附每折盈亏经济学,三仓分工落地(kernel 数学核 / proxy 台账 / pi 命令),让「压缩是否破坏缓存」有硬凭证可对账;现已全数合并进 master,#863 §2 可直接复用其实测回收量。

  8. ranxianglei commented on Sep 18, 2026

    @ranxianglei
    Owner

    简述下本issue核心思想,动机,如何实现

    不是已经合并的

  9. ranxianglei commented on Sep 18, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    简述 #863「上下文管理三则」——自托管实例上已在跑、供上游参考的三条相互独立的做法。共同边界:都不改上游既有设计意图,substrate 上游已具备,本地只加其上那一层;可分开取舍。

    一、客户端窗口活读(在上游 min(window, cap) 之上)

    • 核心思想:客户端声明的 contextWindow 目前只在 launcher 启动时读一次(快照);改成代理按 TTL 活读同一份配置,其余一律不变。
    • 动机:运行中调大/调小某模型的 contextWindow 后,代理直到进程重启都还在用旧快照算 min(声明窗口, 配置上限) 和 nudge 分母 → operator 设的上限被算得比客户端实际用的还小。
    • 如何实现:仅当 BILI_LAUNCHER_CLIENT 指向该客户端时,代理用 launcher 同一个采集器按 TTL(示例 5s)重读(不引入第二种解析);读失败/文件缺失保留上一次好值(瞬时失败不得缩小正在跑的窗口);[window] 行以 source= 标来源(launcher-live=活读命中 / launcher=启动快照),且只在解析值变化时重打,使"活读真的生效"在日志里可判定。不新增上限,min 语义完全不变,只是"当前窗口"这条腿从快照变活读;其它宿主逐字节不变。

    二、输出预算对账(上游只有「砍」,这里是「砍 + 还」)

    • 核心思想:上游 budget.ts 只会"超窗就砍输出";压缩刚腾出的输入余量没人还回去。这里在发出阶段把余量还回输出预算。
    • 动机:客户端按它看得见的未压缩历史算 max_tokens(形如 window − estimate − 保留,estimate 常来自粗估+零化回放 usage),长会话里被压到几千甚至几十 token → 每次回复半句话截断,而代理侧压缩后载荷还空着几万 token;还会自噬:摘要因预算不足截断失败→历史不缩→估值更大→主循环预算更小,两个失败互相喂养。
    • 如何实现(发出阶段用测得值算,不用记忆值):
    reclaimed = estimate(raw body) − estimate(projected body)   # ≥ 0
    budget    = requested + reclaimed      # 客户端未声明意图
    budget    = declared                   # 客户端用私有头声明了意图
    budget    = min(budget, ceiling)       # 与「砍」共用同一个天花板
    ceiling   = window − input − max(2048, ceil(input × 5%))
    

    天花板与上游钳制共用同一个函数,"还"结构上不可能越过"砍"的边界;私有头(示例 x-bili-dsh-output-budget)消费后转发前剥掉,缺失/畸形一律当"未声明"、绝不当 0;不带工具的调用原样放过(标题生成/探针/压缩侧路——长度本身即目的),这条结构判据同时取代原来 ≤200 token 的数值猜测(会误伤合法主对话请求);不把无工具调用的预算学成主会话高水位(否则一个十几 token 的探针会教坏主会话)。

    三、代理确认压力:一套账本,而不是两套

    • 核心思想:压缩发生在代理、决策发生在客户端 → 两边各记一套账必然打架(客户端按未压缩历史估压力、代理按压缩后载荷干活 → 客户端会重复压缩代理已折叠过的内容)。做法不合并账本、不共享状态,只做一件事:让看到全部事实的一方(代理)输出已确认事实,客户端只在决策点取用。
    • 动机:消除"两个账本、一个真相"导致的重复压缩。
    • 如何实现:零上游改动——观测面上游已全部提供(GET /__bili/health → instanceId;GET /__bili/plugin/status → conversationId/fallback/contextTokens/requests/inputTokens/outputTokens/cachedTokens/blocks[{id,tier,active}]),一个字段都没加。客户端在一次主请求前后各观测一次,四条件同时成立才作数:①同实例 after.instanceId === before.instanceId;②恰好一次新请求 after.requests === before.requests + 1;③代理报的上下文与拿到的 usage 逐字段相等;④存在活跃压缩块 blocks.some(b => b.active);外加请求头未变、客户端历史未被替换(单调替换代数比对),任一不成立即视为无证据、回原生。pressure = 已确认 input + output + max(0, 本地正向增长),本地删除不给信用(偏差只往保守方向走);决策时重新观测要求与锚点全等,pressure < floor(window × thresholdRatio) 才抑制客户端自动压力压缩并打 debug,否则交回原生。三条纪律:身份绑定(会话 id 必须等于 conversationId,fallback 一律当无证据,防 重启伪造时间戳:buildSession 用 Date.now() 覆盖 lastSeen,面板"最后活动"全员开机时刻、fallback=latest 在 ~245 路平局里随机挂会话 #404/MCP tools fail with 'unknown plugin conversation' after Claude Code --resume (shim holds a stale session id) #656 陈旧 id 绑错会话)、只接管一条生命周期(只抑制自动压力压缩,真实超窗恢复/手动压缩/摘要全保留)、失效即回退(重启/换头/历史被换/观测失败立即回原生)。已知偏差诚实列出:客户端自身计量仍显示原生估值(用客户端命令读代理真值补显示)、证据易失(重启后首请求用原生压力)、每次决策多一次有界管理调用(示例 1500ms 超时)。

    一句话中文摘要:#863 给出自托管已在跑的三条独立上下文管理做法——①客户端窗口从启动快照改为 TTL 活读(不改 min 语义、读失败保留好值)、②输出预算在发出阶段把压缩腾出的余量"还"给客户端(与"砍"共用天花板、无工具调用原样放过、私有头声明意图且转发前剥除)、③代理确认压力用一套"已确认事实"替代两套打架的账本(零上游改动、四条件证据链 + 保守回退);三者 substrate 上游均已具备,可分开取舍。

  10. ranxianglei commented on Sep 18, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    前置已就绪(#804 已进 master 3e6f33e),我随时可开工。开工前只剩 floor‑3 里那三个待你拍板的点,各附默认建议,你回一个字即可:

    1. §1 范围:做通用机制(所有经 launcher 的客户端受益,dsh 靠 BILI_LAUNCHER_CLIENT 命中)——推荐;还是仅 dsh?
    2. §2 与 [bug] bili dsh 长会话中 max_output_tokens 被压到 ≤200,主请求被误判为 side request 并绕过压缩 #546 的关系 + 私有头命名:新的"还"(发出阶段双估算 estimate(raw)−estimate(projected))取代 [bug] bili dsh 长会话中 max_output_tokens 被压到 ≤200,主请求被误判为 side request 并绕过压缩 #546 的高水位恢复——二者解同一个饥饿问题、并存会互相打架,推荐取代;头名用通用 x-bili-output-budget(推荐,机制是通用的)还是 issue 里的示例 x-bili-dsh-output-budget?
    3. §3 文档:补一段把 /__bili/health、/__bili/plugin/status 的观测字段钉为稳定客户端契约的说明?——推荐补。

    你说「按推荐来」我就一口气做完:rebase 到 master → 实现 §1/§2 → 确认 §3 → typecheck + 全量测试 + build(含 #546 回归)全绿 → 开 PR 引用 #863。或指定任意一处改法。

    一句话:就差你对这三点点头(或直接一句"按推荐来"),其余我已能一气呵成到提 PR。

  11. ranxianglei commented on Sep 18, 2026

    @ranxianglei
    Owner

    目前已经支持dsh 内部插件方式 这个是否还有必要

  12. ranxianglei commented on Sep 18, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    理解了:dsh 现在走原生插件(src/agent/dsh-native.ts,#941,x-bili-plugin: dsh)做完整插件模式压缩。插件模式下是 dsh 自己持有压缩、自己看到压缩后的真值,所以 dsh 本身不是"两套账本 / 输出饥饿"的受害者——就 dsh 而言,三则基本不再必要,同意你的判断。

    但有一层要分清:内部插件只覆盖"能装插件"的开放客户端。master 上现在只有 dsh / opencode / pi(omp 走 pi 路径)有原生插件;launcher 名单里的 codex / claude / hermes / codebuddy / qoder / trae / jcode / kimi 都是闭源、只能经代理驱动,没法给它们塞 cordis 插件。对这些客户端,代理侧是唯一能动手的地方。所以 #863 的价值不在 dsh,而在这一批"够不着插件"的闭源客户端。

    逐条看(在 dsh 已被插件接管的前提下):

    • §2 输出预算对账:仍有最普适价值——任何按"可见历史"算 max_tokens 的代理模式客户端(codex 的 max_output_tokens、claude-code…)长会话都会被压到饥饿。但它与已合入的 [bug] bili dsh 长会话中 max_output_tokens 被压到 ≤200,主请求被误判为 side request 并绕过压缩 #546(restoreOutputBudget,server.ts:1303)重叠,净新增只是"发出阶段测得值对账 + 部分收缩 + 私有头声明意图"这类精化,不是新能力。
    • §1 窗口活读:除 dsh 外受益面很薄;而且 master 上 readDshConfig(client-config.ts:428)目前只抽 baseUrls、还没抽 contextWindow,要做还得先补这个读取。低优先级。
    • §3 代理确认压力:明确是客户端侧、不属于本仓库;对 bili 只是文档(把 /__bili/health、/__bili/plugin/status 观测字段钉成稳定契约),无代码必要性。

    我的建议(给结论,不甩选择题):不要现在三条全做。 倾向把 #863 当作已沉淀的参考文档保留;若要落代码,只做 §2 作为 #546 的定向精化、范围限定到代理模式的闭源客户端——而且仅当我们在 codex/claude 里确实观察到残余截断饥饿时再动手。否则 #863 可按"已被插件方案 + #546 覆盖"关闭。

    一句话中文摘要:dsh 已走原生插件、#546 也已合入,#863 的大部分动机已被吸收,不必三条全做;唯一仍有普适价值的是 §2(面向够不着插件的闭源客户端),但它只是 #546 的精化——建议保留 issue 作参考,仅在实测到闭源客户端截断饥饿时才落地 §2。

  13. ranxianglei commented on Sep 20, 2026

    @ranxianglei
    Owner

    Closing as absorbed — all three sections' motivations are covered on master. (Analysis from the 2026-09-18 thread plus a final code check today.)

    §1 窗口活读 (runtime contextWindow re-read) — the only launcher client known to resize its window mid-run was DSH; DSH now runs the native plugin path (#941, src/agent/dsh-native.ts) where the client side owns compression and reads its own config live, so this leg's original victim no longer exists. For closed clients (codex/claude/hermes/...) mid-run window edits essentially don't happen — restart is an acceptable workaround — and readDshConfig doesn't extract contextWindow yet, so landing this would be new plumbing for a scenario with no observed requester.

    §2 输出预算对账 (output budget 砍+还) — the starvation mechanism is on master as #546 (restoreOutputBudget, src/server/side-request.ts): per-session healthy-budget high-water, restored on starved tool-carrying main requests, tool-less calls untouched — the same structural pass-through rule proposed here. The high-water arms from early-turn healthy budgets, and starvation by definition occurs in long sessions (where early healthy budgets existed), so the memory-based variant covers the main case. What §2 would still add — emit-stage measured reclaim (estimate(raw) − estimate(projected)) and a declared-intent private header — is a refinement of #546, not a new capability, and the only prospective header consumer (DSH) moved to the plugin path. If residual truncation starvation is ever observed on a closed client, file a fresh issue with the live repro and port the measured-reclaim math then.

    §3 代理确认压力 (one ledger) — client-side convention by design (the issue itself says it needs no upstream change). Its only consumer was DSH, which no longer uses this pattern; the other closed clients are proprietary vendors who won't integrate against /__bili/health fields. Documentation-only value with no reader left.

    The knowledge stays findable right here (and in DSH's referenced patches). Nothing is lost by closing; reopening on live evidence costs one repro.

    (Also noting transparently: while closing, a bot-side edit accidentally truncated the tail of the issue description — see the note appended to the body; @plyflai please re-paste the remainder if you want it preserved verbatim.)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions