Skip to content

[Bug][pi] Model-level promptPack config not propagated to compress tool description (only top-level compress.promptPack is honored) | [Bug][pi] model-level promptPack 配置不达 compress 工具描述面(只认顶层 compress.promptPack) #3243

Closed

Description

@ranxianglei

来源: https://github.com/ranxianglei/billion-context-pi/issues/650(billion-context-pi → billion-context 迁移,见 billion-context-pi#633,第三轮:10-10 ~ 10-13 窗口)

原 issue 由 @carrotciallo 在 billion-context-pi(Pi 适配层)提交。大部分功能已在 billion-context 实现、后续迭代方向是 billion-context,此 issue 迁移至此继续跟踪;原单已关闭留指针(历史评论保留)。


No code change requested.

resolvePackName (src/prompt-pack.ts) reads promptPack through resolveCompress, so a provider/model override such as compress.providers.<provider>.models.<id>.promptPack changes the system-prompt pack (src/index.ts calls resolvePackName when building the prompt).

readToolSurfaceWithPacks (src/prompt-pack.ts) does not. While merging each acp.json it only accepts a string at the top-level compress.promptPack. The compress tool description is then taken from readToolSurfaceWithPacks (src/index.ts). A model-only pack therefore never reaches toolPrompts / adapters.pi.toolExtras.

Observed on billion-context-pi 0.1.83 with providers.veda.models["qwen3.8-27b-coder390"].promptPack set to qwen-compact: the pack's tier-2/tier-3 prompt rules were gated, and the tool description stayed on the top-level surface. Removing that model-level key avoids the mismatch. A later change should make the tool-surface pack name use resolvePackName, or document that promptPack is top-level only.


关联

Activity

  1. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 本单是 billion-context-pi#650 的迁移单;本仓库内 promptPack 相关仅另有 #2335/#2337(反向案例:代理侧 pack 只到工具描述、系统提示词没换,已修复关闭,本单正文也已引用)和 #1433(lean canary 提案)——症状与机制都不同。

    代码审核完成(当前 master effd544),结论分两条线:

    1. 代理模式(wire 注入)没有这个问题。 src/server/handle.ts:623 用 resolveCompress(routes, url, model, global) 解析 global→provider→model 三级合并设置,第 633 行用同一个合并结果经 resolveCompressSurfaceDetailed 取 pack surface——系统提示词和 compress 工具描述出自同一份合并结果,model 级 promptPack 两边都到。原单描述的「只认顶层」现象在代理模式不存在。

    2. 原生插件模式(pi/omp/dsh/opencode 等 native lane)有真实缺口,且比原单描述的更宽。 插件 lane 的工具描述来自静态 manifest(GET /__bili/plugin/manifest,会话开始前注册、设计上无 model 上下文,#1192 保守规则)。src/server/admin.ts:320 → handlePluginManifest(src/plugin.ts:806)直接用内核常量构建工具,从未把任何 pack 的 toolPrompts 经 applyAcpToolOverrides 应用上去——也就是说插件模式下连顶层 compress.promptPack 都到不了工具描述;而系统提示词每请求按完整三级级联走(prepare-*.ts 的 injectSystem 无 pluginMode 门控)。这与原单观察到的「系统提示词换了、工具描述没换」的不对称是同一机制,只是发生面是全级别而非仅 model 级。

    修复方案(开始实现):

    • handlePluginManifest 增加 toolPrompts 参数,对 anthropic/openai/responses 三组 ACP 工具按 wire 注入器同样的方式应用 applyAcpToolOverrides;admin.ts 从全局设置经 resolveCompressSurfaceDetailed(opts.compress) 解析 surface 传入——与 absorb/ccr/rules 既有的「manifest 只认 base 配置、per-request 覆盖在执行时强制」保守规则(dsh acp rule报错 #1192)一致。所有 native lane(含 codex MCP、kimi、zcode)共用这一个端点,一处修全好。
    • 残留限制(结构性,无法在静态 manifest 上消除):manifest 在请求到达前拉取、无 model 上下文,所以插件模式下 provider/model 级 promptPack 仍只影响系统提示词、不影响已注册的工具描述。会在 CONFIGURATION.md(中英)写明:要工具描述全模型跟随 pack,请设顶层 compress.promptPack。
    • 回归测试:harness + GET manifest,断言 promptPack: "lean" 时 compress 描述/参数描述变成 lean 版;未配置时保持内核默认;route 级 pack 不泄漏进 manifest(钉住保守边界)。
  2. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    修复完成,PR: https://github.com/ranxianglei/billion-context/pull/3247(`Closes #3243`)

    1. 是什么问题:原生插件车道(pi/omp/dsh/opencode/MCP)注册的 compress 等工具描述从不跟随 compress.promptPack——配置任何层级的包,系统提示词换成了包的规则,工具描述却停在内核默认值,两个表面不一致。这就是原单 billion-context-pi#650 观察到的现象(当时表述为「model 级配置不达工具描述面」)。

    2. 什么原因导致的:插件清单端点 GET /__bili/plugin/manifest(src/server/admin.ts)构建工具列表时只读内核常量与基础配置,完全没有走 pack 解析;而每请求路径(src/server/handle.ts)用完整的 global→provider→model 级联同时产出系统提示词与 wire 注入面。两个表面走了不同的解析路径——清单侧是「压根没接」,不是「只认顶层」(顶层同样没到达)。代理/wire 模式两个表面同源合并配置,本来就没有这个问题(与已关闭的反向案例 #2335/#2337 对称)。

    3. 影响范围与严重程度:所有在原生插件车道配置了 promptPack(任意层级)的用户:系统提示词的 tier 规则生效、工具描述却是默认面,语义不匹配。无数据丢失、无功能失效——严重度为正确性/体验瑕疵(模型看到不一致的工具文档),不是不可用。未配置包的用户完全不受影响。

    4. 怎么修复的:让清单走与请求路径相同的 pack 表面解析——handlePluginManifest 接受可选 ToolPrompts,admin 端点用 resolveCompressSurfaceDetailed 从全局配置解析后传入;应用方式与 wire 注入器逐字对齐(applyAcpToolOverrides,只作用于四个 ACP 核心工具,absorb/rule/retrieve 等 extras 不动)。同时在 CONFIGURATION.md / zh-CN 的 compress.promptPack 条目下写明模式行为:插件模式工具描述只跟随顶层包(清单静态、会话无关,宿主在请求到达前拉取、拿不到 route/model 上下文——#1192 保守边界);provider/model 级包继续只影响系统提示词。即 issue 给的两条路都走了:能修的修了(顶层现在到达),结构上到不了的写清楚了。

    5. 是否有回归问题:逐项审过既有行为——① 未配置包时清单输出与改前一致(测试 2 钉住内核默认值);② 只配 route 级 → 清单保持默认(测试 3 钉住 #1192 边界);③ wire-contract 的 manifest 金快照不变(第三参数可选,现有调用方兼容);④ 代理模式路径零改动(handle.ts/inject.ts 未触碰);⑤ 无 fail-fast 变吞错、无阈值/时序漂移、schema 结构不变(仅描述文本变化)。

    6. 是否破坏缓存:不涉及。前缀缓存/fold 状态/去重键均不受影响;工具描述变化只发生在用户显式设置顶层 promptPack 时(此前他们得到的是不一致的表面)。

    7. 是否改了设计方向:没有。只是把清单表面对齐到既有的每请求表面解析机制;「清单静态、会话无关」的架构保持原样。

    8. 是否引入了新的配置:没有。无新 env/config/默认值。

    行为变更披露(旧→新):插件模式注册的工具描述——旧 = 恒为内核默认(任何层级的 promptPack 都被忽略)→ 新 = 跟随顶层 compress.promptPack。代理/wire 模式完全不变。原因:消除本 issue 报告的双表面不一致;model 级因清单无 model 上下文而结构性不可达,已在 en/zh 文档注明。

    验证:新增 3 个 server 级回归测试(stash A/B 验证过测试有牙:摘掉修复则测试 1 失败);相邻套件(prompt-pack-tool-prompts、compress-prompt-pack、ccr-plugin、wire-contract 含金快照)47/47 绿;typecheck 干净;全量回归以 push 后的远程 CI 为准。

    结论:可合并(以 CI 全绿为最终门禁)。

  3. changed the title [-][Bug][pi] model-level promptPack 配置不达 compress 工具描述面(只认顶层 compress.promptPack)[/-] [+][Bug][pi] Model-level promptPack config not propagated to compress tool description (only top-level compress.promptPack is honored) | [Bug][pi] model-level promptPack 配置不达 compress 工具描述面(只认顶层 compress.promptPack)[/+] on Oct 16, 2026
  4. added
    bugSomething isn't working
    协议接线改动范围:内核之外的主机侧接线(src/agent 适配器、server 路由、注入拦截)/范围兜底/客户端标签
    on Oct 18, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    billion-context-pibugSomething isn't workingp3pi协议接线改动范围:内核之外的主机侧接线(src/agent 适配器、server 路由、注入拦截)/范围兜底/客户端标签

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions