Skip to content

窗口溢出报错 #736

Closed
Closed

Description

@ranxianglei

日志稍后


Mirrored from ework issue #736

Activity

  1. ranxianglei commented on Sep 12, 2026

    @ranxianglei
    OwnerAuthor
  2. ranxianglei commented on Sep 13, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷

    结论:不是上游服务的问题——卡住你的是 bili 自己的有效窗口被设成了 16000,而你的本地服务实际容量远大于 16k。

    证据(全部出自这份日志):

    1. [window] model=qwen/qwen3.8-27b source=table-or-registry native=128000 effective=16000 —— 注册表记录该模型为 128K,bili 实际却按 16000 在跑。
    2. 卡死会话的 nudge 行显示 ref=82022:代理重启前,同一会话的一轮请求被上游报告了 82022 个输入 token;另外 18:19:50 另一个会话被上游计费 input=16589。本地服务明显能接受远超 16K 的输入。
    3. 17:52:27 有 [acp-web] configuration updated (compress) —— 出事前几分钟刚在 Web UI 改过 compress 配置。代码里能把 effective 从 128000 压到 16000 的唯一路径是 compress.modelContextLimit(global / provider / model 任一层级,绝对值或百分比)。

    为什么无限循环:

    • 该会话的历史是在旧的大窗口下建立的、跨重启持久化;窗口缩到 16k 后,payload(≈26523 tokens)立刻溢出,触发 preflight 压缩。
    • 压完所有可压缩内容(包括放宽软保护 recent zone)后还剩 ≈19835,仍 >16000。系统提示词 + 工具定义就占 ~13k 的 wire 开销(nudge 估算 13225 vs payload 26523),加上受保护的本轮消息——这个"不可压缩核心"物理上塞不进 16k,属于确定性失败,重试多少次都不会成功。顺带说:这个 16k 设定下,光系统提示词 + 工具就占 ~13k,任何会话都会很快溢出。
    • 叠加因素:v0.1.107 还没有 dead-end cooldown,客户端每次重试都重跑 2–5 分钟的注定失败的 preflight walk,浪费 summarization 调用(小模型返回空摘要,日志里的 summary too short (0 chars) 即此)。这部分 master 已修复(PR fix: recover preflight from empty SSE summaries + dead-end cooldown (#726) #727:零进展失败进入 5 分钟冷却、相同请求直接快速失败且零上游调用;空摘要诊断 + 半尺寸重试),会随下个版本发布。

    立即解决(无需等发版):
    在 Web UI 的 compress 配置(就是 17:52:27 改动的那处)或对应配置文件中,删除或调大 modelContextLimit。如果当时是以为模型窗口只有 16k 才设的,直接把该字段删掉即可——bili 会用注册表的 128K。配置热加载,不用重启 bili,卡死的会话下一次请求就会恢复(或者直接重启那个会话)。

    代码侧改进: 已开 PR #737 —— 当有效窗口 < 注册窗口(被 compress.modelContextLimit 或 codex 对齐压低)时,fail-fast 报错会明确点名是哪个设置压低了窗口及怎么改,而不是笼统的 "Raise the model context window"(那条话会把人引去改上游);顺带修了报错文本结尾的双句点(recover..)。Pre-flight:typecheck ✅ · 1430 tests pass ✅ · build ✅。

    一句话总结:根因是 compress 配置把有效窗口从 128K 压到 16K,使会话的不可压缩核心永久溢出,旧版本缺少 dead-end cooldown 又把它放大成无限循环;删掉/调大 modelContextLimit 即可立即恢复,报错信息改进见 PR #737。

  3. ranxianglei commented on Sep 14, 2026

    @ranxianglei
    OwnerAuthor

    这个是不是我们的model.dev写死的模型上下文落后了?fallback到1w了 ?是不是fallback到200k比较合理?

  4. ranxianglei commented on Sep 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷

    两个判断分开回答:

    1. 不是 fallback 到 1w —— 日志里没有任何环节是 10k。 [window] 行是 native=128000 effective=16000 fallback=false:native(注册窗口)=128K,effective(实际生效)=16K,而 16K 的唯一来源是 compress 配置里的 modelContextLimit(就是 17:52:27 Web UI 改的那次)。代码里最小的兜底是 100k(FALLBACK_EFFECTIVE_WINDOW_FLOOR,且只向上托底),不存在 1w 的 fallback。

    2. 但你的直觉对了一半:用的确实不是 models.dev 的数据,而是写死在代码里的静态表——而且这背后有个真 bug,已修。

    • 同一分钟日志里有 [acp-registry] loaded models.dev (395 models, direct):models.dev 数据当时是新鲜的(该模型条目为 262144),但 peek=none。
    • 原因:vLLM 用 org/model 风格命名(qwen/qwen3.8-27b),而 models.dev 的键是厂商 id(alibaba/qwen3.8-27b)。registry 匹配只做"精确键 + 以完整名结尾的跨厂商扫描",从不尝试去掉前缀的裸名 qwen3.8-27b → 永远查不到。
    • 更糟的是解析顺序:静态表在 registry 之前命中(/^qwen/i → 128_000),一旦命中就不再走异步 registry——所以 registry 数据再新鲜,这类部署也永远吃旧表值。这就是"写死的上下文落后了"的确切机制。
    • 修复(PR fix: resolve context windows for provider-prefixed model ids #775,issue Context-window lookup misses provider-prefixed model ids (vLLM/relay 'prefix/name') — stale static table wins over fresh models.dev data #774):两处查找(静态表 + registry)都改为先试完整名、再试裸名;已列出的带前缀 id 仍优先于裸名回退。修完后你这个场景的 [window] 行会直接变成 native=262144(registry/snapshot 直出),不再依赖旧表。Pre-flight:typecheck ✅ · 1493 tests pass ✅ · build ✅。

    3. 不建议把通用 fallback 提到 200k:

    • 对这个 case 零作用——最终生效的是 operator 的 modelContextLimit,它压在任何 fallback 之上;
    • 最后一档默认值本来就是 200k(ACP_MODEL_CONTEXT_LIMIT ?? config ?? 200000),没有可提的空间;
    • 语义上也不该提:guess 偏大时,小窗口的本地模型会先被转发一次注定 400 的请求、再由 learned-limit 自愈,每次猜错烧一个失败 turn;现有设计就是靠 learned-window 自愈处理未知窗口,方向是"宁大勿小"(偏小会永久卡死,偏大会自愈)。真正的修复是让真实数据可达(PR fix: resolve context windows for provider-prefixed model ids #775),而不是抬高瞎猜的值。

    一句话总结:不是 fallback 到 1w(16k 来自你自己的 modelContextLimit 配置),但确实存在"registry 数据查不到、永远吃旧静态表"的真 bug(vLLM 式 prefix/name 命名不匹配),已在 PR #775 修复;通用 fallback 不建议动,末档本已是 200k 且有自愈机制兜底。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions