日志稍后 --- _Mirrored from ework issue #736_ <!-- ework-mirror -->
Activity
ranxianglei commentedon Sep 12, 2026
bili (8).log
ranxianglei commentedon Sep 13, 2026
[bot] 🏷
结论:不是上游服务的问题——卡住你的是 bili 自己的有效窗口被设成了 16000,而你的本地服务实际容量远大于 16k。
证据(全部出自这份日志):
[window] model=qwen/qwen3.8-27b source=table-or-registry native=128000 effective=16000—— 注册表记录该模型为 128K,bili 实际却按 16000 在跑。ref=82022:代理重启前,同一会话的一轮请求被上游报告了 82022 个输入 token;另外 18:19:50 另一个会话被上游计费input=16589。本地服务明显能接受远超 16K 的输入。[acp-web] configuration updated (compress)—— 出事前几分钟刚在 Web UI 改过 compress 配置。代码里能把 effective 从 128000 压到 16000 的唯一路径是compress.modelContextLimit(global / provider / model 任一层级,绝对值或百分比)。为什么无限循环:
summary too short (0 chars)即此)。这部分 master 已修复(PR fix: recover preflight from empty SSE summaries + dead-end cooldown (#726) #727:零进展失败进入 5 分钟冷却、相同请求直接快速失败且零上游调用;空摘要诊断 + 半尺寸重试),会随下个版本发布。立即解决(无需等发版):
在 Web UI 的 compress 配置(就是 17:52:27 改动的那处)或对应配置文件中,删除或调大
modelContextLimit。如果当时是以为模型窗口只有 16k 才设的,直接把该字段删掉即可——bili 会用注册表的 128K。配置热加载,不用重启 bili,卡死的会话下一次请求就会恢复(或者直接重启那个会话)。代码侧改进: 已开 PR #737 —— 当有效窗口 < 注册窗口(被
compress.modelContextLimit或 codex 对齐压低)时,fail-fast 报错会明确点名是哪个设置压低了窗口及怎么改,而不是笼统的 "Raise the model context window"(那条话会把人引去改上游);顺带修了报错文本结尾的双句点(recover..)。Pre-flight:typecheck ✅ · 1430 tests pass ✅ · build ✅。一句话总结:根因是 compress 配置把有效窗口从 128K 压到 16K,使会话的不可压缩核心永久溢出,旧版本缺少 dead-end cooldown 又把它放大成无限循环;删掉/调大
modelContextLimit即可立即恢复,报错信息改进见 PR #737。fix: gate preflight shrink note on windowShrinkReason, not raw window…
ranxianglei commentedon Sep 14, 2026
这个是不是我们的model.dev写死的模型上下文落后了?fallback到1w了 ?是不是fallback到200k比较合理?
ranxianglei commentedon Sep 14, 2026
[bot] 🏷
两个判断分开回答:
1. 不是 fallback 到 1w —— 日志里没有任何环节是 10k。
[window]行是native=128000 effective=16000 fallback=false:native(注册窗口)=128K,effective(实际生效)=16K,而 16K 的唯一来源是 compress 配置里的modelContextLimit(就是 17:52:27 Web UI 改的那次)。代码里最小的兜底是 100k(FALLBACK_EFFECTIVE_WINDOW_FLOOR,且只向上托底),不存在 1w 的 fallback。2. 但你的直觉对了一半:用的确实不是 models.dev 的数据,而是写死在代码里的静态表——而且这背后有个真 bug,已修。
[acp-registry] loaded models.dev (395 models, direct):models.dev 数据当时是新鲜的(该模型条目为 262144),但peek=none。org/model风格命名(qwen/qwen3.8-27b),而 models.dev 的键是厂商 id(alibaba/qwen3.8-27b)。registry 匹配只做"精确键 + 以完整名结尾的跨厂商扫描",从不尝试去掉前缀的裸名qwen3.8-27b→ 永远查不到。/^qwen/i → 128_000),一旦命中就不再走异步 registry——所以 registry 数据再新鲜,这类部署也永远吃旧表值。这就是"写死的上下文落后了"的确切机制。[window]行会直接变成native=262144(registry/snapshot 直出),不再依赖旧表。Pre-flight:typecheck ✅ · 1493 tests pass ✅ · build ✅。3. 不建议把通用 fallback 提到 200k:
modelContextLimit,它压在任何 fallback 之上;ACP_MODEL_CONTEXT_LIMIT ?? config ?? 200000),没有可提的空间;一句话总结:不是 fallback 到 1w(16k 来自你自己的
modelContextLimit配置),但确实存在"registry 数据查不到、永远吃旧静态表"的真 bug(vLLM 式prefix/name命名不匹配),已在 PR #775 修复;通用 fallback 不建议动,末档本已是 200k 且有自愈机制兜底。fix: resolve context windows for provider-prefixed model ids
fix: gate preflight shrink note on windowShrinkReason, not raw window…
fix: resolve the context window for namespace-prefixed model ids
test: re-pin the remaining deterministic-exhaustion contracts after t…