Skip to content

[Bug][threads lane] reforge summary side-call always 404s: executeThreadsReforge receives the upstream origin instead of /v1/messages, compression never completes (0.1.198) | [Bug][threads lane] reforge 摘要 side-call 恒 404:executeThreadsReforge 收到的是上游 origin 而非 /v1/messages,压缩从未完成(0.1.198) #3569

Closed

Description

@Pasitearko

TL;DR

threads lane 的 reforge(#2926 / #3332,0.1.198)在真实环境下从来没有完成过一次:摘要 side-call 每次都返回 HTTP 404,然后 fail-open 原样转发 continue。原因是 executeThreadsReforge() 拿到的 upstreamUrl 只是上游 origin(https://api.anthropic.com),没有 /v1/messages,所以 POST 打在了根路径上。

现象(opt-in 后的真实 Claude Desktop 会话)

在 8787 daemon 上设了 BILI_ROLLOUT_ANTHROPIC_THREADS_REFORGE=1:

[rollout] install 3d77a462 — anthropicThreadsReforge=on(env, 9421/10000 vs 0bp), …

capture 正常:mirror 里该会话有 380 条 entries(threads:mirror:meta / chunk:0000),估算超过默认窗口 200000 后,plan 也正常 arm 了。但之后每个 continue 都是:

12:28:44.469 [warn] [threads] summary side-call failed (HTTP 404) — forwarding continue unchanged (#2926)
12:28:44.470 [info] request: 2 msgs, inbound=59.7KiB, outbound=59.7KiB, local=407ms
12:28:49.156 [warn] [threads] summary side-call failed (HTTP 404) — forwarding continue unchanged (#2926)
12:28:49.157 [info] request: 2 msgs, inbound=1.4KiB, outbound=1.4KiB, local=401ms
12:28:56.373 [warn] [threads] summary side-call failed (HTTP 404) — …
12:29:05.611 [warn] [threads] summary side-call failed (HTTP 404) — …
12:29:14.665 [warn] [threads] summary side-call failed (HTTP 404) — …
…(关掉 opt-in 前共 7 次,0 次成功)

mirror 的 foldedBefore 一直是 0,没有 foldedSummary,日志里也没有出现过 [threads] reforge: continue swapped for a fresh create。

副作用:只要会话超过窗口,每轮都会白上传一份摘要请求(transcript 上限 400 KB),多出约 0.4s 的本地延迟(local=12ms → local≈400ms),换回一个 404。因为 fail-open,对话本身不受影响。

根因

src/server/handle.ts(0.1.198,b10c52576d):

const outcome = await executeThreadsReforge(
    prepared.threadsReforge, session, req,
    (route0?.upstream ?? opts.upstream ?? "") || "",     // ← origin, not the endpoint
    …

同一文件里 route.upstream 本来就是按 origin 用的,例如 upstreamOrigin = route ? route.upstream : … new URL(url).origin : opts.upstream。

src/server/threads-lane.ts:

const resp = await fetch(upstreamUrl, { method: "POST", headers, body: JSON.stringify(summaryReq), … });
if (!resp.ok) { log("warn", `… summary side-call failed (HTTP ${resp.status}) …`); return { ok: false }; }

对照验证(同一网络出口,不带认证):

POST https://api.anthropic.com/             → 404   ← 与日志一致
POST https://api.anthropic.com/v1/messages  → 401

所以 404 是路径错了,不是认证或模型的问题。#3332 的测试用的是 fake upstream,大概率不校验路径,所以没拦住。

建议(供参考)

  • 摘要请求的 URL 用实际转发的那个 endpoint(客户端请求的 /v1/messages 路径,含 query,例如 CC 常带的 ?beta=true),或者显式 new URL("/v1/messages", origin)。
  • side-call 失败时日志带上 URL 的 path 和响应体的 error.type,这样以后一眼就能看出是路径、认证还是限流问题。
  • 同一会话连续失败时可以退避一下,不要每个 continue 都重新上传一遍 transcript。
  • 测试里给 fake upstream 加路径断言,让摘要请求必须打到 /v1/messages。

本地环境

  • billion-context: 0.1.198(b10c5257),npm 全局安装(Windows %APPDATA%\npm),Node v24.20.0
  • 接入方式: cert-MITM。常驻 daemon bili start --port 8787 --host 127.0.0.1(登录自启),Claude Code 侧在 ~/.claude/settings.json 的 env 里设 HTTPS_PROXY=http://127.0.0.1:8787 + NODE_EXTRA_CA_CERTS=<bili root CA>,未装 native lane
  • 客户端: Claude Desktop 2.42304.0(Windows MSIX),内嵌 Claude Code 2.1.299,模型 claude-opus-5-5,订阅 OAuth 登录,Threads(create/continue)由 CC 自动使用
  • OS: Windows 11 Pro 10.0.22631
  • bili 配置要点:
    • providers["mitm://api.anthropic.com"] / ["https://api.anthropic.com"] 设 compress.modelContextLimit=1000000、maxContextLimit="50%";未设顶层 modelContextLimit,所以 threads lane 的窗口取默认 200000(prepare-anthropic.ts 读的是 opts.modelContextLimit,不是 provider 级的值。这一点不确定是不是有意的,顺带提一下)
    • upstreamProxy manual(本地 HTTP 代理)
    • storage.unified 未设(默认 shadow,mirror 可用)
    • autoUpdate / autoRestartOnUpdate 都开着(0.1.196 起自动重启正常,感谢 fix: destroy lingering tunnel sockets on self-restart force-close (#2895) #2945)
  • opt-in 方式: 只在 8787 daemon 进程环境里设 BILI_ROLLOUT_ANTHROPIC_THREADS_REFORGE=1。复现后已经关掉,等修复后再开启复测。

相关:#2926、#3332、#2884、#2701

Activity

  1. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    (ai: zhipuai-lb/glm-5.3)

    代码级验证:报告的机制属实,修法同意报告人方向。

    一句话:threads 折叠前的总结小呼叫打错了网址——它把请求 POST 到了上游「域名根」(如 https://api.anthropic.com),而不是聊天接口 /v1/messages,所以永远 404,折叠永远失败,每次 continue 都原样转发白烧。

    代码链:

    • src/server/handle.ts:2327 把 (route0?.upstream ?? opts.upstream ?? "") 传给 executeThreadsReforge——这里的 upstream 是「域名基址」语义(主转发路径会用它再拼上 /v1/messages 路径);
    • src/server/threads-lane.ts:377 拿到后直接 fetch(upstreamUrl),整个文件没有任何路径拼接(grep '/v1/messages' src/server/threads-lane.ts 零命中)→ 实际 POST 到了根路径 → 404;
    • 404 走 ok:false → 「forwarding continue unchanged」fail-open,于是症状变成:每个 continue 白传整个 transcript + 0.4s 延迟,mirror 的 foldedBefore 永远是 0。

    为什么测试没拦住:#3332 的测试用 fake upstream,不校验请求路径,fake 对根路径 POST 一样答 200。

    修复方向(按报告人建议合并审查 G 的相邻发现):

    1. 用完整端点:new URL("/v1/messages", upstreamBase)(需按 provider 形态拼对路径);
    2. 该 fetch 目前还绕过了代理派发器(审查 G P1:主路径走 proxyDispatcher(plan.proxyUrl),threads-lane.ts:377 是裸 fetch)——配了强制代理的部署会同样超时,一并接上 dispatcher;
    3. 日志带上实际 URL path 和 error.type;连续失败加退避;
    4. 测试加「请求必须落在 /v1/messages 路径」断言。
  2. changed the title [-][Bug][threads lane] reforge 摘要 side-call 恒 404:executeThreadsReforge 收到的是上游 origin 而非 /v1/messages,压缩从未完成(0.1.198)[/-] [+][Bug][threads lane] reforge summary side-call always 404s: executeThreadsReforge receives the upstream origin instead of /v1/messages, compression never completes (0.1.198) | [Bug][threads lane] reforge 摘要 side-call 恒 404:executeThreadsReforge 收到的是上游 origin 而非 /v1/messages,压缩从未完成(0.1.198)[/+] on Oct 17, 2026
  3. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。按「threads reforge 404」「summary side-call failed」「executeThreadsReforge upstream origin」检索 open+closed issue/PR,无同症状同机制条目。关联:#3517(v0.1.198 P1 跟进)已并入 #3516;其中「threads-lane 裸 fetch 绕过代理 dispatcher」(#3516 条目 4④,开闸前必修)与本 bug 同一处代码、同一次修复,已在本 PR 一并解决。

    修复完成 → PR #3579:#3579 #3569)

    代码级核实了报告的机制(handle.ts 把 origin 语义的 route.upstream 直接传给 executeThreadsReforge,后者原样 fetch、全文件无路径拼接),并复现了测试盲区(#3332 的 fake upstream 对任意路径都答 200)。修法按报告人建议四条全部落地:

    1. 端点修正:side-call 目标改由 buildForwardTarget(req, opts, route) 派生——与主转发同一个函数,命中的就是客户端实际请求的完整端点(含 path/query,如 /v1/messages?beta=true),比手拼 new URL("/v1/messages", base) 更稳(不用猜 provider 形态);
    2. 代理接入(v0.1.198 release blockers found in final pre-release review | v0.1.198 发版前终审发现的阻塞项清单 #3516 条目 4④):从裸 fetch 改为 fetchWithTimeout + proxyDispatcher,与主转发同一代理决策——强制代理部署不再每回合卡这个调用;
    3. 日志增强 + 退避:失败日志带响应体 error.type/error.message 与实际 URL path(只打路径不打 host,守脱敏纪律);连续失败退避——任一 side-call 失败后该会话 10 分钟内不再重试(期间 continue 照常 fail-open 转发,成功后清除),坏会话不再每回合白传整个 transcript;
    4. 测试网:fake upstream 现在记录请求路径,reforge 测试断言 side-call 必须落在 /v1/messages(这条断言对原始 bug 直接红),另加一条冷却行为测试。定向测试 14/14 绿 + typecheck 干净,全量交给 CI。

    行为变更披露(旧值 → 新值):

    • side-call URL:裸域名根 → 含 path/query 的完整端点(根因修复,此前恒 404);
    • side-call 出口:裸 fetch(不过代理)→ 与主转发相同的代理 dispatcher;
    • side-call 超时语义:硬 120s 总超时 → 120s 空闲看门狗(按 chunk 重挂,对齐仓库所有出站调用 上游长时间 prefill(首 token 前无输出)被 undici 默认 bodyTimeout=300s 掐断,UPSTREAM_TIMEOUT_MS=10min 配置形同虚设,大上下文请求必超时 #551;非流式 JSON 应答下实际等效);
    • side-call 重定向策略:隐式跟随 → manual(3xx 落入 fail-open 分支,与主 relay 一致);
    • 失败日志格式:增加 error.type/error.message + URL path(纯诊断增强);
    • 新增每会话 10 分钟重试冷却(内部常量,未暴露为配置)。
      客户端可见 wire 不变(lane 保持字节忠实直通 + fail-open);无新增配置/env;kernel 未动。

    结构化八问:

    1. 是什么问题:threads 折叠前的总结小呼叫错了地址——POST 到上游域名根而不是聊天端点 /v1/messages,恒 404,折叠从未完成,每个 continue 原样白传整个 transcript。
    2. 什么原因导致的:handle.ts 把「域名基址」语义的 route.upstream 直接交给 executeThreadsReforge,它原样 fetch 且文件内无任何路径拼接;测试 fake 对任意路径都答 200,所以没拦住。
    3. 影响范围与严重程度:仅影响开了 BILI_ROLLOUT_ANTHROPIC_THREADS_REFORGE=1(默认关)且镜像超窗的用户面;该条件下折叠功能完全不可用(不崩溃,但永久 fail-open + 每回合带宽/延迟浪费)。
    4. 怎么修复的:side-call 目标改由主转发同款函数派生(端点 + 代理决策完全一致),出口统一走仓库标准 fetchWithTimeout 契约;失败加每会话退避;日志补诊断信息;测试补路径断言。
    5. 是否有回归问题:触碰路径的既有行为逐项过——create/continue 字节忠实直通、fail-open 姿态、镜像捕获、fold 点记录、预算计算、rollout 门控,原有测试全数覆盖且通过(14/14);超时总时长→空闲、重定向跟随→manual 两处语义漂移是有意对齐仓库其它出站调用,已在上表披露。
    6. 是否破坏缓存:不涉及——不动 prompt cache/前缀缓存、重试游标、去重键;新增冷却状态是进程内 Map,重启即清,不影响持久化。
    7. 是否改了设计方向:不涉及——lane 架构(mirror/budget/reforge、fail-open)不变,只修正内部 side-call 的出口细节。
    8. 是否引入了新的配置:无——冷却 10 分钟是内部常量 SUMMARY_RETRY_COOLDOWN_MS,刻意不暴露为配置。

    另有一项请 owner 拍板(issue 里顺带提到,本次未动):threads 预算窗口读的是顶层 opts.modelContextLimit(src/server/prepare-anthropic.ts:107),而 anthropic prepare 其余部分用 route-resolved 的值——所以报告人配的 provider 级 compress.modelContextLimit=1000000 到不了 threads lane,窗口落回默认 200000。这会改变 reforge 触发阈值,且不确定是否有意的,本 PR 没碰。若确认应读 route-resolved 值,我可以提一个小的 follow-up PR(或先单开 issue)。

    结论:机制属实、修复完成、PR #3579 待 CI 绿 + 人工合并。报告人合并后开启 flag 验证即可:超窗 continue 应出现 reforge: continue swapped for a fresh create 日志,mirror 的 foldedBefore 开始推进。

  4. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    CI 状态更新(PR #3579):30 条 lane 里 29 条绿(含全部 test shard 的 ubuntu/windows×node24、static-gates、gate、lane-guard、config-surface-guard 等),唯一红的是 test (windows-latest, 22, 2)——排查结论:与本 PR 无关的既有测试假红,不是本修复引入的回归。

    证据链:

    1. 挂掉的测试是 tests/wire-exit-gap-cells.test.ts 的 gap 3(preflight 提前 commit 时序断言),断言失败信息为 headers arrived before summarization finished (6259ms vs 6259ms)——两个时间戳完全相等,零容差的严格 < 落空。该文件不在本 PR diff 内;本 PR 的 handle.ts 改动位于 prepared.threadsReforge !== undefined 分支内,该测试不设 threads rollout env、路由形态也不会 arm threadsReforge,无因果链。
    2. 机制:该测试在同进程内起 mock upstream + proxy + 客户端,时间戳记在回调执行时刻而非事件发生时刻;加载的 runner 饿死事件循环数秒后,积压的 timer 回调与 socket 事件在同一毫秒簇背靠背执行 → 平局 → 假红。行为本身正确,丢的是测量精度。wire-exit-matrix 的墙钟时序断言在 CI Windows runner 上偶发误报,挡合并 #3228 曾把绝对墙钟上限改成相对序不变式治同类假红,但毫秒分辨率下相对序仍会坍缩成平局。
    3. 本地复现了同文件的兄弟单元:4 核机器压满 24 个 busy-loop 连跑 10 次,gap 5 在第 10 次假红(timed out waiting for round 0,其 waitFor(cond, 4000) 墙钟预算在饥饿下观测不到条件成立),其余全绿。gap 3 / gap 5 同属一个失效域:墙钟/毫秒粒度假设在事件循环饥饿下不成立。

    处置:该 flake 家族已单独立项 #3583(带来源标记,含机制分析与建议修法:gap 3 改 proxy 侧 commit 时刻观测、gap 5 加大/自适应等待预算),不塞进本 PR。

    一个操作请求:这个环境的凭据没有 Actions 写权限,我无法触发 re-run。请 owner 点一下 "Re-run failed jobs"(run 链接:https://github.com/ranxianglei/billion-context/actions/runs/39035607972/job/117404718718)。预期转绿后即可合并;若重跑仍挂在同一断言,请告诉我,我再深挖(那将推翻「饥饿平局」假设,按真回归处理)。

  5. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    补充核查(继上一条 CI 排查之后):

    1. master 自身健康:master 的定时 CI(run 39038363825)于 14:02 UTC 全绿——排除「master 红风暴」,本 PR 那条红 lane 不是 master 回归;
    2. 排除干扰项:同期另一 PR(opaque-media-reserve)有 3 个 test shard 红,但挂的是另一个测试(codex-compact-e2e.test.ts 的 side_request_payload_too_large 413 断言,确定性失败、属该 PR 自己的 diff),与本 PR 无关,不并入 wire-exit-gap-cells.test.ts timing asserts produce false CI reds on loaded runners (gap 3 header-tie, gap 5 waitFor timeout) #3583;
    3. 结论维持不变:本 PR 唯一红 lane(test (windows-latest, 22, 2))= wire-exit-gap-cells.test.ts gap 3 的毫秒平局假红(6259ms vs 6259ms,加载 runner 事件循环饥饿所致),flake 家族已立项 [wire-exit-gap-cells.test.ts timing asserts produce false CI reds on loaded runners (gap 3 header-tie, gap 5 waitFor timeout) #3583]。

    待办仍是一个动作:请点一下 Re-run failed jobs(https://github.com/ranxianglei/billion-context/actions/runs/39035607972/job/117404718718)——这个环境的凭据没有 Actions 写权限,我无法代触发。预期转绿后即可合并;若重跑仍挂在同一断言,告诉我,我按真回归(preflight commit 迟到)重新深挖。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions