Skip to content

粘性绑定只认 body metadata.conversation_id、不读任何请求头——Claude Code/Codex 经代理接入时无粘性,上游 prefix cache 失效 #150

Closed

Description

@ranxianglei

(ai: vllm-qwen/qwen3.8-27b)

来源:与 billion-context 的兼容性分析(ranxianglei/billion-context#5193 )分析缓存行为时发现。经 billion-context owner 同意提交。

现象:客户端(Claude Code、Codex 等)经本地透明代理接入本网关时,账号粘性完全不生效——每请求都在 Top-5 短名单里加权抽签,可能每轮换一个厂商账号;各厂商账号各有独立的 prefix KV cache,跨轮缓存命中≈0,成本接近翻倍。而 Cursor/Cline 等直写 body 字段的客户端不受影响。

机制(读自本仓源码):

  • 粘性键是 region|model|session_key(sticky_key()),其中 session_key 只来自 conversation_id_of(body) 读取的 metadata.conversation_id / metadata.conversationId——这是 Cursor/Cline/Continue/Cherry Studio 写的非标准 OpenAI body 扩展;
  • 三条路由提取方式一致(routes/chat.rs、routes/messages.rs、routes/responses.rs 都调 conversation_id_of(&parsed)),没有任何请求头回退;
  • Claude Code 发的是 x-claude-code-session-id 请求头 + body metadata.user_id;Codex(Responses wire)把会话 id 放在 body session_id——都不被识别 → 无粘性键 → 跳过粘性走每请求抽签。

建议修法:给 session_key 提取加一个请求头回退——body 里没有 conversation_id 时,接受 x-session-id(或 x-claude-code-session-id)这类身份头。理由:第三方代理(如 billion-context)已经会在出站请求上盖稳定的每会话 x-session-id 头,加回退后这类客户端零改动自动获得粘性;也和现有 X-Conversation-ID「入站透传优先」的设计取向一致。

影响范围:仅「经代理接入本网关」的用户;直连客户端不受影响。是否采纳由 maintainer 决定,若认为超出范围可直接关闭。

Activity

  1. NextAgentX commented on Nov 2, 2026

    @NextAgentX
    Owner

    已在 main 修复(4b2d321):新增 session_headers::session_key_of(body, headers) 作为唯一取键入口 —— body metadata.conversation_id → body session_id(顶层 / metadata)→ 入站头 x-claude-code-session-id / x-session-id / x-conversation-id;chat / messages / responses 三处路由复用同一变量,并消掉原来的二次重算。刻意不读 metadata.user_id(用户维度做粘性等于关掉负载均衡)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions