Skip to content

修复:会话粘性写入收成唯一出口 + 失效日志(issue #2) - #4

Open
xrj-dsh-agent wants to merge 1 commit into
mainfrom
agent/fix-sticky-routing-0c9e9cb8d18c
Open

xrj-dsh-agent wants to merge 1 commit into
mainfrom
agent/fix-sticky-routing-0c9e9cb8d18c

Conversation

@xrj-dsh-agent

@xrj-dsh-agent xrj-dsh-agent commented Nov 3, 2026 •

Copy link
Copy Markdown
Collaborator

This is by an automated agent, not a human.

修复 issue #2(上游 aimod-cc#443):routingSticky = session 不生效、route.stickyHit 恒为 false、会话映射从未记录。

根因

粘性有两个半边,任何一侧漏掉都不会报错 —— 请求照样成功、账号照样轮换,只有 requests.route.stickyHit 悄悄一直是 false:

  1. 写入侧:绑定发生在「转发成功」的出口,而出口不止一个。v3.0.8 的 attempt_custom 成功分支里没有 sticky_bind(内置家与会话式路径有),所以经自定义提供商转发的会话从来不粘 —— 与 issue 里「写入或查找至少一侧是死代码」的受控实验结论一致(order 策略下账号本来就固定,stickyHit 仍恒为 false)。
  2. 失效侧:绑定被换账号 / 过期 / 淘汰 / 清空时,logs 表里没有任何记录,所以「根本没写」和「写了但每次都被淘汰」在外部看起来完全一样。

选用的会话键

RouteState::conversation_key,显式标识优先、内容哈希兜底(顺序即优先级,端点无关):

  1. 头 AH-Thread-Id(AxonHub 会话级;AH-Trace-Id 是单条消息级,刻意不用)
  2. 头 X-Opencode-Session → X-Session-Id → X-Session-Affinity →(不带 x- 的 Opencode-Session / Session-Affinity)
  3. body prompt_cache_key(经翻译网关接入时唯一能拿到的那条)
  4. body metadata.user_id(Claude Code 的 v2 JSON / legacy 形态)
  5. 头 Session_id / Session-Id,或 X-Codex-Turn-Metadata 里的 session_id
  6. 都没有 → 「模型 + 首条用户消息(截断 4KB)」的进程内哈希

显式标识有 256 字符长度闸;超限按内容哈希处理(来源标签也随之如实报 content-hash)。

写入与查找路径

  • 写入:attempt_queue 的三条成功出口(内置无状态 / 会话式 / 自定义)→ 唯一 remember_session → StickySessions::bind。键 = SHA-256(模型小写 + "\0" + 会话键),值 = 账号 id + 来源标签 + 时间。空会话键、TTL 为 0(off / turn 档)、清除代次变化都在 bind 里判,调用方不再各写一份闸门。
  • 查找:select_target_account → snapshot_for_model(conv_key, 请求模型, now, TTL) → plan_route 把命中账号置顶并置 stickyHit=true(账号不可用时如实报 false 并让位,行为未改)。
  • order / rotate / 家内轮询三条策略的选择行为未改动:粘性只影响「置顶哪一个」,不改变策略排序本身。

本次改动

  1. 修复:自定义家成功分支漏写粘性 —— 三条路径收成一个出口,新增转发路径不会再漏。
  2. 修复:/api/routing/sticky 列表按「查询档位」淘汰绑定(切到 auto 看一眼会把 6 小时档的绑定全清掉)→ 改为按每条绑定自己的 TTL 清理;选路查找同理 —— 当前档位更短时只是「本轮不沿用」,不再顺手删掉别人写下的绑定,读取与短档位都没有破坏性副作用。
  3. 新增:失效/变化日志(落 logs 表):account-switch、identity-changed、evicted-ttl、evicted-capacity、cleared、skipped-empty-key(会话键为空,每进程提示一次)、skipped-stale-generation。
  4. 优化:会话键提取链与来源标签同源(此前是两份名单,正是「一侧漏键就静默失效」的形态);补不带 x- 前缀的两个写法;请求日志的路由快照新增 stickySource,直接看出这次会话键来自哪个字段(只记标签,不记原始键值)。
  5. 测试:绑定→查找闭环、TTL 过期、列表读取不淘汰、来源标签一致性、选路层「第二条同会话请求命中并置顶」。

已变基到最新 main(bc18bb2,含 upstream aimod-cc#434 / aimod-cc#449 摘樱桃):RequestQuery 与 send_with_retry 的签名漂移由 main 自己带齐,CodeArts 用例保留 main 的插件投影版本,本 PR 只保留粘性相关的 4 个文件改动。

验证

cd desktop-tauri/src-tauri
cargo test -p agent2api-server --lib      # 310 passed; 0 failed(变基到 main bc18bb2 后重跑)

手工复现(同一会话键连发两条完全相同的请求):

KEY=sk-...; MODEL=<已路由的模型>
for i in 1 2; do
  curl -s http://127.0.0.1:3065/v1/chat/completions \
    -H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
    -H 'X-Session-Id: demo-session-1' \
    -d "{\"model\":\"$MODEL\",\"messages\":[{\"role\":\"user\",\"content\":\"reply ok\"}],\"stream\":false}" >/dev/null
done
sqlite3 ~/.agent2api/agent2api.db \
  "SELECT json_extract(route,'$.stickyHit'), json_extract(route,'$.stickySource'), json_extract(route,'$.picked') FROM requests ORDER BY ts DESC LIMIT 2;"

预期:第 2 行 stickyHit=1、stickySource='X-Session-Id'、picked 与第 1 行相同;GET /api/routing/sticky 能看到该绑定的 keyPreview / hits / source。改用不带显式标识的请求时,stickySource='content-hash' 且背靠背两条同样命中。

影响面与限制

  • 粘性表仍是进程内存(重启清零),与改动前一致;本次没有改成持久化。
  • stickyHit 的既有语义未改:只有「查到绑定 且 该账号本轮可用并被置顶」才为 true;账号禁用 / 冷却 / 熔断时仍报 false(会记 account-switch 说明换到了谁)。
  • 本次不改界面代码,无视觉差异;新增的只是日志与请求日志里的 stickySource 字段。
  • 变基后的差异面:4 个文件、+503 / −70(pipeline.rs 不再在差异里 —— main 已有同一处修复)。

🤖 本条回复由 AI Agent 生成
Generated by an AI agent.

@xrj-dsh-agent
xrj-dsh-agent force-pushed the agent/fix-sticky-routing-0c9e9cb8d18c branch 2 times, most recently from 23df757 to 83f1378 Compare November 3, 2026 12:31
@xrj-dsh-agent
xrj-dsh-agent force-pushed the agent/fix-sticky-routing-0c9e9cb8d18c branch 2 times, most recently from c85bb59 to 17463fa Compare November 3, 2026 14:25
@xiarunjie xiarunjie closed this Nov 3, 2026
@xiarunjie xiarunjie reopened this Nov 3, 2026
1. 修复:自定义提供商成功分支漏写会话粘性 —— 内置 / 会话式 / 自定义三条成功
   路径收成一个 remember_session 出口,空键、TTL 档位、清除代次等判据下沉到
   StickySessions::bind,新增转发路径不会再因为「忘了调 sticky_bind」而静默
   不粘。
2. 修复:会话粘滞列表按查询档位淘汰绑定 —— 打开一次管理页(auto 5 分钟档)
   会把 6 小时档的绑定一起清掉;改为按每条绑定自己的 TTL 清理,读取不再有
   副作用(查找只判不删,也不再改写写下时的 TTL)。
3. 新增:粘性失效/变化日志(logs 表)—— account-switch、identity-changed、
   evicted-ttl、evicted-capacity、cleared、skipped-empty-key(每进程一次)、
   skipped-stale-generation。
4. 优化:会话键提取链与来源标签同源(不再两份名单),补不带 x- 前缀的
   opencode-session / session-affinity;请求日志的路由快照新增 stickySource,
   直接看出这次会话键来自哪个字段。
5. 测试:绑定→查找闭环、TTL 过期、列表读取不淘汰、来源标签一致性、选路层
   「同会话第二条请求命中并置顶」。
@xrj-dsh-agent
xrj-dsh-agent force-pushed the agent/fix-sticky-routing-0c9e9cb8d18c branch from 17463fa to afd9056 Compare November 3, 2026 15:07
@xiarunjie xiarunjie closed this Nov 3, 2026
@xiarunjie xiarunjie reopened this Nov 3, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants