Repository navigation
[PR] fix(preflight): price host transport fields as hop mass, not prompt mass (#7013) - #7269
zhang-ming-hui wants to merge 1 commit into
Conversation
…nglei#7013) dsh_session_log / dsh_plugin_packages ride the model request body but never reach a tokenizer; the raw walk counted them into other, so the egress window fuse refused sends whose prompt fit the window (ranxianglei#7013/ranxianglei#7189/ranxianglei#6844/ranxianglei#7099/ranxianglei#7106). Adds an evidence-permitlist HOP_ONLY_BODY_KEYS and reports hop/promptTotal on RawBodyBreakdown (total unchanged, buckets still exhaustive); measuredOutbound now prices promptTotal.
|
(ai: deepseek/deepseek-flash) Closing as a duplicate of #7092 — I missed that the batch's root fix was already in review there, and #7092's design is the better one: it prices the wire protocol's prompt keys ( For the record, what this branch independently reproduced on the released
Two operational notes, not blocking anything:
Thanks — happy to re-test the released build once #7092 lands. |
是什么问题
DSH 客户端会在模型请求体里附带网关自用的传输字段:
dsh_session_log(会话增量日志,分叉/撤回后的首包会带整份祖先日志,实测 ~8 MiB)与dsh_plugin_packages(插件清单,~14 KB)。它们和模型请求共用同一个 HTTP body,但从不进入任何 tokenizer。egress window fuse 目前把它们当 prompt 计价:
estimateRawBodyBreakdown()把所有非messages/tools/system的顶层字段归进other桶并逐叶计价,measuredOutbound()直接拿breakdown.total去和窗口比。于是「模型要读多少 token」被换成了「body 里有几 token 的字符串」,请求在本地被 413 拦下、根本没出机。实测(DSH
0.2.2-rc.3+ billion-context0.1.216,anthropic 车道):other的 1,597,576 全部来自那份dsh_session_log;真实 prompt 只有 ~240K。同一形态已上报 5 次(#7013 #7189 #6844 #7099 #7106),#7114 还记录着「pass-through vs egress strip」的 owner 待决项。根本原因
计价函数把「HTTP 体里的字符串」等同于「模型要读的 token」:
src/preflight.ts:503estimateRawBodyBreakdown():顶层 key 分桶,非messages/tools/system一律进other;NON_TEXT_BODY_KEYS只排除了 base64/URL 形状(data/url/b64_json/file_data/image_url),排不掉「整段 JSON 日志」。src/server.ts:3793measuredOutbound():return { tokens: breakdown.total, breakdown }。src/server/relay.ts:1041if (fuseRawTokens > fuseWindow):判据因此是原始体量,不是 prompt 量。如何修复
只修计价口径,不碰传输层(§7.3:不靠过滤 payload 掩盖症状;要不要把 hop 字段发出去属 #7114 的 owner 待决项,本 PR 不替它决定):
src/preflight.ts:新增HOP_ONLY_BODY_KEYS—— 证据白名单,当前只有dsh_session_log、dsh_plugin_packages两条(同 KDD release v0.1.2 #9 纪律:只按流量证据逐条收,不做dsh_前缀泛化,避免将来真正的 prompt 字段藏进来)。RawBodyBreakdown增加hop(⊆other)与promptTotal = total − hop;total语义不变,仍等于estimateRawBodyTokens(parsed),四个桶仍穷尽。src/server.ts:measuredOutbound()返回tokens: breakdown.promptTotal。fuse 与 estimate-only probe 门问的都是「上游会不会收」,该按模型真读的量算;breakdown.total仍留给日志与 breakdown 文案。src/server/relay.ts:仅在hop > 0时补一条 warn,把「测得的 X 里有 Y 是传输元数据」写进日志,省得下一个人对着other ~1.2M猜。不改任何模型可见文案(因此没有
MODEL-FACING TEXT CHANGE标记);不新增配置键;不动package.json。影响面
~N tokens与上游实际计费口径一致。messages/tools/system的计价、estimateRawBodyTokens的所有既有调用方、计数门([Bug][dsh][0.1.208] Kill switch / egress fuse only measures message.text: a session with 26,903 messages and only 1.44 M | [Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.… #5000 item 2)、字节门、core-text 兜底门。other。测试
新增
tests/egress-fuse-hop-mass.test.ts,正反两向:promptTotal扣除,total不变、四个桶仍穷尽;messages[]里不得算 hop(hop === 0、promptTotal === total)——白名单最怕的就是吞掉真正的 prompt;measuredOutbound()的 gate 值等于 prompt 量,而breakdown.total仍是原始量。既有
tests/side-request-isolation.test.ts里 #5000 的三条断言(total === estimateRawBodyTokens(body)、桶穷尽、tools 主导可判)原样通过。本机按 AGENTS.md 只跑了这两个目标文件,全量以 CI 为准。配置面
无新增、无变更配置键。
风险
低:纯计价口径收窄,白名单只有两个有流量证据的字段,
total未改。剩余风险是「将来再出现新的 host 传输字段」——按证据纪律逐条追加即可;反过来放开前缀匹配才会把真正的 prompt 字段藏进白名单,那是更大的风险。Fixes #7013
Fixes #7189
Fixes #6844
Fixes #7099
Refs #7106 #7114