Skip to content

feat(llm): 声明碎碎念与陪聊的调用性质,避免会话列表被刷屏 - #391

Open
Centauria wants to merge 1 commit into
PC2005-cloud:mainfrom
Centauria:feat/llm-purpose
Open

Centauria wants to merge 1 commit into
PC2005-cloud:mainfrom
Centauria:feat/llm-purpose

Conversation

@Centauria

Copy link
Copy Markdown

问题

碎碎念(whisper)每 whisper 秒(默认 300)调一次模型,陪聊同理。两处调用都只带 sessionId: 'dsh-pet',不声明这次调用是什么性质。

在装了 billion-context 的 DSH 里,代理只能按内容猜:它对 dsh 插件流量按 system 指纹分车道,而碎碎念的 system 由 composeSystemPrompt 拼入实时时间(timeContextOf() 现算、不缓存),指纹每次都变,于是每条碎碎念都派生出一条 dsh-pet|sub:<fp> 独立会话。

实测(billion-context 0.1.216,DSH 0.2.2-rc.1):

total 1148
dsh-pet|sub:<16hex>   956   ← 每条只有 1 个请求,title 都是「随便说一句日常碎碎念…」
dsh-pet                 1
<job> 后台任务会话      76
其它正常会话          ~115

会话列表按 lastSeen 倒序,5 分钟一条的碎碎念把正常会话逐页挤到后面。

改动

src/host/llm-call.ts 新增两个常量,whisper.ts / chat.ts 把 dsh-llm 的 GenerateOptions.purpose 一起传下去:

 export const PET_CALL_IDENTITY = 'dsh-pet';
+
+/** 碎碎念的调用性质(dsh-llm `GenerateOptions.purpose`):辅助调用,不是对话。 */
+export const PET_WHISPER_PURPOSE = 'pet-whisper';
+/** 陪聊的调用性质:同样是辅助调用,不占会话车道。 */
+export const PET_CHAT_PURPOSE = 'pet-chat';
   // 调用身份(见 llm-call.ts):缺它时 opencode-go 回 400
   sessionId: PET_CALL_IDENTITY,
+  // 调用性质(见 llm-call.ts):声明为辅助调用,代理据此不再按 system 指纹另开会话
+  purpose: PET_WHISPER_PURPOSE,

为什么用 purpose 而不是改 prompt / 改 sessionId

  • purpose 就是 dsh-llm 为辅助调用准备的原生字段(GenerateOptions.purpose,注释原文:Provider-neutral classification for an auxiliary model call. Ordinary conversation requests leave it unset.),dsh 自己的 session-title、compaction、auto-review 都是这么声明的。
  • billion-context 在 #6880 之后按声明路由:isSideRequest() 里 purpose 非空即判为 side,短路 persona 指纹那条分车道分支,会话 id 回到请求头里的 dsh-pet;实现 PR #6883 已合并(0.1.216 起)。顺手的好处:purpose 也不再参与压缩守卫的文本匹配。
  • sessionId 保持不变:它是调用身份(注释里写了,缺它时 opencode-go 回 400),不是「会话」语义;这里缺的是调用性质。
  • 对不用 billion-context 的部署无影响:dsh-llm 运行时不做 purpose 校验(0.2.2-rc.1 里零处引用),纯透传;不认识该字段的代理直接忽略这个多出来的属性。

验证

  • pnpm run typecheck、eslint、prettier --check、pnpm test(2750 通过)本地全绿。
  • 新增 src/host/llm-call.test.ts,钉住约束:两个声明值必须能原样进请求头(可打印 ASCII、长度 ≤64),互不相同,且都不等于代理保留值 conversation(等值会被丢弃,分车道问题静默复发)。
  • 端到端验证要重启宿主才能生效,我这边合并后会按下面这条自查,也欢迎你在你的部署上验:
curl -s http://<bili-host>:3080/__bili/sessions \
  | jq -r '.sessions[] | select(.id|startswith("dsh-pet")) | "\(.id)\t\(.requests)"'

预期:只剩一条 dsh-pet,requests 随时间递增,不再出现新的 |sub: 记录。存量记录不会被清理(代理没有删除路由),但停止增长后它们会自然沉底。

关联

- 根因:两处 `llm.stream` 只带 `sessionId: 'dsh-pet'`,不带调用性质。代理只能按内容猜——billion-context
  对 dsh 插件流量按 system 指纹分车道,而碎碎念的 system 含实时时间(`timeContextOf()` 现算),
  指纹每条都变,于是每条碎碎念派生一条 `dsh-pet|sub:<fp>` 会话;实测 1148 条会话里 956 条是这种 1 请求记录。
- 实现:`llm-call.ts` 新增 `PET_WHISPER_PURPOSE` / `PET_CHAT_PURPOSE`,两处调用把 dsh-llm 的
  `GenerateOptions.purpose` 一起传下去。代理据此走 side 车道并归并到调用身份(billion-context #6880 / #6883)。
- 行为变化:只多一个透传字段。dsh-llm 运行时不做 purpose 校验(纯透传),不认识该字段的代理直接忽略,
  不使用 billion-context 的部署无变化;`sessionId` 保持不变(缺它时 opencode-go 回 400)。
- 测试:新增 `src/host/llm-call.test.ts`,钉住声明值必须能进请求头(可打印 ASCII、≤64)且不等于代理保留值
  `conversation`(等值会被丢弃,问题静默复发)。
- 涉及文件:`src/host/llm-call.ts`、`src/host/whisper.ts`、`src/host/chat.ts`、`src/host/llm-call.test.ts`

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant