Repository navigation
Description
背景
接 #2268(多通道解析 / 工具配对,已提不再重复)。本篇是生产环境 v1.0.2 → v1.0.4 升级后新发现并已在本地 site-packages 临时修补的 3 处缺陷 + 1 条可观测性建议。环境为长期运行的多 agent 部署。
相邻但不同的 issue(供对照,非重复):#1876(媒体推送去重只在单个 stream 内生效)、#812(断流缺 checkpoint 续跑)、#658(compact 报错)、#850(工具历史修复重放旧回答)。
Bug 1:飞书通道重连/重启后重投旧事件 → 助理重复回复旧消息、群内自刷屏
现象
- 服务重启或 WebSocket 重连后,助理会把 1 小时前的群消息再回一遍;
- 同一条消息被处理 2–3 次,群里看起来像"机器人自己刷屏"。
根因(两处叠加)
| 层 | 缺陷 |
|---|---|
| 事件层 | 未 ack 的事件会被飞书重投;上游仅按 message_id 去重,不看消息自身 create_time,任何"很久以前"的重投都会被当成新消息处理 |
| 状态层 | _is_duplicate() 的去重表是实例属性;通道 re-register 会新建实例 → 表清空 → 重投事件再次被当作新消息 |
本地修法
- 年龄闸门:读消息自身
create_time(毫秒),超过OCTOP_FEISHU_MAX_MSG_AGE_SECONDS(默认 180 秒)直接丢弃并记warning(日志含 age 与 message_id),便于事后核对。 - 去重表提升到类级共享:
_SHARED_SEEN_IDS用有界OrderedDict做 LRU,跨实例存活,re-register 不再清空;保留旧实现不再调用。
给官方的建议
- 年龄闸门默认开启(值可配),因为飞书重投的语义就是"旧事件也可能来";
- 去重状态放在 channel manager 级而不是 channel 实例级,与 [bug] IM 通道会重发历史文件 —— 媒体推送去重只在单个 stream 内生效 #1876 的"单 stream 内去重"互补(一个管消息级,一个管媒体级)。
Bug 2:压缩后 cutoff_index 越界 → 上下文退化为"只有摘要",模型对所有问题回同一句
现象
- 某 agent 会话长跑后,模型每轮只看旧摘要,不同问题都回同一句话;
- 服务端日志:
Summarization cutoff_index 296 exceeds message count 264。
根因
deepagents/middleware/summarization.py 在应用 _summarization_event 时:
if cutoff_idx > len(messages):
return [summary_msg] # ← 上游行为:把「摘要 + 最近 N 条」砍成「只有摘要」压缩会重写状态列表,cutoff_index 会漂移/越界。越界时上游静默只留摘要,最近对话全部丢失,且不报错,非常难定位(表现是"回答变得又简短又雷同",不是报错)。
本地修法
越界时退化为 摘要 + 最近 N 条(OCTOP_SUMMARY_FALLBACK_KEEP,默认 20),并记 warning;消息列表为空时才保留"只有摘要"。修复前后用同一条越界数据复现:修前模型看到 1 条(摘要),修后看到 21 条(摘要 + 最新 20 条),最新消息可见。
给官方的建议
- 越界时用"摘要 + 最近 N 条"兜底,宁可多看不漏看;
- 把越界当可恢复告警(metric / 日志 warning)上报,而不是静默截断。
Bug 3:检查点无保留策略 → 体积无限增长(单库 1.28 GB)
现象
- 单 agent 的 checkpoint 库涨到 1.28 GB;列表与检索明显变慢,备份体积过大;
- 没有任何 UI/配置项能限制保留数量。
根因
checkpoint 只写不回收,缺少 TTL / 保留数量策略。
现状(workaround)
自建脚本按 KEEP=20 每日 04:00 清理(保留最近 20 个 + 仍被引用的),运行日志可控;但这属于运维补丁,不是产品能力。
给官方的建议
- 内置 checkpoint GC:保留最近 N 个 / 最近 N 天,两项都可配;
- SQLite 存储时附带
VACUUM建议与"清理前自动备份一次"的开关; - 在 dashboard 暴露单个 agent 的 checkpoint 占用与数量。
建议 4:通道健康度可观测(静默失联目前只能靠人肉发现)
生产环境遇到过通道"显示已连接但收不到消息"(与 #757 / #2122 同源)。当前只能翻日志判断。建议:
| 指标 | 用途 |
|---|---|
last_inbound_at / last_outbound_at |
一眼看出通道是否还活着 |
reconnect_count / last_reconnect_at |
识别反复重连 |
dropped_duplicate / dropped_stale 计数 |
验证 Bug 1 修法是否生效 |
挂在 /health 或 dashboard 即可,不需要新页面。
环境
- Octop:v1.0.4(v1.0.1 → v1.0.2 → v1.0.4 逐级升级)
- 部署:Linux systemd、SQLite、多 agent、长期运行
- 通道:飞书(长连接)、企业微信、个人微信
- 模型:DeepSeek 系列 + 兼容 OpenAI 接口的第三方端点
说明
以上均为本地改 site-packages 的临时修补,每次 octop update 会被覆盖(v1.0.2 → v1.0.4 已再次复现,需逐项重打)。已知这一点在 #2268 的说明段提过,本篇不重复展开;此处只补充一个具体诉求:Bug 1 的年龄闸门与去重表位置,建议直接进主线,因为它属于"同一事件可能重复到达"的基础语义,靠运维补丁长期维持成本很高。
Activity
coyang commentedon Nov 4, 2026
2026-11-04 生产环境独立复现确认(octop 1.0.2 / octop-gateway 1.0.3 / lark-oapi 1.7.3)
Bug 1 与我们今天遇到的现象完全一致,补充一份带精确时间线的取证:
现象:下午 15:45-15:58 飞书把上午 08:40-08:53 的 4 条消息重新推送,agent 重跑完整 LLM 流程并重复回复(Langfuse 出现同内容、同 sessionId 的重复 trace);另有上午 09:35-10:07 的 5 条消息在 10:40-11:13 被重推。全天 9 个
om_message_id 各出现两次,前一天为零。与 Bug 1 根因分析一致,并补充三点证据:
重推间隔与飞书官方重试档位精确吻合。观测到 +1h05m 和 +7h05m 两组,对应官方文档 15s / 5m / 1h / 6h 重试间隔的累计值(1h5m15s / 7h5m15s)。15s / 5m 档的重推同样发生了,但当时旧实例的去重表还在,被静默吞掉(dedup 日志是 DEBUG 级),所以只有部分消息表现出重复——这也解释了为什么"不是所有消息都重复"。
去重清空的触发点今天出现了两个:10:32:25 一次 channel re-register(新建实例),13:12:43 一次整服务重启。两批可见重推恰好分别紧跟这两个时间点之后到达,与"去重表是实例属性"的判断互相印证。
额外的失败源放大:
im.message.reaction.created_v1未注册 processor,lark-oapi 的_handle_data_frame对 handler 异常统一回 HTTP 500(lark_oapi/ws/client.py约 318-353 行),每条 reaction 事件也进入同一重试队列(当天 175 条processor not foundERROR)。建议顺带注册空 processor 直接回 200。另外:watchdog 每小时对空闲连接按
activity_stale=3605s强制重连(当天 28 次),两批重推都紧跟在重连之后到达,与"断连后补偿投递"的机制吻合。状态核对(2026-11-04):本 issue 时间线暂无 cross-reference,仓库内未检索到相关修复 PR,最新 release v1.0.3b2 未包含修复。飞书官方文档明确长连接为"至少一次"投递并要求按
event_id幂等,所以"年龄闸门 + 跨实例共享去重"方向是对的;由于服务重启也会清空进程内状态,建议最终落到持久化(DB)而不是仅类级共享。希望这项尽快进入 release。kajhg commentedon Nov 4, 2026
另一套生产实例的对照数据(v1.0.2,独立客户的飞书通道)
补一个"看得见 / 看不见"结论不同的样本:我们另一台自托管(Octop v1.0.2,systemd)过去 24 小时没有出现重复回复:
im.message.reaction.created_v1报processor not found共 427 次 / 24h,全部返回 500,并且都挂在同一个conn_id上 → "未注册 processor 的事件也进同一重试队列"是常态而非偶发;一旦去重表被清空,这批 reaction 事件同样会被整批重放lark_oapi/channel/normalize/dedup.py在这条链路上没有生效或被绕过结论:coyang 的根因判断与我们的复现一致。"是否看得见重复"取决于去重表存活时间长短,所以线上表现为时有时无,最容易被误判成偶发。
建议优先级:① event_id 去重持久化(DB + TTL)② reaction 等未注册事件直接回 200、不进重试队列。
seed30 commentedon Nov 5, 2026
感谢反馈
#2832
TencentCloud/octop-gateway#53
TencentCloud/octop-harness#226
可以参考这些 pr 哈
seed30 commentedon Nov 9, 2026
感谢反馈,已经解决!