Skip to content

[Bug] 飞书重投旧事件导致重复回复 / 压缩越界退化为只留摘要 / 检查点无保留策略 #2302

Closed

Description

@kajhg

背景

接 #2268(多通道解析 / 工具配对,已提不再重复)。本篇是生产环境 v1.0.2 → v1.0.4 升级后新发现并已在本地 site-packages 临时修补的 3 处缺陷 + 1 条可观测性建议。环境为长期运行的多 agent 部署。

相邻但不同的 issue(供对照,非重复):#1876(媒体推送去重只在单个 stream 内生效)、#812(断流缺 checkpoint 续跑)、#658(compact 报错)、#850(工具历史修复重放旧回答)。


Bug 1:飞书通道重连/重启后重投旧事件 → 助理重复回复旧消息、群内自刷屏

现象

  • 服务重启或 WebSocket 重连后,助理会把 1 小时前的群消息再回一遍;
  • 同一条消息被处理 2–3 次,群里看起来像"机器人自己刷屏"。

根因(两处叠加)

层 缺陷
事件层 未 ack 的事件会被飞书重投;上游仅按 message_id 去重,不看消息自身 create_time,任何"很久以前"的重投都会被当成新消息处理
状态层 _is_duplicate() 的去重表是实例属性;通道 re-register 会新建实例 → 表清空 → 重投事件再次被当作新消息

本地修法

  1. 年龄闸门:读消息自身 create_time(毫秒),超过 OCTOP_FEISHU_MAX_MSG_AGE_SECONDS(默认 180 秒)直接丢弃并记 warning(日志含 age 与 message_id),便于事后核对。
  2. 去重表提升到类级共享:_SHARED_SEEN_IDS 用有界 OrderedDict 做 LRU,跨实例存活,re-register 不再清空;保留旧实现不再调用。

给官方的建议


Bug 2:压缩后 cutoff_index 越界 → 上下文退化为"只有摘要",模型对所有问题回同一句

现象

  • 某 agent 会话长跑后,模型每轮只看旧摘要,不同问题都回同一句话;
  • 服务端日志:Summarization cutoff_index 296 exceeds message count 264。

根因

deepagents/middleware/summarization.py 在应用 _summarization_event 时:

if cutoff_idx > len(messages):
    return [summary_msg]          # ← 上游行为:把「摘要 + 最近 N 条」砍成「只有摘要」

压缩会重写状态列表,cutoff_index 会漂移/越界。越界时上游静默只留摘要,最近对话全部丢失,且不报错,非常难定位(表现是"回答变得又简短又雷同",不是报错)。

本地修法

越界时退化为 摘要 + 最近 N 条(OCTOP_SUMMARY_FALLBACK_KEEP,默认 20),并记 warning;消息列表为空时才保留"只有摘要"。修复前后用同一条越界数据复现:修前模型看到 1 条(摘要),修后看到 21 条(摘要 + 最新 20 条),最新消息可见。

给官方的建议

  • 越界时用"摘要 + 最近 N 条"兜底,宁可多看不漏看;
  • 把越界当可恢复告警(metric / 日志 warning)上报,而不是静默截断。

Bug 3:检查点无保留策略 → 体积无限增长(单库 1.28 GB)

现象

  • 单 agent 的 checkpoint 库涨到 1.28 GB;列表与检索明显变慢,备份体积过大;
  • 没有任何 UI/配置项能限制保留数量。

根因

checkpoint 只写不回收,缺少 TTL / 保留数量策略。

现状(workaround)

自建脚本按 KEEP=20 每日 04:00 清理(保留最近 20 个 + 仍被引用的),运行日志可控;但这属于运维补丁,不是产品能力。

给官方的建议

  • 内置 checkpoint GC:保留最近 N 个 / 最近 N 天,两项都可配;
  • SQLite 存储时附带 VACUUM 建议与"清理前自动备份一次"的开关;
  • 在 dashboard 暴露单个 agent 的 checkpoint 占用与数量。

建议 4:通道健康度可观测(静默失联目前只能靠人肉发现)

生产环境遇到过通道"显示已连接但收不到消息"(与 #757 / #2122 同源)。当前只能翻日志判断。建议:

指标 用途
last_inbound_at / last_outbound_at 一眼看出通道是否还活着
reconnect_count / last_reconnect_at 识别反复重连
dropped_duplicate / dropped_stale 计数 验证 Bug 1 修法是否生效

挂在 /health 或 dashboard 即可,不需要新页面。


环境

  • Octop:v1.0.4(v1.0.1 → v1.0.2 → v1.0.4 逐级升级)
  • 部署:Linux systemd、SQLite、多 agent、长期运行
  • 通道:飞书(长连接)、企业微信、个人微信
  • 模型:DeepSeek 系列 + 兼容 OpenAI 接口的第三方端点

说明

以上均为本地改 site-packages 的临时修补,每次 octop update 会被覆盖(v1.0.2 → v1.0.4 已再次复现,需逐项重打)。已知这一点在 #2268 的说明段提过,本篇不重复展开;此处只补充一个具体诉求:Bug 1 的年龄闸门与去重表位置,建议直接进主线,因为它属于"同一事件可能重复到达"的基础语义,靠运维补丁长期维持成本很高。

Activity

  1. coyang commented on Nov 4, 2026

    @coyang

    2026-11-04 生产环境独立复现确认(octop 1.0.2 / octop-gateway 1.0.3 / lark-oapi 1.7.3)

    Bug 1 与我们今天遇到的现象完全一致,补充一份带精确时间线的取证:

    现象:下午 15:45-15:58 飞书把上午 08:40-08:53 的 4 条消息重新推送,agent 重跑完整 LLM 流程并重复回复(Langfuse 出现同内容、同 sessionId 的重复 trace);另有上午 09:35-10:07 的 5 条消息在 10:40-11:13 被重推。全天 9 个 om_ message_id 各出现两次,前一天为零。

    与 Bug 1 根因分析一致,并补充三点证据:

    1. 重推间隔与飞书官方重试档位精确吻合。观测到 +1h05m 和 +7h05m 两组,对应官方文档 15s / 5m / 1h / 6h 重试间隔的累计值(1h5m15s / 7h5m15s)。15s / 5m 档的重推同样发生了,但当时旧实例的去重表还在,被静默吞掉(dedup 日志是 DEBUG 级),所以只有部分消息表现出重复——这也解释了为什么"不是所有消息都重复"。

    2. 去重清空的触发点今天出现了两个:10:32:25 一次 channel re-register(新建实例),13:12:43 一次整服务重启。两批可见重推恰好分别紧跟这两个时间点之后到达,与"去重表是实例属性"的判断互相印证。

    3. 额外的失败源放大:im.message.reaction.created_v1 未注册 processor,lark-oapi 的 _handle_data_frame 对 handler 异常统一回 HTTP 500(lark_oapi/ws/client.py 约 318-353 行),每条 reaction 事件也进入同一重试队列(当天 175 条 processor not found ERROR)。建议顺带注册空 processor 直接回 200。

    另外:watchdog 每小时对空闲连接按 activity_stale=3605s 强制重连(当天 28 次),两批重推都紧跟在重连之后到达,与"断连后补偿投递"的机制吻合。

    状态核对(2026-11-04):本 issue 时间线暂无 cross-reference,仓库内未检索到相关修复 PR,最新 release v1.0.3b2 未包含修复。飞书官方文档明确长连接为"至少一次"投递并要求按 event_id 幂等,所以"年龄闸门 + 跨实例共享去重"方向是对的;由于服务重启也会清空进程内状态,建议最终落到持久化(DB)而不是仅类级共享。希望这项尽快进入 release。

  2. kajhg commented on Nov 4, 2026

    @kajhg
    Author

    另一套生产实例的对照数据(v1.0.2,独立客户的飞书通道)

    补一个"看得见 / 看不见"结论不同的样本:我们另一台自托管(Octop v1.0.2,systemd)过去 24 小时没有出现重复回复:

    • 去重表全程未被清空:服务自 11-03 22:05 起未重启,期间只有 2 次连接重连、没有 re-register,15s / 5m 档的重推都被静默吞掉(dedup 日志是 DEBUG 级,所以屏上什么都看不到)
    • 但第 3 点完全成立、而且更严重:im.message.reaction.created_v1 报 processor not found 共 427 次 / 24h,全部返回 500,并且都挂在同一个 conn_id 上 → "未注册 processor 的事件也进同一重试队列"是常态而非偶发;一旦去重表被清空,这批 reaction 事件同样会被整批重放
    • 该实例日志里没有任何 dedup / duplicate / already handled 的痕迹,说明 SDK 的 lark_oapi/channel/normalize/dedup.py 在这条链路上没有生效或被绕过

    结论:coyang 的根因判断与我们的复现一致。"是否看得见重复"取决于去重表存活时间长短,所以线上表现为时有时无,最容易被误判成偶发。

    建议优先级:① event_id 去重持久化(DB + TTL)② reaction 等未注册事件直接回 200、不进重试队列。

  3. seed30 commented on Nov 5, 2026

    @seed30
    Collaborator
  4. added
    MemoryIssue about memory plz add this label to help filter
    on Nov 9, 2026
  5. seed30 commented on Nov 9, 2026

    @seed30
    Collaborator

    感谢反馈,已经解决!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    MemoryIssue about memory plz add this label to help filter

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions