Skip to content

修复批量/合集任务串行与媒体、OCR、判定、ASR 五类报错 #68

Closed

Description

@El1mir

2026-11-12 run.bat 跑 193 条新视频合集/合并任务时发现:合并任务逐条串行、普通批量隐藏 5 并发上限、媒体登记双重 data 路径全部失败、OCR 429 无重试、画面判定空结果触发整任务重试、ASR 字符串 int 序列化告警。本工单要求先做需求评审(重点 Q1-Q4),再按 W0-W5 拆解实现。

验收标准

  1. 设置并行 8 时,10 个假任务最大在途为 8;设置 3 时为 3,不存在隐藏的 5 上限。
  2. 10 条合并任务在 gate=4 时最大在途 4,最终章节顺序严格等于输入顺序,进度单调到 10/10。
  3. 合并任务第 5 条模拟 429 停放:1-4 的结果落 checkpoint,恢复后 1-4 不再重新生成,5-10 继续,最终 10 条齐全。
  4. 临时 DATA_DIR 下媒体登记成功且 path 为相对路径;重启 init_db 回填已有文件;日志不再出现「无法登记任务媒体资源」。
  5. OCR 模拟 429→200 重试成功;12 路并发受全局上限 4 约束;持续 429 时任务仍完成且只打一条聚合告警。
  6. 画面判定返回 {"frames": []} 或垃圾 JSON 时不再抛异常,降级保留全部候选并在任务 detail 标记 degraded。
  7. ASR 返回字符串 id/seek 时不再产生 Pydantic 序列化告警,transcript 时间轴正确。
  8. pytest tests/022-batch-concurrency-and-media-reliability、tests/009.../test_parallel_scheduler.py、tests/007.../test_media_resources.py 全部通过。
  9. 真实 3-5 条短视频合并任务日志显示并发 >1、顺序正确、无本次五类报错。

阅读范围

路径:backend/app/routers/note.py、backend/app/services/task_serial_executor.py、backend/app/services/merge_task_runner.py、backend/app/services/note.py、backend/app/utils/path_helper.py、backend/app/services/media_resource_service.py、backend/app/db/init_db.py、backend/app/services/ocr_client.py、backend/app/gpt/universal_gpt.py、backend/app/services/ocr_assist.py、backend/app/transcriber/openai_asr.py、backend/tests/022-batch-concurrency-and-media-reliability/、specs/022-batch-concurrency-and-media-reliability/
符号:_run_with_parallel_gate、_run_merged_note_task、get_data_dir、_managed_relative、recognize_image、judge_note_frames、_to_dict

Activity

  1. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    Q1–Q10 定案(要点):R5 两种空结果都降级并记 reason、不 raise;数据根统一 get_data_dir 不迁移历史;checkpoint 到终态 finally 清理;扇出 = min(gate, items) 不设硬顶 4;删 TASK_MAX_WORKERS;保留进程级 OCR 信号量(per-task 与全局是两个量);W3 不碰 note.py、接线归 W1;pytest 已装、collect 968 exit 0。详见 worker 消息。

  2. added and removed on Nov 12, 2026
  3. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    子卡进度:W1/W3/W4 已到待验收并完成本机复核;W2 仍在跑。

    • T-079(W1,5348db6):在干净 worktree 复跑 pytest tests -q → 978 passed / 15 subtests / exit 0。
    • T-081(W3,1c2202f):pytest tests/022-.../w3 -q → 10 passed / exit 0。
    • T-082(W4,14bba47):pytest tests/022-.../w4 -q → 2 passed / exit 0。
    • 三张卡 worktree 均无未提交改动(T-079 的共享检出里另存 W2/W3/W4 未提交副本,与各分支提交 hash 不一致,合并前清理)。
    • 遗留待办:W3 的降级 API 需由 W1 的 note.py 消费,W5 集成时要验 detail.judgement_degraded 真正写出且任务不重试。
    • grill 失败通知是陈旧事件:评审已在拆成 T-079–T-083 前完成,无需重开。
  4. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    W2 数据根/回填已用真实脚本验证通过(之前那个「INSERTED 0」是我的测试脚本假象,不是缺陷)。

    验证方式:在 e435687 的干净检出里设 DATA_DIR=<临时目录>,放 d.mp3/e.mp4 到根,删库后只调 init_db():

    • init_db() 打印 媒体数据根目录(DATA_DIR):<临时目录>;_roots()["video"|"audio"] 均等于该目录,无 data/data 拼接。
    • 启动回填在 init_db 内执行(init_db.py:231),库里得到 video:e.mp4、audio:d.mp3 两行——回填真的看得见历史文件。
    • 随后单独再调 backfill_legacy_resources() 返回 0,是幂等正确行为(已登记的不重复插)。

    结论:W2 不需要返工卡,卡面第 4 项可从 partial 提到 pass。临时脚本与临时检出已删除,flow/T-078 worktree clean(HEAD e435687)。

  5. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    真实 3 条短视频合并已跑通:SUCCESS,3/3,章节顺序=输入顺序,无 R1–R5 五类报错。(本节证据由调度在隔离环境执行,工人可直接引用,注明来源=调度)

    • 环境:DATABASE_URL 指向生产库副本、DATA_DIR/OUT_DIR 均为临时目录、BACKEND_PORT=8486、WHISPER_DEVICE=cpu。生产 3015/8483 与真实库未被写入。
    • 提交:POST /api/generate_notes,merge=true,3 条 BV:BV1MUW166Eqq(2:56)、BV1nEWu6xEyq(3:39)、BV1GJWy6rEQz(4:06),任务 b6d4979b-4fa9-4f9e-9392-d253d622ba4a。
    • 结果:status=SUCCESS、progress=100、message=已合并 3/3 个视频;markdown 目录顺序 1→3 与输入完全一致,三个 ## N. 章节各自带来源链接。
    • 并发:三条子任务下载/转写时间窗重叠(转写分别约 70.1s / 95.4s,14:50:xx–14:52:38 交错完成),非串行。
    • 媒体登记:副本库里 media_resources 5 行,含 audio:BV1MUW166Eqq.mp3(generated) 与 4 条 legacy_backfill —— 现场登记与启动回填同时生效。
    • 五类报错扫描:日志中 无法登记任务媒体资源 / 429 / Traceback / PydanticSerialization / data/data 全部 0 命中;断点目录在终态已清理。
    • 顺带观察:两条子任务的画面判定出现警告「候选帧全部无法定位」→ 任务降级继续并成功产出,正是 R5 降级策略的真实证据;若按旧行为会整任务失败。
    • 环境备注:首次启动 whisper_device=auto 探测到 CUDA 但缺 cudnn_ops64_9.dll,进程直接崩;WHISPER_DEVICE=cpu 后正常。这是本机环境问题,与本次改动无关,记入 follow-up 即可。
  6. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    现在需要我干什么

  7. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    你不需要做任何事;以下三件都可选。

    1. 什么都不做(默认):我让工人清空 remaining → 代收验收(用你回复「跑」的那张工单作凭据)→ 真合并 → 核对 mergedCommit 与 master HEAD,完成后在本卡贴结论。
    2. 想自己看效果:生产 htt[path] 仍可用(真实库、真实额度),在「批量生成 → 勾选合并」里跑 2–3 条即可复现;我不占用它。
    3. 想亲手点验收/合并:也可以,你说一声我就停在 merging 不动。

    唯一需要你的是:产线若起 429/CUDA 这类与本改动无关的环境问题,不用管——已记录,不会算进本次验收。

  8. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    什么都不做(默认):我让工人清空 remaining → 代收验收(用你回复「跑」的那张工单作凭据)→ 真合并 → 核对 mergedCommit 与 master HEAD,完成后在本卡贴结论。

    继续吧

  9. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    【巡检结论】keep:代码已在 e435687 收口;真实 3 条合并 SUCCESS;no-diff 是陈旧信号。

  10. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    【巡检结论】done:代码已在 e435687 收口;真实 3 条合并 SUCCESS;no-diff 是陈旧信号。

  11. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    【巡检结论】reset:清陈陈旧 no-diff 阻塞:代码已收口、真实合并已成功。

  12. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    【巡检结论】pause:清陈陈旧 no-diff 阻塞:代码已收口、真实合并已成功。

  13. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    【巡检结论】steer:清陈陈旧 no-diff 阻塞:代码已收口、真实合并已成功。

  14. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    已开 PR #74 #74

  15. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    已开 PR #74

  16. El1mir commented on Nov 12, 2026

    @El1mir
    OwnerAuthor

    已真合并:4c164ae(squash),master HEAD 与 mergedCommit 核对一致。

    • origin/master = 4c164ae6ae9aec17bb1b5105610b60f1d237d49d,本地 master 同;卡 done/merged。
    • 合并前:全量后端 994 passed(干净检出 e435687);真实 3 条合并 SUCCESS(3/3、顺序=输入、媒体行 5、无五类报错)。
    • 两次 push-failed 为瞬时失败;git push -u origin flow/T-078 → Everything up-to-date 后审核通过、合并成功。
    • 残留:T-080/T-081/T-082(verifying)+ T-083(waiting-deps)为拆包重复实现,需人在看板取消,dispatcher 无 cancel 权限。
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions