2026-11-12 run.bat 跑 193 条新视频合集/合并任务时发现:合并任务逐条串行、普通批量隐藏 5 并发上限、媒体登记双重 data 路径全部失败、OCR 429 无重试、画面判定空结果触发整任务重试、ASR 字符串 int 序列化告警。本工单要求先做需求评审(重点 Q1-Q4),再按 W0-W5 拆解实现。 ## 验收标准 1. 设置并行 8 时,10 个假任务最大在途为 8;设置 3 时为 3,不存在隐藏的 5 上限。 2. 10 条合并任务在 gate=4 时最大在途 4,最终章节顺序严格等于输入顺序,进度单调到 10/10。 3. 合并任务第 5 条模拟 429 停放:1-4 的结果落 checkpoint,恢复后 1-4 不再重新生成,5-10 继续,最终 10 条齐全。 4. 临时 DATA_DIR 下媒体登记成功且 path 为相对路径;重启 init_db 回填已有文件;日志不再出现「无法登记任务媒体资源」。 5. OCR 模拟 429→200 重试成功;12 路并发受全局上限 4 约束;持续 429 时任务仍完成且只打一条聚合告警。 6. 画面判定返回 {"frames": []} 或垃圾 JSON 时不再抛异常,降级保留全部候选并在任务 detail 标记 degraded。 7. ASR 返回字符串 id/seek 时不再产生 Pydantic 序列化告警,transcript 时间轴正确。 8. pytest tests/022-batch-concurrency-and-media-reliability、tests/009.../test_parallel_scheduler.py、tests/007.../test_media_resources.py 全部通过。 9. 真实 3-5 条短视频合并任务日志显示并发 >1、顺序正确、无本次五类报错。 ## 阅读范围 路径:backend/app/routers/note.py、backend/app/services/task_serial_executor.py、backend/app/services/merge_task_runner.py、backend/app/services/note.py、backend/app/utils/path_helper.py、backend/app/services/media_resource_service.py、backend/app/db/init_db.py、backend/app/services/ocr_client.py、backend/app/gpt/universal_gpt.py、backend/app/services/ocr_assist.py、backend/app/transcriber/openai_asr.py、backend/tests/022-batch-concurrency-and-media-reliability/、specs/022-batch-concurrency-and-media-reliability/ 符号:_run_with_parallel_gate、_run_merged_note_task、get_data_dir、_managed_relative、recognize_image、judge_note_frames、_to_dict <!-- dsh-flow:task T-078 n=mwd551wlp9pp9u -->
Activity
El1mir commentedon Nov 12, 2026
Q1–Q10 定案(要点):R5 两种空结果都降级并记 reason、不 raise;数据根统一 get_data_dir 不迁移历史;checkpoint 到终态 finally 清理;扇出 = min(gate, items) 不设硬顶 4;删 TASK_MAX_WORKERS;保留进程级 OCR 信号量(per-task 与全局是两个量);W3 不碰 note.py、接线归 W1;pytest 已装、collect 968 exit 0。详见 worker 消息。
El1mir commentedon Nov 12, 2026
子卡进度:W1/W3/W4 已到待验收并完成本机复核;W2 仍在跑。
5348db6):在干净 worktree 复跑pytest tests -q→ 978 passed / 15 subtests / exit 0。1c2202f):pytest tests/022-.../w3 -q→ 10 passed / exit 0。14bba47):pytest tests/022-.../w4 -q→ 2 passed / exit 0。note.py消费,W5 集成时要验detail.judgement_degraded真正写出且任务不重试。El1mir commentedon Nov 12, 2026
W2 数据根/回填已用真实脚本验证通过(之前那个「INSERTED 0」是我的测试脚本假象,不是缺陷)。
验证方式:在
e435687的干净检出里设DATA_DIR=<临时目录>,放d.mp3/e.mp4到根,删库后只调init_db():init_db()打印媒体数据根目录(DATA_DIR):<临时目录>;_roots()["video"|"audio"]均等于该目录,无data/data拼接。init_db内执行(init_db.py:231),库里得到video:e.mp4、audio:d.mp3两行——回填真的看得见历史文件。backfill_legacy_resources()返回 0,是幂等正确行为(已登记的不重复插)。结论:W2 不需要返工卡,卡面第 4 项可从 partial 提到 pass。临时脚本与临时检出已删除,
flow/T-078worktree clean(HEADe435687)。El1mir commentedon Nov 12, 2026
真实 3 条短视频合并已跑通:SUCCESS,3/3,章节顺序=输入顺序,无 R1–R5 五类报错。(本节证据由调度在隔离环境执行,工人可直接引用,注明来源=调度)
DATABASE_URL指向生产库副本、DATA_DIR/OUT_DIR均为临时目录、BACKEND_PORT=8486、WHISPER_DEVICE=cpu。生产 3015/8483 与真实库未被写入。POST /api/generate_notes,merge=true,3 条 BV:BV1MUW166Eqq(2:56)、BV1nEWu6xEyq(3:39)、BV1GJWy6rEQz(4:06),任务b6d4979b-4fa9-4f9e-9392-d253d622ba4a。status=SUCCESS、progress=100、message=已合并 3/3 个视频;markdown 目录顺序 1→3 与输入完全一致,三个## N.章节各自带来源链接。media_resources5 行,含audio:BV1MUW166Eqq.mp3(generated) 与 4 条legacy_backfill—— 现场登记与启动回填同时生效。无法登记任务媒体资源/429/Traceback/PydanticSerialization/data/data全部 0 命中;断点目录在终态已清理。whisper_device=auto探测到 CUDA 但缺cudnn_ops64_9.dll,进程直接崩;WHISPER_DEVICE=cpu后正常。这是本机环境问题,与本次改动无关,记入 follow-up 即可。El1mir commentedon Nov 12, 2026
现在需要我干什么
El1mir commentedon Nov 12, 2026
你不需要做任何事;以下三件都可选。
mergedCommit与 master HEAD,完成后在本卡贴结论。唯一需要你的是:产线若起 429/CUDA 这类与本改动无关的环境问题,不用管——已记录,不会算进本次验收。
El1mir commentedon Nov 12, 2026
什么都不做(默认):我让工人清空 remaining → 代收验收(用你回复「跑」的那张工单作凭据)→ 真合并 → 核对 mergedCommit 与 master HEAD,完成后在本卡贴结论。
继续吧
El1mir commentedon Nov 12, 2026
【巡检结论】keep:代码已在 e435687 收口;真实 3 条合并 SUCCESS;no-diff 是陈旧信号。
El1mir commentedon Nov 12, 2026
【巡检结论】done:代码已在 e435687 收口;真实 3 条合并 SUCCESS;no-diff 是陈旧信号。
El1mir commentedon Nov 12, 2026
【巡检结论】reset:清陈陈旧 no-diff 阻塞:代码已收口、真实合并已成功。
El1mir commentedon Nov 12, 2026
【巡检结论】pause:清陈陈旧 no-diff 阻塞:代码已收口、真实合并已成功。
El1mir commentedon Nov 12, 2026
【巡检结论】steer:清陈陈旧 no-diff 阻塞:代码已收口、真实合并已成功。
El1mir commentedon Nov 12, 2026
已开 PR #74 #74
El1mir commentedon Nov 12, 2026
已开 PR #74
El1mir commentedon Nov 12, 2026
已真合并:
4c164ae(squash),master HEAD 与mergedCommit核对一致。origin/master=4c164ae6ae9aec17bb1b5105610b60f1d237d49d,本地 master 同;卡done/merged。e435687);真实 3 条合并 SUCCESS(3/3、顺序=输入、媒体行 5、无五类报错)。push-failed为瞬时失败;git push -u origin flow/T-078→ Everything up-to-date 后审核通过、合并成功。