Skip to content

[flow] T-078 修复批量/合集任务串行与媒体、OCR、判定、ASR 五类报错 - #74

Merged
El1mir merged 3 commits into
masterfrom
flow/T-078
Nov 12, 2026
Merged

El1mir merged 3 commits into
masterfrom
flow/T-078

Conversation

@El1mir

@El1mir El1mir commented Nov 12, 2026

Copy link
Copy Markdown
Owner

flow task: T-078
修复批量/合集任务串行与媒体、OCR、判定、ASR 五类报错

验收摘要:

  • 设置并行 8 时,10 个假任务最大在途为 8;设置 3 时为 3,不存在隐藏的 5 上限。
  • 10 条合并任务在 gate=4 时最大在途 4,最终章节顺序严格等于输入顺序,进度单调到 10/10。
  • 合并任务第 5 条模拟 429 停放:1-4 的结果落 checkpoint,恢复后 1-4 不再重新生成,5-10 继续,最终 10 条齐全。
  • 临时 DATA_DIR 下媒体登记成功且 path 为相对路径;重启 init_db 回填已有文件;日志不再出现「无法登记任务媒体资源」。
  • OCR 模拟 429→200 重试成功;12 路并发受全局上限 4 约束;持续 429 时任务仍完成且只打一条聚合告警。
  • 画面判定返回 {"frames": []} 或垃圾 JSON 时不再抛异常,降级保留全部候选并在任务 detail 标记 degraded。
  • ASR 返回字符串 id/seek 时不再产生 Pydantic 序列化告警,transcript 时间轴正确。
  • pytest tests/022-batch-concurrency-and-media-reliability、tests/009.../test_parallel_scheduler.py、tests/007.../test_media_resources.py 全部通过。

卡链接:flow://task/T-078

- 新增 specs/022-batch-concurrency-and-media-reliability/spec.md(draft)
- 记录 R1-R6 根因、D1-D7 已定决策、Q1-Q4 待拍板问题
- 定义 checkpoint/调度/OCR/判定/数据根接口草案与 W0-W5 验收命令
- specs/README.md 索引追加 022

不含任何实现代码;W1-W4 等 Q1-Q4 答复后开工。
- _run_with_parallel_gate 直接执行任务体,删除 task_serial_executor 固定 5 线程池,实际在途=用户设置
- 合并任务按 min(gate, 条数) 扇出,父任务不占槽位,章节按输入顺序落位
- 每条成功即原子写 checkpoint,429 停放后恢复只补未完成条目,成功保存后清理
- 画面判定解析失败降级保留候选(detail.judgement_degraded),不触发整任务重试
- _run_ocr_stage 预留进程级 OCR 上限接线
- tests/022.../w1:闸门/扇出/断点/降级 11 例;tests/001、tests/009 适配新语义
- get_data_dir 只拼一次:DATA_DIR 绝对/相对 backend 解析,默认 <backend>/data;export/media/downloader/note 全改调它
- init_db 启动打印媒体数据根,旧 data/data 非空时告警且不自动迁移,回填计数写日志
- OCR 429/5xx/超时最多重试 3 次(Retry-After 优先、0.5/1/2s 抖动、单次≤30s),新增进程级 BoundedSemaphore(OCR_MAX_CONCURRENCY,默认 4)
- 判定层显式空清单→empty_frames、全批次解析失败→parse_failed,均降级保留全部候选,不触发任务级重试
- ASR model_dump(warnings=False),segments[].id/seek 字符串数值规整为 int
- tests/022 w2-w4;tests/008 两例按 spec 022 D6 新语义更新

验证:pytest tests → 994 passed, 15 subtests;相关子集 374 passed
@El1mir

El1mir commented Nov 12, 2026

Copy link
Copy Markdown
Owner Author

已开 PR pr_034(head e435687,远程 #74)

@El1mir
El1mir merged commit 4c164ae into master Nov 12, 2026
1 of 2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant