Skip to content

W5 集成验收(并发/断点/媒体/OCR 合并树实测) #73

Open

Description

@El1mir

在合并树验证 W1–W4 合起来的行为并记录证据。

验收标准

  1. 后端全量 pytest 通过(968 基线 + 022 新增)
  2. 设置 8 时同时在途达 8(mock 上游)
  3. 中途终止后恢复,已完成子项不重复
  4. gates.md 记录命令与真实输出

阅读范围

路径:backend/tests/022-batch-concurrency-and-media-reliability/integration/、docs/ui-audit/021/gates.md、specs/022-batch-concurrency-and-media-reliability/spec.md
符号:_run_merged_note_task、_run_with_parallel_gate

Activity

  1. El1mir commented on Nov 13, 2026

    @El1mir
    OwnerAuthor

    结论:本卡已被父卡真实交付覆盖,不再需要派工;保持 waiting-deps,等人决定是否取消。

    • 父卡 T-078 已 squash 合并到 master 4c164ae;W1–W4 全在树里。
    • 集成证据已在父卡执行:隔离实例真实 3 条合并 POST /api/generate_notes → SUCCESS、已合并 3/3、章节顺序=输入、媒体行 5、五类报错 0 命中;全量后端 994 passed。
    • 本卡验收项里「设置 8 时同时在途达 8(mock 上游)」与「kill 后恢复」只由 tests/022-.../w1/test_parallel_gate.py、test_merge_checkpoint.py 覆盖,未做进程级实跑;若要做,应另开一张只读验证卡,不在本卡重复实现。
    • plan rev2 的审批吊销不影响这里:没有派工,也没有新方案要批。
  2. El1mir commented on Nov 13, 2026

    @El1mir
    OwnerAuthor

    后端全量闸门在合并树(master 4c164ae)通过,可作为 T-080–T-082 验收与 T-083 第一步的基线证据。

    cd backend && PYTHONPATH=. .venv/Scripts/python.exe -m pytest -q -p no:cacheprovider
    → 994 passed, 15 subtests passed, 1 warning in 98.11s, EXIT=0
    

    说明:

    • 唯一 warning 是 .venv/Lib/site-packages/ctranslate2/__init__.py:8 的 pkg_resources 弃用提示(依赖侧,已知,与本批改动无关)。
    • 基线由历史 953 passed 增至 994 passed,failed/error = 0;测试数量增长来自 W1–W4 新增用例。
    • 该结果覆盖后端单测;前端四项闸门(test/tsc/lint/build)与并发、旧库迁移、OCR 429 现场行为尚未执行,仍待 T-083 按计划补齐。
  3. El1mir commented on Nov 13, 2026

    @El1mir
    OwnerAuthor

    前端四项闸门在合并树全部通过(与后端 994 passed 并列成为 T-083 基线证据)。

    cd BillNote_frontend
    pnpm test -- --run → Test Files 30 passed, Tests 197 passed, EXIT=0
    npx tsc -b                   → EXIT=0
    pnpm lint                    → EXIT=0
    pnpm build                   → built in 12.43s, EXIT=0
    

    说明:build 只有 chunks larger than 500 kB 的常规体积提示(markdown 795 kB / index 551 kB),属既有提示,不阻断。

    到此为止仍是静态闸门;T-083 计划里仍未执行的是行为证据:双 batch 并发是否互不饿死、旧库迁移后 media 路径是否自愈、OCR 429 退避与判定降级、ASR 日志是否无序列化告警。

  4. El1mir commented on Nov 13, 2026

    @El1mir
    OwnerAuthor

    W1–W4 的行为证据其实已经在 tests/022-batch-concurrency-and-media-reliability/ 里,27 passed;T-083 的计划可以据此收窄。

    cd backend && PYTHONPATH=. .venv/Scripts/python.exe -m pytest tests/022-batch-concurrency-and-media-reliability -q
    → 27 passed, 1 warning (pkg_resources), 22.00s, EXIT=0
    

    覆盖映射:

    • W1 并发/合并:w1/test_parallel_gate.py、w1/test_parallel_gate_and_merge.py、w1/test_merge_fanout.py、w1/test_merge_checkpoint.py、w1/test_judge_degrade.py
    • W2 数据根与媒体:w2/test_data_root_and_media.py
    • W3 OCR 与判定:w3/test_ocr_and_judgement.py
    • W4 ASR 序列化:w4/test_asr_serialization.py

    仍未覆盖(真实环境才证得了,静态测试替代不了):

    1. 走真实 HTTP 的双 batch 并发(需要起后端 + 真 provider);
    2. 真实旧库文件的迁移自愈(需要一份改造前的 bili_note.db);
    3. 真实供应商 429 的退避行为(需要可复现的限流响应)。

    建议:T-083 从「W5 全量行为验收」收窄为上面三条 E2E;单元级行为已由 27 条用例证明,无需重做。

  5. El1mir commented on Nov 13, 2026

    @El1mir
    OwnerAuthor

    数据根行为已实测,且发现 T-083 计划里一项口径需要更正:spec 022 故意不自动迁移旧目录,只告警。

    实测(脚本 [path],隔离临时目录,不动仓库与真实库):

    DATA_DIR=<tmp>/data            → RESOLVED=<tmp>/data          IS_DOUBLE_DATA=False
    在 <tmp>/data/data 放 1 个文件 → LEGACY_WARN=True(日志:检测到旧版数据目录 … 非空(1 项);spec 022 不自动迁移,需要时请手动移入)
    init_db()                     → INIT_OK,媒体资源历史回填完成:新增 690 条,DB_FILE=True
    

    结论:

    • R3 的 /data/data 双拼 bug 已修:绝对 DATA_DIR 直接采用,返回路径不再重复 data。
    • 旧目录残留按设计只告警不迁移(改写用户数据须人决定),所以验收点应写作「旧目录被正确识别并告警」,不是「自动迁移自愈」。
    • backfill_legacy_resources() 在空数据根下也返回 690 条,说明它登记的是存量任务记录而非文件扫描;要验「文件级回填」仍需真实 media 文件,这条留给真机。

    T-083 剩余可执行项收敛为两条:真实 HTTP 双 batch 并发、真实供应商 429 退避。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions