Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
@@ -0,0 +1,20 @@
# autopilot 谓词 artifact 必须绝对路径 + §5.7 清 gate 后必须显式恢复

<!-- tags: autopilot, stop-hook, 谓词, artifact, gate, review-accept -->

## 谓词 artifact 路径是字面 `-f` 检查(相对路径必挂)

[2026-09-28] `## 验收场景` 谓词行写 `artifact: s1p1.out`(相对名)→ stop-hook §5.7 `validate_predicate_artifacts` 对该字面路径做 `-f` 存在性检查 → 仓库根下不存在 → 32 条全部 PRED-ARTIFACT-MISSING,即使文件真实存在于 `/tmp/autopilot-artifacts/`。

- **Lesson**:hook 的机械校验读的是 state.md 里的**字面字符串**,不做路径拼接/环境推断。
- **How to apply**:冻结 `## 验收场景` 时 artifact 字段直接写绝对路径 `/tmp/autopilot-artifacts/<pred-id>.out`;测试内 writeArtifact 与之同源。worktree 多任务共享该目录,旧任务同名文件会混入——本次靠时间戳批次 + 内容匹配甄别。

## §5.7/§5.7b 校验失败会自动清 gate——修复后必须重设,否则空 gate 直落 §9 假性循环

- **Lesson**:PRED-ARTIFACT-MISSING / AC-FIELD-INVALID 等 block 都伴随 `set_field gate ""`;修复根因后若忘记重设 `gate: review-accept`,下一轮 hook 以空 gate 跳过全部 §5.5-§5.7 检查直落 §8/§9,报出**泛化的 phase 提示**(无任何具体信号),极易误判为「还有场景没做」而空转。
- **How to apply**:每次修复 §5.7/§5.7b 类 block 后,同轮 Edit 恢复 gate;debug 时先读 frontmatter 的 gate 实际值,再对信号——**没有具体 PRED-*/AC-* 前缀的 qa 提示 = gate 为空的症状,不是新问题**。
- 分级字段三元组(`e2e_status`/`leftover_critical`/`unexecuted_core_paths`)缺一即清 gate;`partial + >0` 时 hook 放行停等用户审批(`/autopilot approve`),这是设计行为不是 bug——auto-approve 的自动 merge 只认 `verified ∧ 0 ∧ 0`。

## 红蓝对抗冲突以设计 SSOT 裁决(红队测试=设计意图的代码化)

红队谓词断言「护栏失败必须 reject(CLI exit≠0)」vs 蓝队测试断言「任何失败不抛(旁路容错)」——正解回设计文档找明文(D2「不匹配即 throw」只约束护栏),落地为错误类别区分(`DimensionAssertError` 传播/其余旁路),双方测试各自对齐。设计文档没写死的内部符号名(如函数改名)不构成蓝队偏差,红队按字面符号名断言属过度指定,改红队引用(E1 类)+ 留痕。
Original file line number Diff line number Diff line change
@@ -0,0 +1,27 @@
# 壁纸视频单腿原生比例改版(v4)——固定画布 vs 原图比例多样取景崩坏

<!-- tags: wallpaper-video, native-canvas, minimax-h3, mmh3turbo, 画廊, aerial, 画布, 尺寸护栏 -->

## 固定两档画布 vs 原图比例多样 = 构图崩坏(用户实测三周后推翻 v3 的第三层)

[2026-09-28] 画布 v3(736×1600 对齐手机屏)落地后用户实测仍「很多视频很奇怪」:09-27 六人全家福(6000×4000 横 3:2)竖版裁得只剩爸爸一人、09-28 方形原图视频与静态壁纸取景对不上。

- **Lesson**:屏幕适配型固定画布(0.46/16:9)对多人合影/异形比例原图必然产生「最大脸窗口」式灾难性取景;预裁窗口策略(人脸/居中/attention)只是灾难程度的调节,不是解。构图忠实优先于屏幕铺满。
- **Choice**:单腿原生比例——`computeNativeCanvas(origW, origH)` 纯函数 SSOT(`lib/wallpaper/native-canvas.ts`):R=clamp(max/min,1,2.4) 归一化 + 朝向解耦 + 像素预算 1177600(=旧竖版 token 等价)+ 短边≥704 + 32 取整;画廊 smart-fill 天然兼容任意比例(零改动);mac Aerial 仅画布 ratio∈[1.5,1.9] 微裁出 1920×1080 .mov,否则当日回退静态(`WallpaperCoordinator` aerial-fallback 链路天然承接)。GPU 时间减半。
- **Evidence**:7 组参考 fixture 全命中;QA 像素级形变/裁切率检测;对话框 `dialog: 20260928-直接实现`。

## mmh3turbo 画布硬约束三条(写画布逻辑前必读)

- **`--width/--height` 逐轴覆盖档位**(lmedia 已透传,须 32 倍数;`-r` 仅缺轴回退 + stdout 回执语义要保留)。
- **锚定帧 LANCZOS 直接拉伸到画布**(`generate.py` resize,不裁剪)——预裁剪比例必须精确等于画布比例,否则首帧即刻变形。
- **EXIF orientation 5-8 宽高互换**是画布朝向的前置(iPhone 竖拍主场景)——`readOrientedDimensions` 必须先归一化再喂 `computeNativeCanvas`。

## 失败语义按类别区分(护栏 vs 旁路)

- **Lesson**:「任一环节失败都不抛」的旁路容错会把尺寸护栏的语义吞掉(rerun CLI exit=0、错尺寸静默);反过来全量重抛又破坏既有旁路(生成失败当日静态回退)。
- **Choice**:`DimensionAssertError` 专用错误类——护栏失败传播为 job 失败(worker 标记失败 / rerun exit≠0,红队 SSOT 5.P1),其余失败(spawn/上传/DB)维持旁路吞掉(契约 8)。两条转码+护栏全过才上传/写列,结构上杜绝半成品日。
- **How to apply**:护栏顺序在转码后、上传/写列前;错误分类靠类型不靠 message 字符串匹配。

## 历史两腿产物不重生成、不 pad 修复(用户拍板)

内容取景问题(裁人)像素在生成时定死,转码不可逆;旧 704×1216 的画廊裁字问题可选 CPU 级 blur-pad 修复但默认不做(09-10~09-25 共 15 条)。新链路兼容:DB 加列 `wallpaper_video_native_url`、COS 新 key `_native.mp4`、manifest 新字段条件展开、画廊读取 native>portrait>landscape。
17 changes: 10 additions & 7 deletions CLAUDE.md
Original file line number Diff line number Diff line change
Expand Up @@ -123,7 +123,7 @@ packages/shared/ # 共享类型、Zod Schema、API 路由常量
- Worker 进程 (`src/workers/index.ts`) 独立于 API 服务运行
- 扫描流程 (`scan-storage.ts`): 增量扫描 — 用 mtime+size 快速跳过未变更文件,仅对新文件/修改文件做 SHA256 + 缩略图生成,最后入队 analyze-photo;扫描结束后调用 `detectBursts` 识别连拍组(时间窗口 ≤3s + dHash 汉明距离 ≤10),写入 `bursts` 表并标记每组代表
- 分析流程 (`analyze-photo.ts`): 读文件 base64 → 调 AI 视觉模型 → 解析 JSON 响应 → 写入 tags/photoTags/photoAnalyses(幂等设计,重复分析会 UPDATE 而非 INSERT);分析完成后调用 `calibrateBurstRepresentative` 在组内竞争代表位(选评分最高者)
- 精选流程 (`daily-selection.ts`): 多条目并行流水线 — `buildCandidatePool`(4 源混采 + 可选 recent 第 5 源 + 跨表去重 + 主力源美学下限 `minAestheticScorePrimary` 默认 ≥7.0、fillUp ≥7.5;recent 源 = 近 `DAILY_RECENT_SOURCE_DAYS`(默认 30)天拍摄、同美学门槛、源内按美学分竞争、quota 保底 1 席,`DAILY_RECENT_SOURCE` 默认关——平权改版后近期照片在源内 aes 竞争中被历史同月高分照挤出 LIMIT,dry run 验证 recent 源使近 30 天照片从 0.25 → 6.0 席/天,真实代码 A/B 见 `src/cli/dry-run-real-pool.ts`)→ **select AI 评选阶段**(`runSelectStage`:文本模型从候选摘要重排 hero,`weightedScore` 降序为兜底;5 路 fallback 保序:`dailySelectEnabled===false`/候选<2 零 AI/抛错/解析失败/越界)→ pLimit 并发为每张独立执行 narrate(vision)+select members(text),生成各自 title/narrative/members;db.transaction 批量 DELETE+INSERT 写入 `dailyPickEntries`(幂等覆盖,UNIQUE(dailyPickId,rank));entries[0] 同步作为 dailyPicks 主记录;阶段3 调 Satori 合成杂志版 DailyHero 壁纸(5K 16:9,基于 entries[0])落盘,路径写入 `dailyPicks.composedImagePath`,并追加合成手机竖版壁纸(1290×2796,B 方案全屏照片+底部渐变压白字,cacheKey `1290x2796` 与路由/推送三方闭合,独立 try/catch 不阻塞主流程);**阶段4 动态视频壁纸**(`DAILY_WALLPAPER_VIDEO` 默认关):开关开 ∧ hero 非视频 ∧ composedImagePath 非空 → 链式 one-off enqueue `wallpaper-video` job(独立 try/catch 旁路,失败不影响精选)→ 串行「横生成→横转码→竖生成→竖转码」(spawn honeydo 双锚定伪循环 `--first-frame`/`--last-frame` 同图,sharp 预裁剪对齐生成画布 1280×704 / 736×1600(竖版经 lmedia `--width/--height` 逐轴覆盖 portrait 档,比例 0.46 对齐静态竖版壁纸 1290×2796,画廊手机端 cover 裁切 ~20%→<0.5%);**prompt 解析链**:`daily_picks.motion_prompt`(2026-09-25 起由 hero-only 两步链路生成:本地 qwen vision 产**中立画面事实记录**(严禁运动词)→ 外部 deepseek 纯文本写 30-50 字运动描述 + Audio 环境音指引(准则逐字沿用原 narrate 版,`v2/daily/motion-facts/` + `v2/daily/motion/`,lib 接缝 `lib/motion/generate.ts`);narrate 契约已收窄不再产 motionPrompt;任一步失败不写库回退分层默认 + console.warn)→ 无则按有无人脸分层默认 `WALLPAPER_VIDEO_PROMPT_PERSON/SCENE`(2026-09-13 修订:废除全场景单一收敛句式);横转 HEVC hvc1 .mov 1920×1080 带音轨 aac 128k +faststart 供 Aerial 注入(双轨均保留音轨),竖转 H.264 mp4 736×1600 带音轨 +faststart 供画廊;**Remotion 横版两栏布局**(视频居左 contain + 右侧文字栏,几何/字号/配色逐字对齐静态模版 dailyHeroJSX,composition 1920×1080=Aerial 原生 16:9)+ 竖版全屏铺底维持 v2;footer 拍摄时刻与 web/静态壁纸同源 `formatPhotoCaptureTime`(后端算好 `captureDateline` 传入 props,takenAt 缺失 footer 不渲染))→ COS 上传(回执非空串才写 `daily_picks.wallpaper_video_landscape_url/portrait_url` 两列)→ `syncDayToGallery` 重建 manifest(视频字段条件展开:DB 列空 → JSON 字段缺省);手动重跑 `npm run wallpaper-video:rerun -- --pickDate=YYYY-MM-DD`;**候选池排序**:`weightedScore = aestheticScore`(2026-09-04 起年代完全平权,无年份限制、无 ageBonus——此前乘法 1.6× → 加法封顶 +0.3 → 完全移除;新照片与老照片同台,只比美学质量);**家人主角**:候选摘要与 narrate 均注入 `peopleNicknames`(画面家人称呼),select prompt 置最高优先级规则「家人出镜优先于纯宠物/风景」;**定时任务自愈**:`daily-selection-cron` job 触发时先按升序补跑最近 `DAILY_AUTO_HEAL_DAYS`(默认 7)天缺失的 dailyPicks(内层 job name=`auto-heal`,单日失败不中断),再跑今天——宕机几天可自动恢复,超大历史缺口仍用手动 `backfill:daily-picks` CLI(`--enqueue` + worker 慢慢消化)
- 精选流程 (`daily-selection.ts`): 多条目并行流水线 — `buildCandidatePool`(4 源混采 + 可选 recent 第 5 源 + 跨表去重 + 主力源美学下限 `minAestheticScorePrimary` 默认 ≥7.0、fillUp ≥7.5;recent 源 = 近 `DAILY_RECENT_SOURCE_DAYS`(默认 30)天拍摄、同美学门槛、源内按美学分竞争、quota 保底 1 席,`DAILY_RECENT_SOURCE` 默认关——平权改版后近期照片在源内 aes 竞争中被历史同月高分照挤出 LIMIT,dry run 验证 recent 源使近 30 天照片从 0.25 → 6.0 席/天,真实代码 A/B 见 `src/cli/dry-run-real-pool.ts`)→ **select AI 评选阶段**(`runSelectStage`:文本模型从候选摘要重排 hero,`weightedScore` 降序为兜底;5 路 fallback 保序:`dailySelectEnabled===false`/候选<2 零 AI/抛错/解析失败/越界)→ pLimit 并发为每张独立执行 narrate(vision)+select members(text),生成各自 title/narrative/members;db.transaction 批量 DELETE+INSERT 写入 `dailyPickEntries`(幂等覆盖,UNIQUE(dailyPickId,rank));entries[0] 同步作为 dailyPicks 主记录;阶段3 调 Satori 合成杂志版 DailyHero 壁纸(5K 16:9,基于 entries[0])落盘,路径写入 `dailyPicks.composedImagePath`,并追加合成手机竖版壁纸(1290×2796,B 方案全屏照片+底部渐变压白字,cacheKey `1290x2796` 与路由/推送三方闭合,独立 try/catch 不阻塞主流程);**阶段4 动态视频壁纸**(`DAILY_WALLPAPER_VIDEO` 默认关):开关开 ∧ hero 非视频 ∧ composedImagePath 非空 → 链式 one-off enqueue `wallpaper-video` job(独立 try/catch 旁路,失败不影响精选)→ **单腿原生比例生成**(20260928 起替代旧固定横竖两腿;画布 SSOT `computeNativeCanvas`(`lib/wallpaper/native-canvas.ts`)跟随 hero 原图 EXIF 旋转后比例:32 取整 + 像素预算 1177600 封顶 + 短边 ≥704 + 长短轴比 clamp [1,2.4],朝向由原图独立决定)(spawn honeydo 双锚定伪循环 `--first-frame`/`--last-frame` 同图 + `--width/--height` 画布显式覆盖,sharp 预裁仅做比例对齐 cover 微裁、已去除 v2 人脸窗口重构图;**prompt 解析链**:`daily_picks.motion_prompt`(2026-09-25 起由 hero-only 两步链路生成:本地 qwen vision 产**中立画面事实记录**(严禁运动词)→ 外部 deepseek 纯文本写 30-50 字运动描述 + Audio 环境音指引(准则逐字沿用原 narrate 版,`v2/daily/motion-facts/` + `v2/daily/motion/`,lib 接缝 `lib/motion/generate.ts`);narrate 契约已收窄不再产 motionPrompt;任一步失败不写库回退分层默认 + console.warn)→ 无则按有无人脸分层默认 `WALLPAPER_VIDEO_PROMPT_PERSON/SCENE`(2026-09-13 修订:废除全场景单一收敛句式);双转码:画廊原生 H.264 mp4 带音轨(分辨率==画布,恒产出)+ 条件 Aerial HEVC hvc1 .mov 1920×1080 带音轨(仅画布比例 ∈[1.5,1.9] 时 16:9 居中微裁产出,窗口外 landscape 列留空 → mac App 当日静态回退零改动);**尺寸护栏** `assertVideoDimensions`(转码后/上传写列前 ffprobe 断言尺寸,`DimensionAssertError` 传播为 job 失败(rerun exit≠0),其余失败维持旁路当日回退静态;两条转码+护栏全过才上传/写列,杜绝半成品日);**Remotion 文字层**按画布比例选 comp(≥0.9 横版两栏 / <0.9 竖版全屏,props 携画布宽高 calculateMetadata 动态尺寸;横版几何逐字对齐静态模版 dailyHeroJSX);footer 拍摄时刻与 web/静态壁纸同源 `formatPhotoCaptureTime`(后端算好 `captureDateline` 传入 props,takenAt 缺失 footer 不渲染))→ COS 上传(回执非空串才写 `daily_picks.wallpaper_video_native_url`(20260928 新列)与 `wallpaper_video_landscape_url`(语义收窄为「16:9 适配版」);`wallpaper_video_portrait_url` 为 legacy 不再新写、存量保留)→ `syncDayToGallery` 重建 manifest(视频字段条件展开:DB 列空 → JSON 字段缺省);手动重跑 `npm run wallpaper-video:rerun -- --pickDate=YYYY-MM-DD`;**候选池排序**:`weightedScore = aestheticScore`(2026-09-04 起年代完全平权,无年份限制、无 ageBonus——此前乘法 1.6× → 加法封顶 +0.3 → 完全移除;新照片与老照片同台,只比美学质量);**家人主角**:候选摘要与 narrate 均注入 `peopleNicknames`(画面家人称呼),select prompt 置最高优先级规则「家人出镜优先于纯宠物/风景」;**定时任务自愈**:`daily-selection-cron` job 触发时先按升序补跑最近 `DAILY_AUTO_HEAL_DAYS`(默认 7)天缺失的 dailyPicks(内层 job name=`auto-heal`,单日失败不中断),再跑今天——宕机几天可自动恢复,超大历史缺口仍用手动 `backfill:daily-picks` CLI(`--enqueue` + worker 慢慢消化)

**AI 层** (`src/ai/`):
- `client.ts` — OpenAI 兼容的 AI 客户端,使用 `openai` npm 包,禁用 qwen3.6 的 thinking 模式确保 JSON 输出在 `content` 字段;`chatWithModel`(2026-09-25)支持 per-call 覆盖 model/baseUrl/apiKey 供外部 deepseek 运动描述通路使用,thinking 方言参数按 provider 条件化(仅本地 qwen 端点注入 `chat_template_kwargs`)
Expand Down Expand Up @@ -222,10 +222,11 @@ packages/shared/ # 共享类型、Zod Schema、API 路由常量
↓
阶段4: 动态视频壁纸 (DAILY_WALLPAPER_VIDEO 默认关)
链式 enqueue wallpaper-video job → honeydo 微动化 hero 照片
(双锚定伪循环,横 1280×704 / 竖 736×1600 画布预裁剪)
→ 横转 HEVC hvc1 .mov 1920×1080 / 竖转 H.264 mp4 736×1600
(双轨均带音轨 aac +faststart)→ COS 上传 → 写 daily_picks 两列 → 画廊同步
失败当日回退静态(旁路容错,不影响精选主流程)
(双锚定伪循环,单腿原生画布 computeNativeCanvas:
跟随原图比例,32 取整 + 像素预算 1177600 封顶 + 短边 ≥704)
→ 双转码:画廊原生 mp4(恒产出)/ Aerial 16:9 微裁 .mov(画布比例∈[1.5,1.9])
(尺寸护栏断言后上传)→ COS → 写 daily_picks native/landscape 列 → 画廊同步
失败当日回退静态(护栏 DimensionAssertError 传播 job 失败,其余旁路容错)
↓
API: GET /api/daily/today → DailyPick { entries: DailyPickEntry[] }
↓
Expand All @@ -241,11 +242,13 @@ packages/shared/ # 共享类型、Zod Schema、API 路由常量
daily-selection 阶段 3.5(阶段 4 壁纸视频完成后经 syncDayToGallery 幂等重建)/
daily-video 步骤 4.5 → syncDayToGallery /
syncVideoToGallery(独立 try/catch 旁路)→ 产物上传腾讯云 COS(公有读;壁纸视频
key = `relight/wallpaper-videos/{pickDate}_landscape.mov` / `_portrait.mp4`,
key = `relight/wallpaper-videos/{pickDate}_native.mp4`(20260928 单腿原生)/
`_landscape.mov`(仅 16:9 兼容日产出;`_portrait.mp4` 为 legacy 不再新写),
manifest 视频字段条件展开——DB 回执列空则字段缺省)+
buildManifest → scp+ssh mv 原子推 manifest.json 到 VPS → 静态站拉 manifest
渲染 `#/` 沉浸流 + `#/video/<id>` 视频深链 + `#/?date=&rank=` 日期/照片深链
(date 级无 rank 深链优先落当日壁纸卡,动态变体自动播放;OKLCH 品牌色单页站)。沉浸流每日单元顺序 = 日期分隔卡 → 壁纸卡(含动态视频变体,
(date 级无 rank 深链优先落当日壁纸卡,动态变体自动播放;OKLCH 品牌色单页站)。沉浸流每日单元顺序 = 日期分隔卡 → 壁纸卡(含动态视频变体,变体 URL 优先级
native > portrait(legacy) > landscape(legacy),皆空回退静态卡,
主钮「保存视频」+「更多」菜单收静态/电脑版)→ 主题视频卡 → 照片;壁纸/视频卡展示区
按 cropRatio 智能拉通(≤0.3 cover,否则 contain + 模糊垫底)。daily-video 推送 URL
改用 `config.galleryPublicUrl + /#/video/<id>`(修原 localhost bug)。
Expand Down
2 changes: 1 addition & 1 deletion apps/backend/package.json
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
{
"name": "@relight/backend",
"version": "0.11.0",
"version": "0.12.0",
"private": true,
"type": "module",
"scripts": {
Expand Down
1 change: 1 addition & 0 deletions apps/backend/src/__tests__/helpers/test-schema.ts
Original file line number Diff line number Diff line change
Expand Up @@ -133,6 +133,7 @@ export function setupTestSchema(sqlite: Database.Database, opts: SetupOptions =
members TEXT NOT NULL DEFAULT '[]',
wallpaper_video_landscape_url TEXT,
wallpaper_video_portrait_url TEXT,
wallpaper_video_native_url TEXT,
motion_prompt TEXT,
created_at TEXT NOT NULL
);
Expand Down
Loading
Loading