Skip to content

fix(core): 修复迁移版本号冲突与 App.Run 吞错误/生命周期问题 - #6

Merged
ruanbw merged 7 commits into
fix/critical-reviewfrom
fix/high-core
Oct 8, 2026
Merged

ruanbw merged 7 commits into
fix/critical-reviewfrom
fix/high-core

Conversation

@ruanbw

@ruanbw ruanbw commented Oct 8, 2026

Copy link
Copy Markdown
Owner

概要

修复基座层两个 High 级问题:迁移版本号冲突导致旧库静默跳过新迁移,以及 App.Run 吞掉数据库/迁移错误等生命周期缺陷。基于 fix/critical-review。

1. 迁移改号(f22a197)

5d8ec86 把旧 0001–0019 合并为 0001_init.sql 后复用了 2/3 号。合并前迁移过的库 goose_db_version 已记录 2/3(直至 19)号,goose 视为已应用而静默跳过,旧库永远拿不到 idx_visits_domain 索引和 links.metadata 列。

  • 0002_visits_domain_index.sql → 0020_visits_domain_index.sql:改为 -- +goose NO TRANSACTION + CREATE INDEX CONCURRENTLY IF NOT EXISTS,建索引不再阻塞 visits 写入
  • 0003_links_metadata.sql → 0021_links_metadata.sql(ADD COLUMN IF NOT EXISTS)
  • goose 未开启 allowMissing / out-of-order(默认 goose.UpContext),所以新迁移必须排在旧最大版本 19 之上;后续新增迁移请从 0022 起编号
  • migrate_test 断言改为 1/20/21 版本,新增 TestMigrateUpgradeFromPreSquashVersions(模拟版本 1–19 已记录的旧库)
  • ADR-0014 中迁移文件名同步更新

已在真实 Postgres 上验证:

场景 迁移前版本 迁移后 索引/列
全新库 — 0 1 20 21 ✅
合并前旧库(旧代码 0001–0019) …17 18 19 …19 20 21 ✅(修复前:no migrations to run,❌)
已用合并后旧编号(1/2/3)迁移过的新库 0 1 2 3 0 1 2 3 20 21 ✅,20/21 幂等重跑

2. App.Run 错误处理与生命周期(f5dfd77)

  • db.Connect / MigrateWithExtra / OpenGORM / bootstrap.Superadmin 失败时 Run 直接返回错误,不再以无 DB 模式静默启动
  • DatabaseURL 同时接受 postgres:// 与 postgresql://(及 key=value DSN),其它 scheme 报错
  • WithDB 分支传入 cfg.MigrationsDir,核心迁移不再被跳过
  • Serve 异常退出时 cancel + Shutdown;Listen 失败、启动失败都复位 running,可再次 Run
  • ctx 取消 / Shutdown 触发的优雅停止返回 nil(不再是 context.Canceled)
  • Run 退出时等待 worker 结束后关闭自行打开的 GORM 连接池(WithDB 注入的不关闭)
  • Shutdown 等待期间不持有 mu
  • initHandler 只在 New 中执行一次:业务路由经 NoRoute 委托给 atomic fallback,Run 连上 DB 后只替换 fallback,WithRoutes / WithProtectedRoutes 回调不再执行两遍;配置了 DatabaseURL 但尚未就绪时 NoRoute 返回 503

测试

  • gofmt、go build ./...、go vet ./... 通过
  • 无 Postgres:go test ./pkg/... 通过(新增 lifecycle_test.go 6 个用例均不依赖 DB)
  • 有 Postgres(JANUS_TEST_DB_REQUIRED=1):go test ./... -p 1 全部通过

升级注意

  • 已有部署(合并前迁移过的库):升级后首次启动会执行 0020、0021,补上 idx_visits_domain 与 links.metadata。0020 使用 CONCURRENTLY,大表上需要一些时间但不锁写入;若中途失败会留下 INVALID 索引,IF NOT EXISTS 会跳过它,需手动 DROP INDEX CONCURRENTLY idx_visits_domain; 后重启。
  • 已以 2/3 号应用过新文件的库:20/21 会再执行一次,语句幂等,无副作用;版本表里残留的 2/3 行无害,无需清理。
  • 行为变化:App.Run 现在会在数据库不可达、迁移失败、超管初始化失败、URL scheme 不支持时返回错误(原来静默以无 DB 模式启动)。依赖旧行为的部署需确认 JANUS_DATABASE_URL 可用。
  • 行为变化:优雅停止时 Run 返回 nil;调用方若判断 err == context.Canceled 请改为判断 err != nil。
  • 行为变化:使用 WithDB 且配置了 MigrationsDir(默认 migrations)时,Run 会执行核心迁移;不需要时请将 MigrationsDir 置空。
  • 后续新增迁移请从 0022 起编号。

ruanbw added 4 commits October 8, 2026 07:06
5d8ec86 把旧 0001–0019 合并为 0001_init 后又复用了 2/3 号,合并前迁移过的库
goose_db_version 已记录 2/3(直至 19)号,goose 视为已应用而静默跳过,
旧库永远拿不到 idx_visits_domain 索引和 links.metadata 列。

- 0002_visits_domain_index.sql → 0020_visits_domain_index.sql,
  改为 `-- +goose NO TRANSACTION` + CREATE INDEX CONCURRENTLY IF NOT EXISTS,
  建索引不再阻塞 visits 写入
- 0003_links_metadata.sql → 0021_links_metadata.sql(ADD COLUMN IF NOT EXISTS)
- 已按新文件以 2/3 号应用过的新库:会以 20/21 号再执行一次,语句幂等,已实测
  (版本表 [0 1 2 3] → [0 1 2 3 20 21],第二次 no migrations to run)
- goose 未开启 allowMissing/out-of-order(使用默认 goose.UpContext),
  因此只能把新迁移排在旧最大版本 19 之上;后续新增迁移从 0022 起编号
- migrate_test 断言改为 1/20/21 版本,新增模拟合并前旧库(版本 1–19 已记录)的升级回归测试
- ADR-0014 中迁移文件名同步更新
- db.Connect / MigrateWithExtra / OpenGORM / bootstrap.Superadmin 失败时 Run 直接返回错误,
  不再以无 DB 模式静默启动
- DatabaseURL 同时接受 postgres:// 与 postgresql://(及 key=value DSN),其它 scheme 报错
- WithDB 分支传入 cfg.MigrationsDir,基座核心迁移不再被跳过
- Serve 异常退出时 cancel + Shutdown;Listen 失败、启动失败都复位 running,可再次 Run
- ctx 取消 / Shutdown 触发的优雅停止返回 nil,而不是 context.Canceled
- Run 退出时等待 worker 结束后关闭自行打开的 GORM 连接池(WithDB 注入的不关闭)
- Shutdown 等待期间不再持有 mu,避免与 Run 互相阻塞
- initHandler 只在 New 中执行一次:业务路由经 NoRoute 委托给 atomic fallback,
  Run 连上 DB 后只替换 fallback,WithRoutes/WithProtectedRoutes 回调不再执行两遍;
  已配置 DatabaseURL 但尚未就绪时 NoRoute 返回 503
- 新增 lifecycle_test 覆盖上述行为(均无需 Postgres)
- bootstrap: 提权既有普通账号为超管时原子作废其凭据(清空密码、自增 token_version、
  删除会话),强制走 setup token 首登;不再复活 banned 账号;并发注册分支同样处理
- ratelimit: 桶表满时淘汰最久未活动条目而非拒绝所有新来源;IPv6 按 /64 归并计数
- 扩展路由: WithProtectedRoutes 挂到 authorize() 组下并追加 CSRF 中间件,
  按实际注册的 (方法, 路径) 登记租户策略,/api/admin 下及首段通配的扩展仅超管可用;
  删除 authorize 中从未生效的 is_protected_extension 放行分支,修正文档注释
1. 跳转缓存语义
- 规则改写、多目标轮询、落地页与其余 302 一律 302 + Cache-Control: no-store
- 单目标 301 带有界缓存 private, max-age=JANUS_REDIRECT_301_MAX_AGE(默认 5m,0 = no-store);
  开启规则的短链 301 改为 no-store(仍保留 301 状态码)
- 注册 HEAD /{code},与 GET 同响应;HEAD 不记明细、不推进轮询指针

2. 访问明细移出请求路径
- 新增 httpapi.VisitQueue:有界队列 + worker 池 + 多行批量 INSERT,
  落库 ctx 与请求解耦(WithoutCancel + 超时),队列满丢弃并计数,批量失败逐行重试
- 后置访问钩子改为落库之后由队列触发;被丢弃的明细不触发钩子
- 未配置队列(黑盒测试)或队列已关闭时退回同步写入,同样不再随客户端断开取消
- cmd/janus 与 pkg/janus 在 http.Server.Shutdown 之后排空队列
- 新增 store.PickTargetFrom / InsertVisits,跳转不再二次读取 link_targets
- 连接池可配置 JANUS_DB_MAX_OPEN_CONNS(默认 25,空闲上限同值)

ruanbw commented Oct 8, 2026

Copy link
Copy Markdown
Owner Author

已将 #3/#2/#4/#5 改为线性堆叠,本 PR 保持不变(base 仍为 fix/critical-review,head f5dfd77)。

合并顺序:#1 → #6 → #3 → #2 → #4 → #5(请按此顺序依次合并;每个 PR 合并后,下一个 PR 的 base 会由 GitHub 自动改指向其上一级的目标分支)。

ruanbw and others added 3 commits October 8, 2026 07:25
fix(redirect): 301 有界缓存 + HEAD 支持 + 访问明细异步批量落库
fix(auth): 修复超管抢注接管、限流器满表锁死、扩展路由缺 RBAC/CSRF
@ruanbw
ruanbw merged commit 0183fcd into fix/critical-review Oct 8, 2026
2 checks passed
@ruanbw
ruanbw deleted the fix/high-core branch October 14, 2026 04:31
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant