Skip to content

fix(redirect): 301 有界缓存 + HEAD 支持 + 访问明细异步批量落库 - #2

Merged
ruanbw merged 2 commits into
fix/high-authfrom
fix/high-redirect
Oct 8, 2026
Merged

ruanbw merged 2 commits into
fix/high-authfrom
fix/high-redirect

Conversation

@ruanbw

@ruanbw ruanbw commented Oct 8, 2026

Copy link
Copy Markdown
Owner

概述

修复代码审查中访客跳转热路径的两个 High 问题。基于 fix/critical-review。

1. 301 被浏览器无限期缓存

问题:redirectToTarget 从不设置 Cache-Control,浏览器对 301 默认无限期缓存;规则改写的跳转也沿用短链自身的 301。结果是租户改目标、停用短链、加规则后,老访客永远收不到,访问明细也漏记。另外 HEAD /{code} 落进 NoRoute 一律 404,链接预览器/监控把健康短链当坏链。

修复:

  • 规则改写、多目标轮询、落地页及其余 302:一律 302 + Cache-Control: no-store
  • 单目标 301:Cache-Control: private, max-age=<JANUS_REDIRECT_301_MAX_AGE>(默认 5m,配 0 则 no-store)
  • 开启规则的短链 301:改为 no-store(仍保留 301 状态码),否则缓存会让访客绕过规则求值
  • 落地页点击跳转(/{code}/click)同样 302 + no-store
  • 注册 HEAD /{code},与 GET 同状态码/Location/缓存头;HEAD 不记明细、不推进轮询指针(探测流量不应虚增访问量)

2. 访问明细写入阻塞跳转

问题:每次跳转在请求内同步 INSERT 明细;PickTarget 把 link_targets 再查一遍;连接池写死 10;INSERT 用请求 ctx,访客断开即取消、明细静默丢失。

修复:

  • 新增 httpapi.VisitQueue(internal/httpapi/visit_queue.go):有界队列 + 小型 worker 池 + 多行批量 INSERT(store.InsertVisits)
    • 请求路径只做一次非阻塞入队
    • 落库 ctx 与请求解耦(context.WithoutCancel + 每批 5s 超时)
    • 队列满时丢弃而非阻塞,累计计数 + 限频日志(首次及每 1000 次)
    • 整批失败后逐行重试,坏行只丢自己;worker 内全部 recover
    • 批量策略:阻塞取第一条后非阻塞捞满一批,低峰零延迟、高峰自动攒批
  • 后置访问钩子语义:改为在明细落库尝试之后由队列触发(保持"持久化完成后回调"的契约;落库失败时仍触发,与改造前一致);因队列满被丢弃的明细不触发钩子
  • Deps.VisitQueue 为 nil(黑盒测试)或队列已关闭时退回同步写入,保证测试"请求返回即可查到明细";同步路径同样改用 WithoutCancel + 超时
  • 优雅排空:cmd/janus/main.go 与 pkg/janus 的 App.Shutdown 在 http.Server.Shutdown 之后 Close 队列(最多等 5s),并在退出时打印丢弃总数;App.initHandler 被二次调用时先排空旧队列
  • 新增 store.PickTargetFrom,跳转复用 LookupLinkForVisit 已读到的目标池,不再二次查询 link_targets(PickTarget 签名不变)
  • 连接池可配置:JANUS_DB_MAX_OPEN_CONNS(默认 25),空闲连接上限取同值并设 5 分钟空闲回收(原 database/sql 默认只留 2 条空闲连接,高峰期反复建连)

新增配置(已写入 .env.example,Validate 拒绝负数,0 = 内置默认)

变量 默认
JANUS_DB_MAX_OPEN_CONNS 25
JANUS_REDIRECT_301_MAX_AGE 5m(0 = no-store)
JANUS_VISIT_QUEUE_SIZE 10000
JANUS_VISIT_QUEUE_WORKERS 2
JANUS_VISIT_QUEUE_BATCH 200

行为变更(需评审确认)

  • rules_redirect_test.go:原断言"301 短链的规则改写也走 301",按本次修复改为断言 302 + no-store
  • links_test.go:TestCustomCodeAnd301 增加 Cache-Control 断言;新增 TestHeadRedirectMatchesGet

测试

  • gofmt / go build ./... / go vet ./...(含测试编译)通过
  • 新增非 DB 单测 visit_queue_test.go:攒批且不超 BatchSize、满队列立即丢弃并计数、Close 排空并触发回调、关闭后入队返回 Closed、批量失败逐行重试、请求取消不影响落库;-count=20 稳定通过(环境无 cgo,未跑 -race)
  • internal/config、internal/rules、internal/jwt、internal/rbac、internal/mailer、pkg/plugin、pkg/janus(Builder)通过
  • 依赖 Postgres 的 internal/httpapi 黑盒测试本环境不可用,仅保证编译通过,需在有库环境跑一遍 ./scripts/quality.sh tests

1. 跳转缓存语义
- 规则改写、多目标轮询、落地页与其余 302 一律 302 + Cache-Control: no-store
- 单目标 301 带有界缓存 private, max-age=JANUS_REDIRECT_301_MAX_AGE(默认 5m,0 = no-store);
  开启规则的短链 301 改为 no-store(仍保留 301 状态码)
- 注册 HEAD /{code},与 GET 同响应;HEAD 不记明细、不推进轮询指针

2. 访问明细移出请求路径
- 新增 httpapi.VisitQueue:有界队列 + worker 池 + 多行批量 INSERT,
  落库 ctx 与请求解耦(WithoutCancel + 超时),队列满丢弃并计数,批量失败逐行重试
- 后置访问钩子改为落库之后由队列触发;被丢弃的明细不触发钩子
- 未配置队列(黑盒测试)或队列已关闭时退回同步写入,同样不再随客户端断开取消
- cmd/janus 与 pkg/janus 在 http.Server.Shutdown 之后排空队列
- 新增 store.PickTargetFrom / InsertVisits,跳转不再二次读取 link_targets
- 连接池可配置 JANUS_DB_MAX_OPEN_CONNS(默认 25,空闲上限同值)

ruanbw commented Oct 8, 2026

Copy link
Copy Markdown
Owner Author

已 rebase 到 fix/high-auth(#3)之上,base 改为 fix/high-auth,新 head cee9730。

冲突:pkg/janus/janus.go(与 #6 的生命周期重构冲突)。解决方式:以 #6 的结构为准(run-once initHandler + 原子 fallback + setupDB/Run/Shutdown 新语义),把本 PR 的行为移植进去:

  • 访问明细队列改在 fullHandler() 中创建并通过 Deps.VisitQueue 传入;替换时先排空旧队列(App.visitQueue 受 mu 保护);
  • App.Shutdown 在 srv.Shutdown 之后排空并关闭队列,再等待 worker;
  • Run 退出时在关闭自有 DB 连接之前兜底再排空一次(覆盖监听失败等未经 Shutdown 的路径);
  • setupDB 改用 db.OpenGORMWithPool(..., cfg.DBMaxOpenConns)。
    注:WithDB 注入 Store 的情况下,Shutdown 后再次 Run 时队列已关闭,recordVisit 按本 PR 原设计退回同步写入。
    internal/httpapi/server.go、cmd/janus/main.go、config/.env.example 自动合并,HEAD 路由与 fix(auth): 修复超管抢注接管、限流器满表锁死、扩展路由缺 RBAC/CSRF #3 的扩展挂载均保留。

合并顺序:#1 → #6 → #3 → #2 → #4 → #5(请按此顺序依次合并;每个 PR 合并后,下一个 PR 的 base 会由 GitHub 自动改指向其上一级的目标分支)。

验证:每一步 rebase 后均 gofmt -l、go build ./...、go vet ./... 通过;在本地 Postgres 16 上 go test ./... -p 1(JANUS_TEST_DB_REQUIRED=1)全部通过,最终分支 fix/high-domains 连跑两遍均通过。

@ruanbw
ruanbw merged commit 44ef595 into fix/high-auth Oct 8, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant