Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
11 changes: 11 additions & 0 deletions .env.example
Original file line number Diff line number Diff line change
Expand Up @@ -72,6 +72,17 @@ JANUS_VISIT_RETENTION=2160h
JANUS_VISIT_CLEANUP_INTERVAL=24h
# 访问记录清理的单批行数。不分批时一条 DELETE 会锁住全部过期行直到提交(长事务)。
JANUS_VISIT_CLEANUP_BATCH=10000
# 访问明细异步写入队列:跳转只入队,后台 worker 批量落库;队列满时丢弃(计数+日志),不阻塞跳转
JANUS_VISIT_QUEUE_SIZE=10000
JANUS_VISIT_QUEUE_WORKERS=2
JANUS_VISIT_QUEUE_BATCH=200

# ---------- 数据库连接池 / 跳转缓存 ----------
# 业务连接池最大连接数(空闲连接上限取同值)
JANUS_DB_MAX_OPEN_CONNS=25
# 301 短链的浏览器缓存时长(Cache-Control: private, max-age);0 = 不缓存。
# 规则改写 / 多目标轮询 / 302 一律 no-store,不受此项影响
JANUS_REDIRECT_301_MAX_AGE=5m

# ---------- 落地页上传(压缩包托管) ----------
# 上传落地页(zip 解压后)的存放目录,生产部署挂持久卷(见 docker-compose.prod.yml)
Expand Down
18 changes: 16 additions & 2 deletions cmd/janus/main.go
Original file line number Diff line number Diff line change
Expand Up @@ -43,7 +43,7 @@ func main() {
// 此后没有任何使用者,留到进程退出等于白占 10 个连接。
pool.Close()

gdb, err := db.OpenGORM(cfg.DatabaseURL)
gdb, err := db.OpenGORMWithPool(cfg.DatabaseURL, cfg.DBMaxOpenConns)
if err != nil {
log.Fatalf("open gorm: %v", err)
}
Expand Down Expand Up @@ -71,7 +71,12 @@ func main() {
SMTP: smtpCfg,
}, os.Stdout)

app := httpapi.New(httpapi.Deps{Store: st, Mailer: m, Cfg: cfg})
// 访问明细异步队列:跳转请求只入队,批量落库在后台完成(见 httpapi/visit_queue.go)。
// 必须在 srv.Shutdown 之后 Close,把已入队的明细排空,否则重启/发布会丢掉最后一批访问。
visitQueue := httpapi.NewVisitQueue(st, httpapi.VisitQueueConfig{
Size: cfg.VisitQueueSize, Workers: cfg.VisitQueueWorkers, BatchSize: cfg.VisitQueueBatch,
})
app := httpapi.New(httpapi.Deps{Store: st, Mailer: m, Cfg: cfg, VisitQueue: visitQueue})

// 后台任务:DNS 重试、证书预签发探活、访问/会话清理。
// Shutdown 后显式 cancel 并等待 worker 退出,避免进程退出时后台任务仍在写库。
Expand Down Expand Up @@ -106,6 +111,15 @@ func main() {
if err := srv.Shutdown(shutdownCtx); err != nil {
log.Printf("http shutdown: %v", err)
}
// HTTP 已停止接收请求,此后不会再有明细入队:排空队列(最多 5s)。
drainCtx, drainCancel := context.WithTimeout(context.Background(), 5*time.Second)
if err := visitQueue.Close(drainCtx); err != nil {
log.Printf("visit queue drain: %v", err)
}
drainCancel()
if n := visitQueue.Dropped(); n > 0 {
log.Printf("visit queue: 运行期间因队列满共丢弃 %d 条访问明细", n)
}
workerCancel()
select {
case <-workerDone:
Expand Down
6 changes: 6 additions & 0 deletions docker-compose.prod.yml
Original file line number Diff line number Diff line change
Expand Up @@ -48,6 +48,12 @@ services:
JANUS_DNS_MAX_AGE: "${JANUS_DNS_MAX_AGE:-72h}"
JANUS_VISIT_RETENTION: "${JANUS_VISIT_RETENTION:-2160h}"
JANUS_VISIT_CLEANUP_INTERVAL: "${JANUS_VISIT_CLEANUP_INTERVAL:-24h}"
# 访问记录异步写入队列 / 连接池 / 301 缓存(见 .env.example)
JANUS_VISIT_QUEUE_SIZE: "${JANUS_VISIT_QUEUE_SIZE:-10000}"
JANUS_VISIT_QUEUE_WORKERS: "${JANUS_VISIT_QUEUE_WORKERS:-2}"
JANUS_VISIT_QUEUE_BATCH: "${JANUS_VISIT_QUEUE_BATCH:-200}"
JANUS_DB_MAX_OPEN_CONNS: "${JANUS_DB_MAX_OPEN_CONNS:-25}"
JANUS_REDIRECT_301_MAX_AGE: "${JANUS_REDIRECT_301_MAX_AGE:-5m}"
# 上传落地页:容器内固定目录,由 uploads 卷持久化
JANUS_LANDING_UPLOAD_DIR: "/app/uploads"
JANUS_LANDING_MAX_ZIP_BYTES: "${JANUS_LANDING_MAX_ZIP_BYTES:-10485760}"
Expand Down
41 changes: 41 additions & 0 deletions internal/config/config.go
Original file line number Diff line number Diff line change
Expand Up @@ -65,6 +65,28 @@ type Config struct {

MigrationsDir string `env:"JANUS_MIGRATIONS_DIR" envDefault:"migrations"`

// DBMaxOpenConns 业务连接池(GORM / database/sql)的最大连接数。
// 原来写死 10:跳转热路径每次访问要 3~6 次 DB 往返,10 条连接在突发流量下
// 很快排队,排队时长直接叠加到访客的跳转延迟上。空闲连接上限取同一个值,
// 避免 database/sql 默认只留 2 条空闲连接导致高峰期反复建连。
// 0 = 使用 db.DefaultMaxOpenConns(嵌入方用 WithConfig 传零值配置时的兜底)。
DBMaxOpenConns int `env:"JANUS_DB_MAX_OPEN_CONNS" envDefault:"25"`

// Redirect301MaxAge 301 短链响应的 Cache-Control max-age。
// 301 在浏览器里默认可被无限期缓存:租户改了目标、停用了短链,已经访问过的
// 访客仍会被浏览器直接带走,服务端连请求都收不到(访问明细也就漏了)。
// 给 301 一个有界的 private max-age,把"改配置后多久对老访客生效"钉在这个窗口内。
// 0 = 301 也不缓存(no-store)。
Redirect301MaxAge time.Duration `env:"JANUS_REDIRECT_301_MAX_AGE" envDefault:"5m"`

// 访问明细异步写入队列(见 httpapi.VisitQueue)。
// VisitQueueSize 队列容量(条):写满时新明细被丢弃并计数,绝不阻塞跳转。
// VisitQueueWorkers 落库 worker 数;VisitQueueBatch 单次批量 INSERT 的最大行数。
// 0 = 使用 httpapi 内置默认值。
VisitQueueSize int `env:"JANUS_VISIT_QUEUE_SIZE" envDefault:"10000"`
VisitQueueWorkers int `env:"JANUS_VISIT_QUEUE_WORKERS" envDefault:"2"`
VisitQueueBatch int `env:"JANUS_VISIT_QUEUE_BATCH" envDefault:"200"`

// SMTP 邮件(可选):配置后启用真实邮件发送,否则控制台 mailer
PublicBaseURL string `env:"JANUS_PUBLIC_BASE_URL" envDefault:"https://app.janus.test"`
SMTPHost string `env:"JANUS_SMTP_HOST"`
Expand Down Expand Up @@ -135,6 +157,25 @@ func (c Config) Validate() error {
return fmt.Errorf("%s 必须为正数,当前为 %d", i.name, i.v)
}
}
// 这几项允许 0(表示"用内置默认值"/"不缓存"),只拒绝负数:
// 负的连接数/容量在下游会被静默当成"无限"或直接 panic(make(chan, -1))。
nonNegativeInts := []struct {
name string
v int
}{
{"JANUS_DB_MAX_OPEN_CONNS", c.DBMaxOpenConns},
{"JANUS_VISIT_QUEUE_SIZE", c.VisitQueueSize},
{"JANUS_VISIT_QUEUE_WORKERS", c.VisitQueueWorkers},
{"JANUS_VISIT_QUEUE_BATCH", c.VisitQueueBatch},
}
for _, i := range nonNegativeInts {
if i.v < 0 {
return fmt.Errorf("%s 不能为负数,当前为 %d", i.name, i.v)
}
}
if c.Redirect301MaxAge < 0 {
return fmt.Errorf("JANUS_REDIRECT_301_MAX_AGE 不能为负数,当前为 %v", c.Redirect301MaxAge)
}
if _, err := c.TrustedProxyNets(); err != nil {
return fmt.Errorf("JANUS_TRUSTED_PROXY_CIDRS: %w", err)
}
Expand Down
24 changes: 23 additions & 1 deletion internal/db/db.go
Original file line number Diff line number Diff line change
Expand Up @@ -38,8 +38,27 @@ func Connect(ctx context.Context, url string) (*pgxpool.Pool, error) {
return nil, fmt.Errorf("database not reachable: %w", lastErr)
}

// DefaultMaxOpenConns 业务连接池默认最大连接数(JANUS_DB_MAX_OPEN_CONNS 未配置或为 0 时)。
//
// 原来写死 10:跳转热路径每次访问要 3~6 次 DB 往返,突发流量下 10 条连接很快排满,
// 排队时长直接叠加到访客的跳转延迟上。25 仍远低于 Postgres 默认 max_connections=100,
// 给迁移、后台 worker 与运维连接留足余量。
const DefaultMaxOpenConns = 25

// OpenGORM 建立 GORM ORM 连接(数据访问层使用;迁移与测试原生操作仍走 pgxpool)。
// 连接池大小取 DefaultMaxOpenConns;需要按配置调整时用 OpenGORMWithPool。
func OpenGORM(url string) (*gorm.DB, error) {
return OpenGORMWithPool(url, DefaultMaxOpenConns)
}

// OpenGORMWithPool 同 OpenGORM,连接池上限由调用方指定(<=0 时取 DefaultMaxOpenConns)。
//
// 空闲连接上限与最大连接数取同一个值:database/sql 默认只保留 2 条空闲连接,
// 高峰期多出来的连接用完即关、下一个请求再重新握手,等于把建连成本摊进每次跳转。
func OpenGORMWithPool(url string, maxOpenConns int) (*gorm.DB, error) {
if maxOpenConns <= 0 {
maxOpenConns = DefaultMaxOpenConns
}
gdb, err := gorm.Open(postgres.Open(url), &gorm.Config{
Logger: logger.Default.LogMode(logger.Silent),
})
Expand All @@ -50,6 +69,9 @@ func OpenGORM(url string) (*gorm.DB, error) {
if err != nil {
return nil, fmt.Errorf("gorm sql db: %w", err)
}
sqlDB.SetMaxOpenConns(10)
sqlDB.SetMaxOpenConns(maxOpenConns)
sqlDB.SetMaxIdleConns(maxOpenConns)
// 空闲过久的连接回收掉:低峰期不白占 Postgres 连接槽,也避开中间件(NAT/LB)静默断链。
sqlDB.SetConnMaxIdleTime(5 * time.Minute)
return gdb, nil
}
2 changes: 1 addition & 1 deletion internal/httpapi/landing.go
Original file line number Diff line number Diff line change
Expand Up @@ -160,7 +160,7 @@ func (a *API) handleLandingClick(c *gin.Context, code string) {
LinkID: link.ID, DomainID: d.ID,
Action: store.VisitActionClick, Outcome: store.VisitOutcomeSuccess, TargetURL: targetURL,
})
c.Redirect(http.StatusFound, targetURL) // 点击跳转固定 302
redirectTemporary(c, targetURL) // 点击跳转固定 302(轮询目标,no-store)
}

// resolveLandingLinkForVisit 按 Host+code 宽松命中短链(短码命中即返回),
Expand Down
39 changes: 39 additions & 0 deletions internal/httpapi/links_test.go
Original file line number Diff line number Diff line change
Expand Up @@ -124,6 +124,45 @@ func TestCustomCodeAnd301(t *testing.T) {
if loc := resp.Header.Get("Location"); loc != "https://example.com/permanent" {
t.Errorf("Location = %q", loc)
}
// 301 必须带有界缓存:默认浏览器会无限期缓存 301,改目标/停用后老访客永远收不到。
// testutil 的配置没设 JANUS_REDIRECT_301_MAX_AGE(零值 = no-store);生产默认 5m 时为
// "private, max-age=300"。两种都可接受,不可接受的是缺省(= 无限期缓存)。
if cc := resp.Header.Get("Cache-Control"); cc != "no-store" && !strings.HasPrefix(cc, "private, max-age=") {
t.Errorf("301 Cache-Control = %q, want no-store 或 private, max-age=N", cc)
}
}

// TestHeadRedirectMatchesGet HEAD /{code} 与 GET 同状态码/Location,且不记明细。
// 原先 HEAD 落进 NoRoute 一律 404,链接预览器与监控探测会把健康短链当成坏链。
func TestHeadRedirectMatchesGet(t *testing.T) {
env := testutil.Setup(t)
c := loggedInTenant(t, env, "alice")
addDomain(t, c, "localhost")
link := createLink(t, c, map[string]any{
"code": "headok",
"targetUrls": []string{"https://example.com/head"},
"domainIds": []int64{localhostDomainID(t, c)},
})
req, err := http.NewRequest(http.MethodHead, env.Server.URL+"/headok", nil)
if err != nil {
t.Fatal(err)
}
req.Host = "localhost"
resp, err := noFollowClient(env).Do(req)
if err != nil {
t.Fatal(err)
}
_ = resp.Body.Close()
assertStatus(t, resp, http.StatusFound)
if loc := resp.Header.Get("Location"); loc != "https://example.com/head" {
t.Fatalf("HEAD Location = %q", loc)
}
if cc := resp.Header.Get("Cache-Control"); cc != "no-store" {
t.Fatalf("HEAD 302 Cache-Control = %q, want no-store", cc)
}
if got := linkStats(t, c, link.ID)["visits"].(float64); got != 0 {
t.Fatalf("HEAD 不应计入访问量,link.visits = %v", got)
}
}

// TestSameCodeAcrossDomains 同一短码在不同域名下指向不同目标。
Expand Down
57 changes: 46 additions & 11 deletions internal/httpapi/redirect.go
Original file line number Diff line number Diff line change
@@ -1,6 +1,7 @@
package httpapi

// 05 — 跳转路由:GET /{code},由 Host 决定域名;命中 → 记 Visit → 302/301(Location=轮询目标);
// 05 — 跳转路由:GET|HEAD /{code},由 Host 决定域名;命中 → 记 Visit → 302/301(Location=轮询目标;
// 缓存语义见 redirectToTarget);
// 16 — 落地页型:记 Visit → 固定 302 → landingUrl 或 /{code}/。
// 未命中(域名不解析/短码不存在)→ 404 且不记;命中但不可用(停用/逻辑删除/无目标/落地页文件缺失)
// → 404 并记一行 outcome=failed 的明细(可归属到该短链的失败不丢)。
Expand All @@ -14,7 +15,8 @@ package httpapi
// 三条热路径上的硬约束:
// 1. 零 DB 查询:规则集合来自按租户缓存的内存快照(Cache.Get 只读一次 map)。
// 多数租户没有规则,此时连访客画像都不构造。
// 2. 零写放大:命中不 UPDATE 任何表,只多写本次访问那一行明细。
// 2. 零写放大:命中不 UPDATE 任何表,只多写本次访问那一行明细(经异步队列批量落库,
// 不占用请求路径,见 visit_queue.go)。
// 「24h 命中」是列表接口从 visits 读时聚合出来的(spec D9)。
// 3. fail-open:快照加载失败/求值 panic 一律按"未命中"继续(spec 风险章节),
// 风控规则不该把线上短链打成 500。
Expand Down Expand Up @@ -313,11 +315,19 @@ func (a *API) handleRedirect(c *gin.Context) {
Action: action, Outcome: store.VisitOutcomeSuccess, TargetURL: landingDest,
RuleID: ruleID, RuleAction: ruleAction,
})
c.Redirect(http.StatusFound, landingDest)
redirectTemporary(c, landingDest)
return
}
// 跳转型:先选目标(无目标即失败,落一行明细)
targetURL, err := a.store.PickTarget(c.Request.Context(), link.ID)
// 跳转型:先选目标(无目标即失败,落一行明细)。
// 目标池复用 LookupLinkForVisit 已读到的 link.TargetURLs,不再查第二遍 link_targets。
// HEAD 只是探测:返回池中第一个目标,不推进轮询指针(多目标本就是 302 + no-store,
// Location 具体指向哪一个对探测方没有意义)。
var targetURL string
if c.Request.Method == http.MethodHead && len(link.TargetURLs) > 0 {
targetURL = link.TargetURLs[0]
} else {
targetURL, err = a.store.PickTargetFrom(c.Request.Context(), link.ID, link.TargetURLs)
}
if err != nil {
// 防御性分支:上面已按 len(TargetURLs)==0 判过一次,这里兜住并发改动
a.recordVisit(c, store.VisitRecord{
Expand All @@ -336,13 +346,36 @@ func (a *API) handleRedirect(c *gin.Context) {
a.redirectToTarget(c, link, targetURL)
}

// redirectToTarget 按短链配置的 301/302 重定向到目标(默认临时 302)。
// redirectToTarget 按短链配置的 301/302 重定向到目标(默认临时 302),并给出明确的缓存语义。
//
// 301 在浏览器里默认可被**无限期**缓存:一旦缓存,租户改目标、停用短链、加规则,
// 对已访问过的访客全都不再生效 —— 浏览器根本不会再来问服务端,访问明细也随之漏记。
// 所以:
// - 只有"单目标 + 配置为 301"的短链才发 301,且带有界的 Cache-Control
// (private, max-age=JANUS_REDIRECT_301_MAX_AGE;配成 0 则 no-store)。
// private 防止共享缓存(CDN / 公司代理)把一个访客的跳转发给所有人。
// - 短链开启了规则时,301 改为 no-store:规则按访客画像裁决,结果因人而异,
// 缓存任何一次的结果都等于让这位访客此后绕过规则求值。仍保留 301 状态码(SEO 语义不变)。
// - 多目标轮询的短链一律 302 + no-store:每次访问都该重新轮询,
// 缓存的 301 会把访客永久钉在第一次命中的目标上,轮询失去意义。
// - 其余 302 同样带 no-store,避免中间缓存按启发式规则缓存跳转。
func (a *API) redirectToTarget(c *gin.Context, link *store.Link, targetURL string) {
status := http.StatusFound // 302
if link.RedirectStatus == store.RedirectStatus301 {
status = http.StatusMovedPermanently
if link.RedirectStatus != store.RedirectStatus301 || len(link.TargetURLs) > 1 {
redirectTemporary(c, targetURL)
return
}
if maxAge := a.cfg.Redirect301MaxAge; maxAge > 0 && !link.RulesEnabled {
c.Header("Cache-Control", "private, max-age="+strconv.Itoa(int(maxAge/time.Second)))
} else {
c.Header("Cache-Control", "no-store")
}
c.Redirect(status, targetURL)
c.Redirect(http.StatusMovedPermanently, targetURL)
}

// redirectTemporary 302 且禁止缓存(规则改写、轮询、落地页等"每次都要重新决定"的跳转)。
func redirectTemporary(c *gin.Context, targetURL string) {
c.Header("Cache-Control", "no-store")
c.Redirect(http.StatusFound, targetURL)
}

// ruleDecision 对本次访问求值该租户的规则快照(spec D4)。
Expand Down Expand Up @@ -447,7 +480,9 @@ func (a *API) applyRuleDecision(c *gin.Context, link *store.Link, d *store.Domai
Outcome: store.VisitOutcomeSuccess, TargetURL: dec.Destination,
RuleID: ruleID, RuleAction: ruleAction,
})
a.redirectToTarget(c, link, dec.Destination)
// 规则改写一律 302 + no-store,不沿用短链自身的 301:裁决因访客画像而异、
// 规则随时可改,缓存住任何一次改写结果都会让该访客此后绕过规则求值。
redirectTemporary(c, dec.Destination)
return true
}
return false
Expand Down
10 changes: 7 additions & 3 deletions internal/httpapi/rules_redirect_test.go
Original file line number Diff line number Diff line change
Expand Up @@ -89,15 +89,19 @@ func TestRuleRedirectRewritesTarget(t *testing.T) {
t.Fatalf("link.visits = %v, want 1", got)
}

// 301 型短链:规则改写同样走 301
// 301 型短链:规则改写**不**沿用 301,一律 302 + no-store ——
// 裁决因访客而异、规则随时可改,浏览器缓存住一次改写结果就等于让该访客此后绕过规则。
resp = c.patch("/api/links/"+strconv.FormatInt(link.ID, 10),
map[string]any{"redirectStatus": 301})
assertStatus(t, resp, http.StatusOK)
_ = resp.Body.Close()
resp = redirectGet(t, env, "localhost", "/"+link.Code)
assertStatus(t, resp, http.StatusMovedPermanently)
assertStatus(t, resp, http.StatusFound)
if loc := resp.Header.Get("Location"); loc != "https://campaign.example.com/promo" {
t.Fatalf("301 Location = %q", loc)
t.Fatalf("规则改写 Location = %q", loc)
}
if cc := resp.Header.Get("Cache-Control"); cc != "no-store" {
t.Fatalf("规则改写 Cache-Control = %q, want no-store", cc)
}
}

Expand Down
11 changes: 11 additions & 0 deletions internal/httpapi/server.go
Original file line number Diff line number Diff line change
Expand Up @@ -46,6 +46,10 @@ type Deps struct {
DomainOwnership OwnershipChecker
// ProtectedRoutes 外部注入的受保护控制面路由注入回调
ProtectedRoutes []func(rg *gin.RouterGroup)
// VisitQueue 访问明细异步写入队列(见 visit_queue.go)。
// nil 时访问明细在请求内同步落库:黑盒测试依赖"请求返回即可查到明细"。
// 生产(cmd/janus、pkg/janus)总是传入,并负责在 http.Server.Shutdown 之后 Close 它。
VisitQueue *VisitQueue
}

// OwnershipChecker 抽象域名归属校验(见 Deps.DomainOwnership)。
Expand Down Expand Up @@ -74,6 +78,7 @@ type API struct {
jwtMgr *jwt.Manager // Bearer JWT 校验(authenticate 中间件使用)
ruleCache *rules.Cache // 规则快照(跳转热路径求值;nil 时求值恒为"无规则")
geo geo.Lookup // IP → 国家码(跳转热路径在构造 Fact 之前查,ADR 0009)
visitQueue *VisitQueue // 访问明细异步队列(nil = 同步落库,见 recordVisit)
}

// New 构建 Gin 引擎:全局中间件(panic 恢复+访问日志、后台域名 SPA 分流)+ 全部路由。
Expand Down Expand Up @@ -141,6 +146,7 @@ func New(d Deps) http.Handler {
jwtMgr: jwtMgr,
ruleCache: ruleCache,
geo: geoLookup,
visitQueue: d.VisitQueue,
}
if a.dns == nil {
a.dns = &domain.DNSChecker{ExpectedIP: d.Cfg.ServerPublicIP}
Expand Down Expand Up @@ -236,6 +242,11 @@ func New(d Deps) http.Handler {
// 点击回传还要额外做一次地理解析,无节制的脚本刷量会同时撑大 visits 表
// 与吃掉 CPU。阈值按"CGNAT/公司出口下正常用户感知不到"来定。
r.GET("/:code", a.visitorGuard(), a.handleRedirect)
// HEAD 与 GET 同响应(状态码 / Location / 缓存头):链接预览器、监控探测、
// curl -I 都用 HEAD 判断短链是否可用。原先 HEAD 落进 NoRoute 被当成"短码/子路径"
// 解析失败,一律 404 —— 健康的短链在这些工具眼里是坏链。
// HEAD 不记明细、不推进轮询指针(见 recordVisit / handleRedirect)。
r.HEAD("/:code", a.visitorGuard(), a.handleRedirect)
// 16:落地页型短链二级路径(点击端点/每短链 SDK/上传落地页静态服务)。
// gin 路由树不支持 /:code 与 /:code/... 子路由并存,统一由 NoRoute 兜底分发;
// 关闭尾斜杠重定向,避免 gin 把 /{code}/ 重定向回 /{code} 造成环。
Expand Down
Loading
Loading