Skip to content

SQLite unified storage degraded to legacy-only (bili v0.1.197, node v20.20.2, win32-x64) #3385

Closed

Description

@feifiefei

=== billion-context diagnostics ===
generated: 2026-10-16T08:30:57.963Z
bili version: 0.1.197 (commit 3aeddc1)
node: v20.20.2
platform: win32 x64
os: Windows_NT 10.0.26300
uptime: 7h 22m
--- storage ---
requested mode: shadow
effective mode: legacy
degrade reason: no SQLite engine available (node:sqlite missing, better-sqlite3 not installed)
engine: none
engine bootstrap: failed
bootstrap failure marker: at=2026-10-16T01:08:21.246Z reason="The operation was aborted due to timeout"
BILI_STORAGE_UNIFIED: (unset)
storage.unified (config file): (unset)
BILI_STORAGE_JSON_WRITER: (unset)
storage.jsonWriter (config file): (unset)
BILI_SQLITE_AUTO_DOWNLOAD: (unset)
storage.sqliteAutoDownload (config file): (unset)
BILI_ENCRYPTION_KEY set: no
sessions on disk: 11
last [storage] log lines:
2026-10-15T00:58:48.158Z [warn] [v=0.1.197] [storage] unified sidecar failed to open C:\Users\17271.local\share\billion-context\sessions/index.db (Error: [storage:node:sqlite] no SQLite engine available) — staying legacy-only; delete the file to reset the index
2026-10-15T00:59:40.965Z [warn] [v=0.1.197] [storage] unified sidecar failed to open C:\Users\17271.local\share\billion-context\sessions/index.db (Error: [storage:node:sqlite] no SQLite engine available) — staying legacy-only; delete the file to reset the index
2026-10-15T01:38:31.152Z [warn] [v=0.1.197] [storage] unified sidecar failed to open C:\Users\17271.local\share\billion-context\sessions/index.db (Error: [storage:node:sqlite] no SQLite engine available) — staying legacy-only; delete the file to reset the index
2026-10-15T01:39:56.133Z [warn] [v=0.1.197] [storage] unified sidecar failed to open C:\Users\17271.local\share\billion-context\sessions/index.db (Error: [storage:node:sqlite] no SQLite engine available) — staying legacy-only; delete the file to reset the index
2026-10-15T05:11:53.047Z [warn] [v=0.1.197] [storage] unified sidecar failed to open C:\Users\17271.local\share\billion-context\sessions/index.db (Error: [storage:node:sqlite] no SQLite engine available) — staying legacy-only; delete the file to reset the index
2026-10-16T01:08:21.254Z [warn] [v=0.1.197] [storage] unified sidecar failed to open C:\Users\17271.local\share\billion-context\sessions/index.db (Error: [storage:node:sqlite] no SQLite engine available) — staying legacy-only; delete the file to reset the index
2026-10-16T08:30:57.532Z [warn] [v=0.1.197] [storage] unified sidecar failed to open C:\Users\17271.local\share\billion-context\sessions/index.db (Error: [storage:node:sqlite] no SQLite engine available) — staying legacy-only; delete the file to reset the index

Activity

  1. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:重复 #3338。 同症状(Node 20 + win32-x64 上 unified storage 降级 legacy-only)、同机制(引擎自下载被 10s 超时掐断 → "The operation was aborted due to timeout" → 6h 冷却)、同根因。先到的 #3338(2026-10-16 03:18Z 立)保留,本单后到(~08:30Z),按查重政策应打「重复」标签并关闭;本单补充证据已写入 #3338。我这边工具没有关单权限,请 owner 关闭本单(或回复授权平台处理)。

    这单是什么:Node ≤21 没有内置 node:sqlite,你机器也没装 better-sqlite3,bili 默认 shadow unified 存储拿不到引擎,回落 legacy-only JSON。你的失败签名与 #3338 逐字一致。

    根因(我在你上报的确切版本 v0.1.197 @ commit 3aeddc1 上独立核对过,不是复读 issue):

    • 自下载整请求预算只有 BOOTSTRAP_TIMEOUT_MS = 10_000(src/storage/engine-bootstrap.ts:61,经 :291 的 AbortSignal.timeout 生效);~11MB 的 better-sqlite3 包要 10s 拉完,得在 TLS/代理开销之前持续 >1.1 MB/s——公司网络/代理下必然中途被掐,报错正是你日志里那句 timeout;
    • 同一仓库的自更新器拉同类多 MB tarball 给的是 60s(src/update.ts:1666)——同类操作差 6 倍的预算缺口是缺陷核心机制,不是网络不可达;
    • 失败写 6h 冷却标记(engine-bootstrap.ts:62,文件在 <cacheDir>/sqlite/.bootstrap-failed.json,:128)。你的日志从 10-15T00:58Z 到 10-16T08:30Z 共 7 次 warn,正是「冷却到期→重试→再失败」循环——说明你被锁在 legacy 不是一阵子,是跨天。

    修复状态:PR #3348(自下载超时 10s→60s,对齐自更新器;单常量 + 回归测试)已开好、代码审查通过,等人工合并;另有两个决策待拍板(见 #3348 floor 3:① 60s 还是 30s;② 启动非阻塞化是否单开 issue)。

    你现在就能做的(不用等发版):

    1. 想让引擎真正装上:设 BILI_UPDATE_REGISTRY=https://registry.npmmirror.com(或你公司内网 npm 源——自下载走的就是这个 registry,engine-bootstrap.ts:247),删掉 <bili 缓存目录>/sqlite/.bootstrap-failed.json,重启 bili 会重新试;
    2. 接受 legacy、别再刷 warn:BILI_STORAGE_UNIFIED=legacy(彻底退出 unified sidecar)或 BILI_SQLITE_AUTO_DOWNLOAD=0(停自动下载)。legacy JSON 一直是 source of truth,功能不受影响,数据无损。

    八问(按重复单视角):

    1. 是什么问题:Node 20 机器上 SQLite 引擎自下载 10s 超时失败,unified storage 回落 legacy-only,且每 6h 才重试一次、反复失败。
    2. 什么原因导致的:引擎自下载预算(10s)与自更新器同类拉取(60s)不一致,慢网/代理下不够;失败即硬锁 6h 冷却。
    3. 影响范围与严重程度:Node ≤21 + 宿主没装 better-sqlite3 + 首次下载 >10s 的用户全部中招(本单与 SQLite unified storage degraded to legacy-only (bili v0.1.197, node v20.19.5, win32-x64) #3338 已是两台独立机器);严重度=特定条件下功能降级(unified 索引不可用,legacy 正常工作,无数据丢失)。
    4. 怎么修复的:下载超时对齐 60s(fix: align SQLite engine self-download timeout with the updater (10s -> 60s) #3348,待合并);启动非阻塞化列为待拍板的独立项。
    5. 是否有回归问题:无。唯一有意变更是该窄路径超时 10s→60s,已在 PR 正文披露旧值→新值。
    6. 是否破坏缓存:否。压缩/前缀缓存不涉及;引擎缓存目录布局与 .bootstrap-failed.json 格式不变。
    7. 是否改了设计方向:否(启动仍同步阻塞;非阻塞化是待决策方向)。
    8. 是否引入新配置:否。现有 BILI_UPDATE_REGISTRY 镜像即覆盖本场景。

    结论:本单为 #3338 的重复实例,建议关闭(打「重复」标签);唯一修复入口 PR #3348,等你合并。

  2. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    ework 几个问题,1. 60s没问题 2.下载问题,是否可以内置多镜像 包括npm和npmmirror的?3.提示用户升级nodesjs

  3. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    继续

  4. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    1. 60s —— 收到,而且已经生效了:#3348 已于昨天(2026-10-17 04:24Z)合入 master(构建 0.0.515-master.74a79ab),当前 master 的 src/storage/engine-bootstrap.ts:65 已是 BOOTSTRAP_TIMEOUT_MS = 60_000。随下一个编号版本发布;想立刻用上可装 billion-context@master。此项无需再动。

    2. 多镜像 —— 可行,且没有新增安全风险:better-sqlite3 tarball 的 sha512 digest 是钉在仓库里、每次下载都校验的(engine-bootstrap.ts 头部注释),各镜像分发的是字节相同的文件,换源不削弱完整性。我的推荐方案如下,请拍板:

    • 有序候选源:用户显式设了 BILI_UPDATE_REGISTRY/update.registry → 只用它(显式意图优先,不偷偷把流量引去别处);未设置 → 走内置链 registry.npmjs.org → registry.npmmirror.com;
    • 每个镜像一次独立 60s 预算(fix: align SQLite engine self-download timeout with the updater (10s -> 60s) #3348 对齐后的值),首个成功即停,sha512 pin 校验不变;全部失败 → 照旧写现有 6h cooldown marker(marker 多记一个尝试过的源列表);
    • 范围只限引擎自下载路径;自更新器(src/update.ts)不动——它是 load-bearing,§5 要求改它之前先做一次 NO-OP 验证发布,且它已有自己的指数退避。更新器要多镜像就另立 issue;
    • 不加新配置字段。

    八问(决策请求,Q3/Q5 按选项列)

    选项:A 内置链 + 显式配置独占(推荐)/ B 内置链 + 显式配置排链首(失败也落回公共源)/ C 新增可配置镜像列表字段。

    1. 是什么问题:默认自下载只试单一 npmjs 源,npmjs 不可达或过慢的网络(GFW/公司代理)下,预算拉到 60s 也永远拉不完,机器永久停在 legacy-only——SQLite unified storage degraded to legacy-only (bili v0.1.197, node v20.19.5, win32-x64) #3338/SQLite unified storage degraded to legacy-only (bili v0.1.197, node v20.20.2, win32-x64) #3385 正是两台这样的机器。
    2. 什么原因导致的:单源下载、无冗余。fix: align SQLite engine self-download timeout with the updater (10s -> 60s) #3348 扩大的是时间预算,没增加可达性多样性;黑洞型网络失败不是任何超时值能解的。
    3. 影响范围与严重程度(按选项):
      • A:网络能到 npmmirror 但到不了 npmjs 的默认用户零配置拿到引擎(本次事故的主要受影响面);严重度=解除功能降级。回归风险低:只动 engine-bootstrap 一处下载调用;快速失败错误(ECONNREFUSED 类)每源仍快速失败、不等满 60s;最坏首启等待 60s→~2min(每 6h 窗口至多一次);新增出站流量仅在第一源失败时发生。
      • B:影响面是 A 的超集(钉了内网源且该源挂掉的用户也能兜底);回归风险略高:显式配置从「权威」变「尽力而为」,静默向公共源发流量可能违背合规预期。
      • C:最灵活;技术风险最低,但扩配置面(owner 领域,需 en+zh 文档+测试),对「两个公共源」的现实过度设计。
    4. 怎么修复的(A):有序候选列表 + 每次尝试独立预算 + 共享 sha512 pin 校验 + 全失败走既有 cooldown;用户有显式配置时行为零变化。
    5. 是否有回归问题(按选项):A —— 探测梯顺序、fail-safe 映射、sha 校验+rename 发布次序、cooldown 机制、启动流逐项过,全部保持;唯一有意变更 = 默认源失败时多一次回退尝试(旧值→新值:单源 60s → 双源×60s,已披露)。B —— 同 A,外加「显式配置不再权威」这一语义变化。C —— 无行为回归,新增配置面。
    6. 是否破坏缓存:否。引擎缓存布局、marker 格式、压缩/前缀缓存均不变;marker 只是多记尝试过的源。
    7. 是否改了设计方向:否——仍是「自下载可选、fail-safe 到 legacy」,只加一个重试维度。
    8. 是否引入新配置:A/B 不引入(复用既有 BILI_UPDATE_REGISTRY);C 引入新字段(需你明确批准形状)。
    选项 默认用户收益 显式配置语义 配置面 首启最坏等待 推荐
    A 内置链+显式独占 ✅ 权威(不变) 无 ~2min ✅
    B 内置链+显式排首 ✅✅ 尽力而为(变了) 无 ~2min —
    C 可配置列表 ✅(配了才有) 权威 新字段 取决于配置 默认否

    3. 提示升级 Node —— 不需要决策,我现在就做:缺引擎降级时,在 [storage] warn 行(src/storage/shadow.ts:100)和 diagnostics 的 degrade reason:(src/storage/runtime-status.ts:88/:107)追加一句提示——当前 Node 没有内置 node:sqlite,升级到较新的 Node.js(自带 node:sqlite)即可完全跳过下载。先立项再开小 PR,链接随后补在这条线程里。

    另有一项仍待你拍板(沿用 #3348 floor 3 的第二个决策):启动非阻塞化是否单开 issue——现在 src/cli.ts:601 同步 await ensureSqliteEngine,引擎不可用时整个进程启动被阻塞(最坏 ~2min 在多镜像方案落地后)。它与本轮改动是不同机制(启动控制流),我建议单开一条跟踪。

  5. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    三个问题的最新状态:

    1. 60s 超时 —— 已合入。 PR #3348 已于今早 04:24Z 合并进 master(自更新构建 0.0.515-master.74a79ab 已发布)。升级到含此修复的版本后,引擎自下载超时即为 60 秒。

    2. 内置多镜像(npm + npmmirror)—— 可行,等你拍板。 上一条回复给过完整对比,这里一句话复述:

    • 方案 A(推荐):显式配置(BILI_UPDATE_REGISTRY/update.registry)设置时独占生效;未设置时按内置链 registry.npmjs.org → registry.npmmirror.com 依次尝试,每源 60s 预算,sha512 校验不变,只改引擎自下载路径、不碰 src/update.ts;
    • 方案 B:显式配置放链首、失败仍回落公共镜像(合规环境可能有意外外联);
    • 方案 C:新增可配置镜像列表字段(扩配置面,默认不建议)。

    选定后我立即在 #3489 的 item A 开工。

    3. 提示用户升级 Node.js —— 已完成,见 PR #3491。 行为变更说明(旧→新):当运行节点没有可用 SQLite 引擎时(即你这种 Node 无内置 node:sqlite 的场景),日志告警行和诊断信息/web banner 的降级原因这两处会在原文后追加一句「— hint: upgrade to a newer Node.js; recent releases ship built-in node:sqlite and skip the engine download」;有内置模块的新版 Node 上输出逐字节不变,坏库(index.db 损坏)的告警也不会误加提示。wire 结构不变、无新增配置项。等 CI + 合并。

    八问小结(item B):

    1. 是什么问题:降级提示只说「没有 SQLite 引擎」,没告诉用户升级 Node 就能彻底免掉引擎下载。
    2. 什么原因:降级文案写于新版 Node 内置 node:sqlite 普及之前,缺这条出路指引。
    3. 影响范围与严重程度:仅已降级为 legacy-only 且 Node 无内置 sqlite 的用户看到的文本;体验缺口,无功能影响。
    4. 怎么修复的:新增 nodeSqliteUpgradeHint()——探测当前 Node 有无内置 node:sqlite,没有才追加提示句;日志告警与诊断原因共用这一个 helper。
    5. 是否回归:测试双向钉住(无内置→两处都带提示;有内置→两处都不带且输出与旧版一致);wire 形状不变,既有断言全部是子串/正则匹配,不受后缀影响。
    6. 缓存:不涉及。
    7. 设计方向:不涉及。
    8. 新配置:不涉及。

    判定:item B 由 PR #3491 交付(待 CI + 人工合并);item A(多镜像)待你选 A/B/C。眼下若急着恢复 unified,仍可用上一条回复里的临时办法:设 BILI_UPDATE_REGISTRY=https://registry.npmmirror.com、删掉 <cache>/sqlite/.bootstrap-failed.json 再重启。

  6. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收到「继续」——理解为按我推荐的方案 A 实施多镜像回退(#3489 item A),开工了。若理解有偏差请指出,分支可撤。

    当前状态:

    1. PR feat: SQLite engine self-download resilience - multi-mirror fallback + Node-upgrade hint (#3489) #3491(Node 升级提示):CI 进行中(static-gates 已过,test 分片运行中),mergeable=true。
    2. 多镜像(item A):按「一 issue 至多一 PR」纪律,并入 feat: SQLite engine self-download resilience - multi-mirror fallback + Node-upgrade hint (#3489) #3491 同一分支(两个 item 同属 feat: multi-mirror fallback for SQLite engine self-download + Node-upgrade hint in degrade output #3489),完成后更新 PR 标题/正文并改为 Closes feat: multi-mirror fallback for SQLite engine self-download + Node-upgrade hint in degrade output #3489。设计不变:显式配置(BILI_UPDATE_REGISTRY/update.registry)独占生效;未设置时按 registry.npmjs.org → registry.npmmirror.com 依次尝试,每源独立 60s 预算,sha512 校验逐源执行(钉死在仓库里的摘要不变,镜像只换字节来源);全部失败才写既有 6h 冷却标记(原因里带上各源失败信息)。只动引擎自下载路径,不碰 src/update.ts。

    完成后回来汇报 + 八问小结。

  7. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收到「继续」——按推荐方案 A 把多镜像做完了。至此你提的三件事全部落地:

    事项 状态
    ① 超时预算 10s→60s ✅ 已合(#3348,build 0.0.515-master.74a79ab)
    ② 内置多镜像(npm + npmmirror) ✅ 本次完成,PR #3491 commit 0d25c307c
    ③ 提示用户升级 Node.js ✅ 上次完成,同 PR commit e1ffda6bc

    ② 的实现要点(按「一个 issue 一个 PR」纪律并入既有 PR #3491,未另开):

    • 未配置 registry 时,引擎自下载按内置公共链依次尝试 registry.npmjs.org → registry.npmmirror.com,每个来源各自的 60s 预算;第一个成功就停,不会多发请求;
    • 显式配置了 registry(你们企业环境设 BILI_UPDATE_REGISTRY 的场景)保持独占——绝不静默回落到公共镜像,这条是决策时钉死的约束;
    • 单个来源失败只记录原因并试下一个;全部失败才进入既有的 6 小时冷却,失败记录里会列出所有试过的来源;
    • sha512 完整性校验对每个来源独立生效——第一个镜像给了被篡改的包会被隔离,第二个仍能正常服务。

    八问(本轮改动部分):

    1. 是什么问题:引擎自下载只有单一 registry 来源,该来源不可达/慢就整体失败,叠加 6h 冷却让机器长期卡在 legacy-only(SQLite unified storage degraded to legacy-only (bili v0.1.197, node v20.20.2, win32-x64) #3385/SQLite unified storage degraded to legacy-only (bili v0.1.197, node v20.19.5, win32-x64) #3338 两台 Node 20 机器即此)。
    2. 什么原因导致的:下载逻辑没有回落链——单一地址 + 单一超时预算。
    3. 影响范围与严重程度:需自下载引擎(Node ≤21 / 早期 22.x 无内置 sqlite)且网络到不了 npmjs 的用户;严重度 = 功能降级(legacy-only),无数据丢失。修复后这类机器可自动落到 npmmirror。
    4. 怎么修复的:内置公共镜像链逐源尝试 + 显式配置独占 + 每源独立超时/独立完整性校验 + 全败才冷却。
    5. 是否有回归问题:显式 registry 行为不变(既有 hermetic 测试都显式设了 BILI_UPDATE_REGISTRY,走独占路径,零行为变化);happy path 不变(第一源成功不产生第二请求);冷却 marker 形状不变(reason 字符串可能变长,旧版二进制仍可解析);无 fail-fast 变吞错、无阈值/时序漂移。
    6. 是否破坏缓存:不涉及会话缓存/前缀缓存;引擎缓存目录布局不变;marker 格式兼容。
    7. 是否改了设计方向:否——只在既有自下载路径内加回落链;src/update.ts(自更新器)未动,它有独立的退避策略,属另一条线。
    8. 是否引入了新的配置:无新 env/config 项;复用既有 BILI_UPDATE_REGISTRY/update.registry 语义(未设置 = 走内置链)。

    行为变更披露:最坏启动等待从 ~60s 升到 ~2min(60s×2 源),仅发生在「需要自下载 && 6h 窗口内首次尝试 && 第一源失败」时;文档 en/zh 已同步(含修正 BILI_UPDATE_REGISTRY 条目里过时的「生产请勿设置」表述)。

    本地定向验证已过(bootstrap 套件 29/29,含 4 个新增用例),CI 正在跑新 head。判定:等 CI 绿 + 人工合并 #3491(合并后 #3489 自动关闭);另外 #3348 里那个「非阻塞启动」的决策问题仍待你拍板,不急。

  8. added a commit that references this issue on Oct 17, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions