Skip to content

[PR] feat: verif module kickoff — sub-language guard for Tier A kernel decision core + TS→z3 symex MVP + counterexample replay lock - #3861

Open
ranxianglei wants to merge 1 commit into
masterfrom
2026-10-19_verif-module-kickoff
Open

ranxianglei wants to merge 1 commit into
masterfrom
2026-10-19_verif-module-kickoff

Conversation

@ranxianglei

Copy link
Copy Markdown
Owner

Closes #3853 (kickoff deliverable of the #3848 route).

交付内容

1. 子语言守卫(独立有效,立刻进 CI)

  • verif/subset-guard.ts + verif/guarded-files.ts + verif/exceptions.ts;tests/verif-subset-guard.test.ts(23 用例)随 tests/*.test.ts 自动收集,各 OS 腿都会跑(约 1s)
  • 允许清单制、fail-closed:未识别的内置/方法/导入、async、生成器、类继承、装饰器、eval 族(eval/new Function/dynamic import/require)、环境读写(process/globalThis/global/import.meta)、逃逸闭包(返回或按标识符传递的同文件闭包)一律红
  • 双向红:未登记违规红;登记例外不再匹配任何活违规(过期库存)也红;排除函数指向不存在的函数也红;活违规数 ≠ 例外数(填充检测)也红
  • 负控制:19 个合成用例逐条证明守卫真的会抓 + 一个全允许面正控制保持绿
  • 当前 Tier A 全绿库存:4 条例外 + 1 个排除函数,每条带理由(Date.now createdAt 戳、console.warn 配置告警、process.env.ACP_REASONING_KEEP 开关、protectedFn 纯谓词传递;排除 createBpeTokenizer 可选 BPE 探测含 1–3 行 createRequire 绑定)
  • 粒度说明:owner 估计是「8 条例外」;实现的规则集更粗(对象字面量成员闭包、参数默认箭头属于允许位置而非例外)。登记的偏差更少是更强的状态,验收标准(Tier A 全绿 + 每个偏差显式有理由)按更小的数成立

2. 符号执行器 MVP(真代码,不是模型)

  • verif/symbolic.ts:tsc AST → z3(Int 域);DAW 值合并——每个变量持 (值,条件) 对列表,读时折成 ITE 链,路径数与 if 数线性,不枚举路径
  • 模块常量从源文件真实收集(MIN_INDEX=1 / MAX_INDEX=9_999_999 / REF_WIDTH=5 全部来自 refs.ts 源码)
  • 首个证明(refs.ts indexToRef):
    • 界内 [1, 9999999] 无 throw → UNSAT ✅
    • 界外 witness 由求解器给出 → 回放真实编译函数确认抛 RangeError ✅
    • 漂移对照:故意把 MAX_INDEX 改成 9999998 的歪镜头 → phantom witness 在真代码上不复现 → REPLAY MISMATCH 被抓 ✅
  • verif/replay.ts:回放锁——被验证的始终是真代码,翻译器只是镜头,镜头歪了当场暴露
  • 诚实边界:UnsupportedShape 大声拒绝未建模形状(循环、switch、除模、字符串运算、正则、组合子、跨函数调用)——静默近似被设计禁止;无循环体的「界内无 throw」证明是 sound 的,throw 可达性 witness 可能过近似(故必须回放)

风险与成本

  • z3-solver(wasm)进 devDependencies;CI 各 OS 腿多跑两个测试文件(合计秒级)
  • tsconfig include 增加 verif/**(新目录纳入 typecheck)
  • 不改任何生产代码;守卫只约束清单里十个文件;符号执行器只读源码
  • 配置面:无。行为变更:无。

后续(#3848 路线,不在本 PR)

数组组合子内联 → 符号消息序列;正则 → z3 re.;padStart/int→str 精确化;不变量 oracle(结构树比较);然后逐个打靶 #3676/#3691/#3769/#3805。

验证

本地定向:typecheck 干净 + 29/29 通过(guard 23 + symbolic 6);全量回归以远端 CI test 腿为准。

…ision core + TS→z3 symex MVP + counterexample replay lock

Piece 1 (guard): allowlist-based AST scan over the 10 Tier A files
(#3848). Unrecognized builtins/methods/imports, async, generators,
classes, eval-family, env access, and escaping closures all turn CI red.
Exceptions must be registered (file+rule+function+reason); a stale
exception is itself a failure. Current stock: 4 exceptions + 1 excluded
function (optional BPE probe), each with a stated reason.

Piece 2 (symex MVP): translates real function bodies from source into z3
(Int domain) via DAW value-merge (linear in if-count, no path
enumeration). First proof on refs.ts indexToRef: in-bounds [1, 9999999]
no-throw = UNSAT; out-of-bounds solver witness replays as RangeError on
the real compiled function; a deliberately skewed boundary lens produces
a phantom witness that the replay lock catches as REPLAY MISMATCH.

z3-solver (wasm) added as devDependency; tsconfig include gains verif/.
No production code touched; guard constrains only the listed files.
@github-actions

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: 2026-10-19_verif-module-kickoff (17ee875)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.4560-pr.3861.cc3b555

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr3861.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei ranxianglei changed the title feat: verif module kickoff — sub-language guard for Tier A kernel decision core + TS→z3 symex MVP + counterexample replay lock [PR] feat: verif module kickoff — sub-language guard for Tier A kernel decision core + TS→z3 symex MVP + counterexample replay lock Oct 19, 2026
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

查重: 不重复。 独立检索了 open+closed 的 issue 与 PR(关键词 verif / symbolic / z3 / subset guard / 子语言守卫 / 符号执行):无既有同主题条目或并行 PR。相关条目均为本单自身链路——#3848(路线,owner 已拍板)、#3853(本 PR 的 kickoff issue,Closes #3853);与 proof/(#2149 route-4 人工建模道)是不同机制的互补路线,不构成重复。无 master CI 红风暴牵连(本 PR 不修 CI)。

标签: pr + scope/ci + p3 —— 纯增量 CI/测试基建(dev tooling + devDependency),零生产代码改动、无用户可见故障面,功能类不打 bug。

开始审核:先核对分支代码与 diff 完整性,再跑定向测试(guard/symbolic 两个文件),最后按八问给结论。注:当前到 GitHub 的网络瞬断(connection reset),CI check-run 状态稍后补查;本地 ref 已有 PR head 17ee875,与 floor 评论一致。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

审查结论:可合并。 本地定向验证全绿(guard 23/23 + symbolic 6/6 + typecheck 干净);CI check-run 状态待补——沙箱到 GitHub 的出口网络当前中断(连接被重置,重试多次),按纪律全量回归以远端 CI test 腿为准,恢复后我补一条 CI 确认。

独立验证做了什么(不复述 PR 描述,全部自己重跑/重读)

  • diff 清点:11 文件 +1499/-3、单 commit;零 src/、零 kernel/、零 pi-subagents/;tsup entry 是显式清单 → verif/ 永不进 dist;z3-solver ^5.3.1 仅 devDependency(lockfile 钉死 5.3.1,传递依赖 async-mutex/tslib 均 dev:true)。
  • 本地定向跑:node --import tsx --test 两个新测试文件 —— 23/23 + 6/6 = 29/29,与 PR 声明一致;npm run typecheck 干净。
  • rebase 状态:分支落后本地 origin/master 参考(39fb841d,断网前取得)190 个提交;git merge-tree 整树合并探测对该参考零文本冲突。CI 侧 scripts/run-ci-tests.mjs:54 用 readdirSync 收集 tests/*.test.ts 再分片 → 新文件自动进各 OS 腿(机制核实过,非听信描述)。
  • 证明目标核对真实源码(kernel/src/refs.ts):MIN_INDEX/MAX_INDEX/REF_WIDTH 确实从源文件常量收集;indexToRef 的 throw 参数模板串与 return 表达式对翻译器是不透明的(只翻译条件路径)——这既是翻译能成功的原因,也是「界内无 throw」证明 sound 的前提。
  • soundness 方向手工推演:DAW 读取折叠(newest-first ITE 链)逐 case trace 正确;throw 点条件是过近似(早退后的代码拿到更弱条件)→ UNSAT 证明方向 sound,witness 可能幻影 → replay 锁兜底;drift control 测试(MAX_INDEX 歪一格 → REPLAY MISMATCH)证明这条链端到端真的抓得住。
  • 自造探针(合成片段喂 guardSource):enum 成员声明会连带触发 unknown-global(enum 实际被挡住);泛型注解(T[]、裸 T 参数)不误报;对象字面量方法体内的 this.x 静默通过(ThisExpression 未处理)——grep 十个 Tier A 文件零真实 this 用法(仅注释/字符串),当前纯理论空洞。

结构化八问

  1. 是什么问题:不是缺陷修复——Build a TS→SMT Symbolic Executor for the Decision Core: Real-Code Solving for Counterexamples + Counterexample Replay Ag | 给决策核造 TS→SMT 符号执行器:真代码求解找反例+反例回放防漂移+子语言守卫 #3848 路线的 kickoff 交付件:给内核决策核心十个 Tier A 文件上子语言守卫(写出翻译器不能建模的构造就红),外加 TS→z3 符号执行器 MVP 和反例回放锁。
  2. 什么原因导致的:不适用(功能)。背景:内核不变量此前只有人审 + 模型推理,无机械验证;[design] Pin cache stability with two outbound invariants: no-fold ⇒ exit only appends a tail; fold ⇒ bytes before the f | [design] 用两条出站不变量定死缓存稳定:无折叠=出口只多尾部,有折叠=折叠点前字节不动(证明式断言 + 属性/SMT 搜索分层) #3842 否决了手工建模,路线因此选真实源码翻译 + 回放锁。
  3. 影响范围与严重程度:生产代码零改动;只影响 CI(每腿多两个测试文件,秒级)与 typecheck 范围(+verif/**)。无用户可见行为变化,无严重度。
  4. 怎么修复的:守卫 = 允许清单 fail-closed + 双向库存审计(未登记违规红 / 过期例外红 / 排除指向不存在函数红 / 活违规数≠例外数红,四个方向各有负控制测试钉住);symex = 动态单赋值值合并(变量持 (值,条件) 对,读时折 ITE 链,路径数与 if 数线性不枚举)+ 未建模形状大声 UnsupportedShape;回放锁 = witness 必须在真编译函数上复现,不符当场报 REPLAY MISMATCH。
  5. 是否有回归问题:既有行为逐项清点——生产运行时不变 / dist bundle 不变(entry 显式清单)/ 依赖面仅 dev / CI 收集分片机制未动(只是文件变多)/ typecheck 范围扩大是有意为之 / 配置、env、wire 协议、持久化格式、缓存策略、自动更新路径全部未触碰 → 无回归。
  6. 是否破坏缓存:不涉及(纯开发工具,不碰会话/缓存/重试/去重逻辑)。
  7. 是否改了设计方向:没有。完全沿 owner 批准的 Build a TS→SMT Symbolic Executor for the Decision Core: Real-Code Solving for Counterexamples + Counterexample Replay Ag | 给决策核造 TS→SMT 符号执行器:真代码求解找反例+反例回放防漂移+子语言守卫 #3848 路线(真实代码翻译、反手工建模);新增 verif/ 目录边界清晰——dev/test only,永不进 dist。
  8. 是否引入新配置:没有(无新 env/config/CLI flag;z3-solver 为 devDependency,lockfile 钉 5.3.1)。

非阻塞发现(已同步登记到 #3848 路线清单,含修法):① 守卫缺 this/super 规则(对象方法内 this.x 静默通过;Tier A 现零用法,symex 后续会大声拒绝,无 soundness 风险);② 循环可写入但 symex MVP 拒绝——有意分阶段,README 已如实写明,PR 描述一句措辞比实际强;③ float64 vs z3 Int 在越过 2^53 时分叉,泛化前须写进 soundness contract;④ 小疵:「19 个合成用例」实为 18 负控制行 + 1 正控制(口径差一)、isSBool 依赖 z3-solver 内部 __typename(版本已钉死,可接受)。

判定:两项验收标准(守卫进 CI 且 Tier A 全绿 + 每个偏差有显式理由;symex 首靶「界内无反例」+ 注入歪斜即红)均达成且经独立复现;方向符合路线、diff 干净、测试有牙。可合并——建议先 rebase 最新 master(当前落后 190 提交、无冲突),push 后看 CI test 腿绿即可合。

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant