feat(search): 反向查询、零命中自动切分、最长可命中子串回退

[xr843]

Summary

给 fojin parallel 增加三项检索能力。三者只在整串查询零命中时介入——有命中的查询路径逐字节不变。

1. --from <lang> 反向查询(梵/藏 → 汉)

foreign_text 一直躺在本地库里却没有入口。现在可以拿一句梵文转写或藏文反查汉文对应,输出结构与正查完全一致(命中某行外文后,仍按汉文分段分组,并展示该组的全部平行——用梵文找到,也看得见藏文)。

匹配在 Rust 侧做完整 Unicode 大小写折叠,不用 SQL instr:SQLite 的 instr 大小写敏感,其 LOWER() 只处理 ASCII,折叠不了 Ś→ś,而数据里句首大写很常见(Tasmāc Chāriputra …),用户输入 tasmāc 会一条都查不到。变音符号仍须精确匹配。

不建索引(否则库要从 588 MB 涨到近 1 GB、且强制所有用户重下 183 MB)。改用两趟扫描:第一趟只在 from_lang 的行里定位命中的分组键,无命中直接返回;第二趟按 cbeta_id 分批收窄取回各语种行。反查最少 3 个字符,且不做切分与回退。

2. 零命中时按句自动切分重查

此前 README 的处理是让用户"请拆成短句分别查"——这件事工具自己能做。整串零命中且能切出 ≥2 个有效分句时,按句读切分逐段重查,输出分句小节。--no-split 关闭,20 句上限且明确告知截断了多少。

断句字符集只取句级标点,不含书名号、引号、括号、间隔号和顿号——它们出现在句中,在那里断会把词组切碎。顿号尤其关键:佛典列举无处不在(色聲香味觸法),在 、 处断句会把「不住色、聲、香、味、觸、法」切成【不住色】(32 组噪音)加一串被丢弃的单字。

3. 仍零命中时给出最长可命中子串

"未找到对齐"此前是条死路。现在对无命中的串二分搜索出最长的、确实有对齐的连续子串并提示出来(依据:若长度 L 的某子串命中,其任意长度 L−1 子串也命中,故该命题关于 L 单调)。最短 3 字(2 字子串在 90 万行语料里几乎总能命中,毫无信息量),归一化后超过 60 字则跳过。

附带

• --lang / --from 的未知语种代码现在报用法错误(退出码 2),此前静默返回"未找到对齐",会让人误判成数据没覆盖。
• --json 新增 schema_version;切分时带 segments[],整串回退时带 fallback{}。顶层 matched/total/shown/groups 语义不变,现有 agent 消费者零修改继续工作。
• 抽出 src/search/ 编排层,cli.rs 不再承担策略。split.rs 与 fallback.rs 是纯函数(命中判定由闭包注入),单元测试完全不碰数据库。

Verification

rustup run 1.95.0 cargo test --all --locked        # MSRV,213 passed
rustup run 1.96.0 cargo fmt --all --check          # 通过
rustup run 1.96.0 cargo clippy --all-targets --locked -- -D warnings   # 0 警告
cd data-pipeline && python3 -m pytest tests/ -q    # 1 passed(归一化 Rust/Python 一致性)

本机默认 stable 为 1.88,低于 MSRV 1.95,故上述命令用 rustup run 指定工具链;MSRV 检查用的正是 1.95.0。

真实数据验证(588 MB / 908,620 行 / 1016 部 Taishō):

从 merge-base 编译基线二进制,对 12 组真实查询与本分支逐字节对比——11 组完全一致,唯一差异是有意新增的 "schema_version": 1。覆盖命中查询、高频词(涉及数千行)、--lang 过滤、--all(21 KB 输出)、繁简归一、cite、cite --juan、texts、texts --json。"有命中的查询输出不变"这一承诺因此是在真实数据的多条路径上被证实的,不只依赖单条 golden 测试。

零命中路径耗时(真实数据,热缓存):

场景	耗时
反查 --from sa	1.31–1.36 s
回退提示	0.016 s
20 段 × 46 字非匹配拉丁文(最坏)	0.078 s
命中路径(对照)	0.003 s

最后一项在开发中途曾是 114.9 s:回退探测用完整查询判空、二分下界为 2,而长度 <3 的候选会落进 instr 全表扫描(90 万行、无索引)。改为最短 3 字 + 专用存在性检查(SELECT 1 … LIMIT 1,保持 --lang 过滤语义)后降至 0.078 s。新增的 never_probes_a_candidate_below_the_fts_floor 测试与一条编译期断言共同防止该回归重现。

Checklist

• The change is focused and contains no credentials, generated datasets, build artifacts, or public vulnerability details.
• I added or updated tests for behavior changes, or explained why tests are not applicable.
• cargo +stable fmt --all --check passes.(以 1.96.0 代 stable,理由见上)
• cargo +stable clippy --all-targets --locked -- -D warnings passes.(同上)
• cargo +stable test --all --locked passes.(同上)
• cargo +1.95.0 test --all --locked passes when the change affects Rust code or dependencies.
• Relevant Python and shell checks from CONTRIBUTING.md pass.(normalize.rs 与 data-pipeline 均未改动,归一化一致性契约未受影响,parity 测试仍通过)
• Documentation and the unreleased changelog entry are updated when user-visible behavior changes.
• Dependency changes include the intended Cargo.lock update and retain the MSRV.(未新增任何依赖,Cargo.toml/Cargo.lock 未改动)
• Data changes comply with DATA_LICENSE; code changes are acceptable under MIT OR Apache-2.0.

已知遗留(建议另开 issue,均不阻塞本 PR)

1. --from 短串的预检文案仍是"至少需要 2 个汉字",而反查实际下限是 3 个字符。修它需让预检按 from.is_some() 分支。
2. 恰好 2 字的分句仍会走 instr 全表扫描(单次约 0.11 s,20 句上限约 2.2 s)。这是既有行为(2 字查询走 instr 早于本分支),切分只是放大了它。
3. src/cli.rs 中 crate::lang:: 与 lang:: 两种调用风格并存;src/render.rs 内联全限定 crate::search::split::MAX_SEGMENTS。
4. src/search/mod.rs 与 src/query.rs 各有一份分组身份三元组(后者未导出无法直接复用),建议在 model.rs 上加 MatchGroup::identity()。
5. tests/command.rs 中新测试手搓 std::process::Command,未用文件既有的 run_fojin helper(该文件本就混用两种风格)。
6. README 的 --json 示例现与 data-v1 绑定,换数据集需刷新。