Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion CHANGELOG.md
Original file line number Diff line number Diff line change
Expand Up @@ -98,7 +98,7 @@
- **「人物关系全是乱的,经常把别人的影响加到其他人身上」** —— 三个根因叠加,都用真机库(`~/.dsh/fish-soul/soul.db`)查证过:
- **① 署名叫不出人名时回退到「当前聊天对象」**:`soul-memory.js` 的 `ChatDigester.run()` 里 `ownerOfName(who) ?? single`。私聊里她整理出一条关于**第三者**的记忆("我朋友小明在准备考研"),`小明` 在库里查不到 ⇒ 落到聊天对象名下。`people[]`(**好感的唯一入口**)那条更狠:加的是聊天对象的好感。现在:**空署名**才回退(模型没写名字,这一轮只有一个人在说话);**有署名但查不到 = 第三者 ⇒ 这条不记**。宁可漏记,不可记错人 —— 记错人会一直被人当真。`summary` 那条 episode 不动(它的语义本来就是「这段聊天的小结属于聊天对象」)。
- **② 同一个人被拆成多行 person**:`person.douyin_uid` 一列历史上混着**四种写法** —— `douyin:<uid>`(会话身份)、`uid:<uid>`(群聊老格式)、**裸昵称**、**逗号拼接的名字**(真机里真有 `Re., 未云, 云` 这种)。而认人是按这一列**精确匹配** ⇒ 换个写法就是「新的人」⇒ 每人各记一套好感 / 印象 / 记忆。现在 `normalizeDouyinIdentity()` 统一成 `douyin:<数字uid>`(裸昵称原样保留 —— 还原不出 uid,同一个名字还是同一个人,但不能硬套到某个 uid 上);`mergeDouyinTwinRows()` 把库里已有的「另一种写法」并成一行(记忆 / 互动次数跟着走,只并只挂这一个平台的行 —— 挂着 QQ / B站 号的是真人身份,不动);`cleanupMergedDouyinNames()` 清掉逗号拼接的脏身份(**只清理不合并**:那种行对应的是好几个人,并到谁头上都是把别人的往来记到他头上)。
- **③ 19 位 uid 被 `Number()` 截断**:抖音 uid 是 19 位、超过 `Number.MAX_SAFE_INTEGER`,过一次 Number 末位就没了(真机脏值 `7702399256389125000` 与 `Number('7702399256389125169')` **逐位吻合**)。**来源是设置页输入框 placeholder 和报错文案里的示例 uid** —— 用户从会话里拷 uid 时照着示例填,就把截断值填进了配置。现在示例里的具体数字已删掉,改成「你的抖音数字 uid」;归一化全程走正则、不经过 Number。
- **③ 19 位 uid 被 `Number()` 截断**:抖音 uid 是 19 位、超过 `Number.MAX_SAFE_INTEGER`,过一次 Number 末位就没了(真机脏值是主人真实 uid 过一次 `Number()` 后的结果,**与原值末几位被抹平、逐位吻合**)。**来源是设置页输入框 placeholder 和报错文案里的示例 uid** —— 用户从会话里拷 uid 时照着示例填,就把截断值填进了配置。现在示例里的具体数字已删掉,改成「你的抖音数字 uid」;归一化全程走正则、不经过 Number。
- **「抖音能看到消息,但读会话拿不到 convId」** —— 根因不是抓不到,是**取事件用错了坐标系**:`browser.mjs` 的 `events` 有 800 上限(超了 `splice(0,400)`),`goto()` 还会整个清空;而调用方把 `browser.events.length` 当游标存起来,`imResponses` 用 `slice(since)` 取「游标之后」的事件 ⇒ 两种情况下长度快照都跟数组下标脱钩,**会话接口的响应明明在缓冲里却被静默漏掉**。后果链:`captureImBodies` 恒空 → `pickMessages` 无数据 → 解不出 convId → `readConversation` 判「会话身份缺失」拒绝处理 → 面板显示读取失败,而主人明明能在抖音里看到消息。现在每个事件带**单调递增序号**(`browser.seq` / `msg.__seq`,只增不减),新增 `eventsSince()` / `eventCursorOf()` 两个游标原语,6 处调用点全部换掉。
- 白盒复现(真 `Browser` + `handleMessage` 灌事件):裁剪 / 重置两场景命中 **0**,正常 1;修好后 1/1/1。
- ⚠️ 推送路改游标时踩过一坑:没有 `eventCursor` 的假 browser(测试手造的)必须**原样**走老的 `indexOf` 语义 —— 「锚点被裁掉时 indexOf 返回 -1 ⇒ 从头重扫」是有测试守着的契约(`test/douyin-read-cache.mjs`),换成长度就把它打挂了。
Expand Down
6 changes: 3 additions & 3 deletions lib/gateway.js
Original file line number Diff line number Diff line change
Expand Up @@ -384,11 +384,11 @@ export class ChatGateway {
* 昵称可以随便改,只拿昵称当身份 ⇒ 任何人改名就能读/写别人的私聊会话
* (真机验证过,PR #96 原版确实能并进去)。
*
* 但主人习惯在设置页写「昵称 = QQ 号」(真机就是 `未云=3630958828`)。
* 但主人习惯在设置页写「昵称 = QQ 号」(比如填 `某个昵称=12345678` 这种)。
* 所以这里做成**两级**:
*
* ① **数字 uid 对应表**(`2874562949425280=3630958828`)—— 直接认,最硬;
* ② **昵称对应表**(`未云=3630958828`)—— 只用来**定位候选**,
* ① **数字 uid 对应表**(`1234567890123456=12345678`)—— 直接认,最硬;
* ② **昵称对应表**(`某个昵称=12345678`)—— 只用来**定位候选**,
* 还必须拿到这个会话的**真实 uid**,且该 uid 已在**绑定表**里被确认过
* (`douyin.uin.<uid>` → QQ 号)。
*
Expand Down
2 changes: 1 addition & 1 deletion scripts/fix-douyin-master-split.mjs
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@
// ① master 行同时挂 QQ + B站,但没挂抖音 ⇒ 主人的抖音消息被建成独立 person 行 ⇒
// 「抖音的记忆跟 QQ/B站 分开」。根因是 `douyin.masterUid` 是空的:认人走
// `resolveOrCreatePlatformPerson({ masterId: cfg.masterUid || '' })`,空就认不出主人。
// ② `person.douyin_uid` 里混着裸昵称(`Re.`)和截断 uid(`uid:7702399256389125000`),
// ② `person.douyin_uid` 里混着裸昵称(`Re.`)和截断 uid(`uid:<被 Number 抹平的 19 位数字>`),
// 而认人按这一列精确匹配 ⇒ 同一个人的不同写法各占一行。
//
// 用法:node scripts/fix-douyin-master-split.mjs [--dry-run]
Expand Down
50 changes: 0 additions & 50 deletions scripts/gen-secrets-baseline.mjs

This file was deleted.

32 changes: 0 additions & 32 deletions test/check-secrets.baseline.txt

This file was deleted.

79 changes: 54 additions & 25 deletions test/check-secrets.mjs
Original file line number Diff line number Diff line change
@@ -1,21 +1,30 @@
/**
* 静态检查:真实身份标识符(QQ 号 / 抖音 uid)不进仓库。
* 静态检查:真实身份标识符(QQ 号 / 抖音 uid / B站 uid)不进仓库。
*
* 为什么要有这个测试:
* 仓库是公开的。真实 QQ 号 / 抖音 uid 一旦提交,历史里永久留存、不可撤回。
* 靠「提交前记得 git status 逐个看」在真机上证明是不够的 —— 已经漏过(见 baseline)。
* 靠「提交前记得 git status 逐个看」在真机上证明是不够的 —— 已经漏过。
*
* 设计要点:
* 黑名单只存**哈希**,不存真值 —— 否则这个脚本自己就是泄漏源。
* baseline 记「已知存量」的文件+哈希,让存量可见、新增被拦,
* 不用一次性改一堆测试夹具(存量清理单独立项)。
* 判据:精确匹配整个数字 token(哈希比对),不靠长度/模式猜 —— 零误报。
*
* 判据:精确匹配整个数字 token(哈希比对),不靠长度/模式猜 —— 零误报。
* 扫两处:
* ① 工作区副本(readFileSync)
* ② **索引里的版本**(git show :<path>)—— `git commit` 提交的是索引,不是工作区。
* 「先 git add 密内容、再把工作区改干净」时,工作区是干净的、索引是密的,
* 只扫工作区会放过这次真正要提交的内容。
* ⇒ 改了文件但还没 `git add` 时,检查会报「已暂存版本」命中 —— 那是**对的**:
* 现在 `git commit` 提交的就是索引里那份。`git add` 同步后即恢复绿色。
*
* 只扫 git 视角的文件(ls-files + --others --exclude-standard):
* gitignore 的本地文件(交接文档 / history/ / 探针脚本)不进仓库,不该被拦。
*/
import assert from 'node:assert/strict';
import { createHash } from 'node:crypto';
import { readFileSync, existsSync, readdirSync, statSync } from 'node:fs';
import { join, relative } from 'node:path';
import { spawnSync } from 'node:child_process';
import { readFileSync, existsSync } from 'node:fs';
import { join } from 'node:path';

const root = join(import.meta.dirname, '..');
const h = (s) => createHash('sha256').update(s).digest('hex').slice(0, 16);
Expand All @@ -27,10 +36,16 @@ const BLOCKED = new Map([
['ffd02f553314b7f4', '主人 QQ 号'],
['5dd6571f762b5f39', '主人抖音 uid'],
['72b75cbde2cc73ef', '机器人自己抖音 uid'],
['f45897f1b90c4e18', '抖音 uid 的 Number 截断值(可反推真实 uid 前 16 位)']
['f45897f1b90c4e18', '抖音 uid 的 Number 截断值(可反推真实 uid 前 16 位)'],
['6cee4e6e3291b439', '机器人自己的 QQ 号(曾误填成主人)'],
['2463c5745dfd7e12', '另一个真实 QQ 号'],
['e1b94d6a65728571', '主人 B站 uid'],
['be5b56a1d03f0159', '主人另一个 B站 uid']
]);

// ── baseline:已知存量(文件路径 → 该文件里允许出现的值哈希)。只减不增。
// 存量已清零(2026-11-17),这个机制保留着:将来若又有存量,加回文件即可,
// 不用临时改代码。没 baseline 文件时正常工作。
const BASELINE_FILE = join(import.meta.dirname, 'check-secrets.baseline.txt');
const baseline = new Map(); // file → Set<hash>
if (existsSync(BASELINE_FILE)) {
Expand All @@ -42,39 +57,53 @@ if (existsSync(BASELINE_FILE)) {
}
}

// ── 收集要扫的文件:常见源码后缀(跳过 node_modules / .git / 探针目录 / 快照)
const SKIP_DIRS = new Set(['node_modules', '.git', '.alma-snapshots', 'probe-scratch', 'probe-group', 'probe-gid', 'probe-group-uid', 'probe-webp-tmp', '.benchmark']);
// ── 收集要扫的文件:**只扫会被提交的文件**。
// 判据是 git 的视角,不是文件系统的视角:
// `git ls-files` = 已跟踪
// `git ls-files -o --exclude-standard` = 未跟踪但没被忽略(即将提交的)
// gitignore 的本地文件(docs/handoff.md、history/、探针脚本)不进仓库 ⇒ 不扫、不拦、不占 baseline。
const SCAN_EXT = /\.(mjs|js|json|md|yml|yaml|txt|css|html|sh)$/;
function walk(dir, out = []) {
for (const name of readdirSync(dir)) {
if (SKIP_DIRS.has(name)) continue;
const full = join(dir, name);
let st;
try { st = statSync(full); } catch { continue; }
if (st.isDirectory()) walk(full, out);
else if (SCAN_EXT.test(name)) out.push(full);
}
return out;
function listRepoFiles() {
// ⚠️ `-c core.quotePath=false` 不能省:git 默认把非 ASCII 路径转义成
// "docs/\346\226\260...\346\241\243" 这种带引号的八进制串,末尾的引号会让
// SCAN_EXT 判 false ⇒ **中文名文件被静默跳过**(仓库里本来就有中文名文件)。
const res = spawnSync('git', ['-c', 'core.quotePath=false', 'ls-files'], { cwd: root, encoding: 'utf8' });
const untracked = spawnSync('git', ['-c', 'core.quotePath=false', 'ls-files', '--others', '--exclude-standard'], { cwd: root, encoding: 'utf8' });
if (res.status !== 0) throw new Error(`git ls-files 失败:${res.stderr || '未知'}`);
if (untracked.status !== 0) throw new Error(`git ls-files --others 失败:${untracked.stderr || '未知'}`);
const all = `${res.stdout}\n${untracked.stdout}`;
return [...new Set(all.split('\n').map((x) => x.trim()).filter(Boolean))].filter((f) => SCAN_EXT.test(f));
}

const hits = []; // 新增命中(要报错)
const known = []; // 存量(baseline 覆盖)
for (const full of walk(root)) {
const rel = relative(root, full).split('\\').join('/');
let src;
try { src = readFileSync(full, 'utf8'); } catch { continue; }

/** 扫一段文本,返回命中位置。 */
function scanText(rel, src, label) {
const lines = src.split('\n');
for (let i = 0; i < lines.length; i++) {
// 只认「整个数字 token」:前后不是数字
for (const m of lines[i].matchAll(/(?<!\d)(\d{8,20})(?!\d)/g)) {
const hash = h(m[1]);
if (!BLOCKED.has(hash)) continue;
const where = `${rel}:${i + 1}`;
const where = `${rel}:${i + 1}${label}`;
if (baseline.get(rel)?.has(hash)) { known.push(`${where}(${BLOCKED.get(hash)},存量)`); continue; }
hits.push(`${where} 出现${BLOCKED.get(hash)}`);
}
}
}

for (const rel of listRepoFiles()) {
// ① 工作区副本
let src;
try { src = readFileSync(join(root, rel), 'utf8'); } catch { continue; }
scanText(rel, src, '');

// ② 索引里的版本(staged)——「先 git add 密内容,再把工作区改干净」时
// 工作区是干净的、索引里是密的 ⇒ 只扫工作区会放过这次要提交的内容。
const staged = spawnSync('git', ['show', `:${rel}`], { cwd: root, encoding: 'utf8', maxBuffer: 64 * 1024 * 1024 });
if (staged.status === 0 && staged.stdout !== src) scanText(rel, staged.stdout, '(已暂存版本)');
}

assert.deepEqual(hits, [], `这些地方出现了真实身份标识符(仓库是公开的,提交后不可撤回):\n${hits.join('\n')}\n\n改法:换成明显假的占位符(如 12345678 / 1234567890123456789)。`);
console.log(`✓ 真实身份脱敏检查:新增命中 0 处;存量 ${known.length} 处(baseline 覆盖,待清理)`);
2 changes: 1 addition & 1 deletion test/douyin-conversation.mjs
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ import {
soleConversationId, conversationIdentity, isPeerMessage, senderBelongsToConversation
} from '../lib/douyin-conversation.js';

const ME = '7702399256389125000';
const ME = '7000000000000000001';
const PEER = '1234567890123456789';

// ── 会话 ID 解析 ──
Expand Down
2 changes: 1 addition & 1 deletion test/douyin-identity-e2e.mjs
Original file line number Diff line number Diff line change
Expand Up @@ -13,7 +13,7 @@ const { ChatGateway } = await import('../lib/gateway.js');
const { DouyinChannel } = await import('../lib/channels/douyin.js');

const SELF = '900001';
const MASTER = '7702399256389125000'; // 主人的抖音 uid
const MASTER = '7000000000000000001'; // 主人的抖音 uid
const STRANGER = '1234567890123456789'; // 陌生人
const conv = (peer) => `0:1:${SELF}:${peer}`;

Expand Down
2 changes: 1 addition & 1 deletion test/douyin-inbox-contract.mjs
Original file line number Diff line number Diff line change
Expand Up @@ -25,7 +25,7 @@ const { DouyinInbox } = await import('../lib/douyin-inbox.js');
new DouyinInbox(db).status();

const SELF = '900001';
const PEER = '7702399256389125000';
const PEER = '7000000000000000001';
const CONV = `0:1:${SELF}:${PEER}`;
const keyOf = (name) => `douyin.conv.${createHash('sha1').update(String(name)).digest('hex').slice(0, 16)}`;

Expand Down
2 changes: 1 addition & 1 deletion test/douyin-inbox-diag.mjs
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ const { DiagLog, describeEntry } = await import('../lib/diag-log.js');

const db = openDatabase();
const SELF = '900001';
const PEER = '7702399256389125000';
const PEER = '7000000000000000001';
const keyOf = (name) => `douyin.conv.${createHash('sha1').update(String(name)).digest('hex').slice(0, 16)}`;
const msg = (id, channelId = 'douyin:Re.') => ({ channelId, messageId: id, text: id, timeMs: Date.now() });
// key 带会话后缀(`douyin-inbox-gap:douyin:Re.`),按前缀找
Expand Down
6 changes: 3 additions & 3 deletions test/douyin-master-person-merge.mjs
Original file line number Diff line number Diff line change
Expand Up @@ -16,7 +16,7 @@ process.env.DSH_HOME = home;
const { openDatabase, resolveOrCreatePlatformPerson, setKv } = await import('../lib/db.js');

const ok = (m) => console.log('✓', m);
const UID = '2874562949425280';
const UID = '7100000000000000001';
const KEY = `douyin:${UID}`;

const fresh = (tag) => {
Expand All @@ -25,7 +25,7 @@ const fresh = (tag) => {
};
const seedMaster = (db, douyinUid = null) => {
db.prepare(`INSERT INTO person (canonical_id, qq_uin, bili_uid, douyin_uid, display_name, relation_stage, interaction_count, first_seen_at, last_seen_at)
VALUES ('master', '3630958828', '3546699440064926', ?, 'later', 'close', 10, ?, ?)`).run(douyinUid, Date.now(), Date.now());
VALUES ('master', '12345678', '1234567879123456', ?, 'later', 'close', 10, ?, ?)`).run(douyinUid, Date.now(), Date.now());
};
const memOf = (db, cid) => db.prepare("SELECT COUNT(*) n FROM memory WHERE owner_id = ? AND status='active'").get(`user:${cid}`).n;
const insertMem = (db, cid, text) => db.prepare(`INSERT INTO memory (character_id, owner_id, channel, channel_id, kind, content, keywords, importance, emotion, source_session, created_at, updated_at, status)
Expand Down Expand Up @@ -58,7 +58,7 @@ const insertMem = (db, cid, text) => db.prepare(`INSERT INTO memory (character_i
const db = fresh('binding');
seedMaster(db);
// 模拟真机:绑定表里明明有一条对的
setKv(db, `douyin.uin.${UID}`, '3630958828');
setKv(db, `douyin.uin.${UID}`, '12345678');
const p = resolveOrCreatePlatformPerson(db, { platform: 'douyin', platformId: UID, nickname: '未云', nowMs: Date.now(), masterId: '' });
assert.notEqual(p.canonical_id, 'master', '绑定表存在不代表记忆会并到一起(它只管并会话)');
ok('绑定表 / links 里有映射也不能替代 masterUid(记忆归属看 person 行)');
Expand Down
Loading
Loading