父议题 #978。本单提供验证方法,供披露、教学和恢复切片共用。 ## 分 5 个可独立评审的小 PR - [ ] **V1 固定测试环境**。复用 test/lib/agent-loop.mjs 和现有 PTC 装配 fixture。记录插件 SHA、宿主版本、平台、worker 哈希、权限、开关和实际 agentPreset。测试用独占临时 DSH_HOME,只用新造的无敏感样例。若实际走 Standard、worker 跳过或模型路由未知,明确报无效。 - [ ] **V2 逐步采集字节与工具集合**。依赖 V1。扩展 test/ptc-cost.test.mjs / test/prompt-budget.test.mjs 的同一渲染路径。分别输出 system、其中的 tools:sdk、外层 wire tools 和消息历史(含首次教学、提醒)。SDK 是 system 子集,不能重复计数。记录原始 UTF-8 字节与各项名称,用真实官方 read/glob/grep schema。每条记录说明是否发出真实模型请求。 - [ ] **V3 验证两档发布矩阵**。依赖 V1 和披露发布切片。对旧配置、按需首步、加载 glob/grep 后、全加载、全量直出、只读、窄池和自定义 preset,分别比较 SDK 声明、本步准入和程序可调用集合。至少执行一个只读 sentinel。显式区分有 toolSet 的真实请求与无 toolSet 的诊断视图。检查隐藏官方名之后 tool:* 指引是否还指向它。 - [ ] **V4 四个 Flash 行为样例与判定器**。入口 bench/tasks 和相应 verifier。分页的正确游标、目录错误后的可用替代、未加载工具的下一程序、等待/多派发误判各一例。题面只给业务目标,答案由判定器验证;加入正常完成无须重试的反例。先用脚本化响应证明判定器可区分成功与失败。 - [ ] **V5 隔离对照与报告**。依赖 V2–V4。使用实际 OPS-PTC 路由 opencode-go/deepseek-v4.1-flash,固定 reasoning effort。试点可先选2项任务 × 3次重复 × 2组,加同条件 A/A 对照12次,共24个会话。按任务报正确下一步次数/纠偏机会数、通过数/计划数、无进展重试、超时、每步与全程输入及可得的 cache usage。缺失 usage 单列。记录实际配置差异,避免一次调整工具显隐和教学后把效果都归到提示词。 ## 基准读数和读法 58f6e281,宿主0.2.2-rc.1,Linux 隔离 prompt-budget 组:5,743→12,782 B,外层 wire 1,810 B 两侧相同。该测量只涵盖常驻装配。另一个固定工具池的隔离披露组中,按需首轮9,232 B,加载 glob+grep 后27,588 B,无 loader 且全量允许工具已常驻的对照116,076 B。这三行只能在该组内比较。业务工具集完全展开后,应另计前面加载带来的历史消息。 ## 关闭标准 提交可复跑命令、环境摘要、逐项原始计数、失败与跳过、数据口径和双语说明。真实任务通过率、成本和告警后恢复率分开报告;处理好任务才能计入成功。若模型实验无可判定差异,保留该结果。按认领卡分别提交,测量 PR 不兼做工具语义修改。
Activity
Thatgfsj commentedon Nov 18, 2026
独立认领入口
每行直达详细步骤、文件范围与验收。已有实现的任务请在原 Issue 认领。
Thatgfsj commentedon Nov 20, 2026
验收与成本口径已随 #1033 合入 main(c70633da):V1–V5 卡(#990–#994)交付了隔离入口、四本账、数据驱动矩阵、行为语料与 Flash 对照(完整分母、以 A/A 噪声带判定「未能区分」)。本单完成,关闭。