Repository navigation
RFC: joint target/yardstick selection with lightweight Stride decisions - #8105
Conversation
Signed-off-by: huangruiteng <huangrt01@163.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent; gpt-6.1-sol; OpenAI; runtime_reported; reasoning_effort=max
动机 / Motivation
需要决定下一步研究方向、测量方法和工作跨度的长程 Agent 及其维护者。
原有 Stride 主要在完整 replan 时判断工作形状,容易把“方向值不值得投入”和“代理评测能否可靠排名”混在一起;这份提案让二者共同进入判断,并用同任务中的简短、可修正提示影响下一项工作。
交付的是可审查的双语设计:现有 owner、普通 Turn 与完整 replan 的分工、失败恢复、首次采用及后续效果验收都有明确边界。
本 PR 不交付运行时、不启用新默认、不启动实验;未来实际采用和可比完整成本下的收益仍须 M1–M3 验证。
改动思路 / Approach
我先按既有 Stride 与研究测量契约审视问题,再核对当前实现和新设计。首个有用切片不是新增一份决策表,而是让现有任务拿到变化后的短提示、保留完整证据入口,并能核对接下来的真实工作是否处理了该疑问。普通 Turn 与完整 replan 共用语义 owner;数值测量留给领域 provider,模型选择方向和方法,权限、验收和预算仍由原 owner 决定。
| 场景 | 设计中的结果 |
|---|---|
| 无新证据、没有到判断边界 | 继续原任务,不增加调用、事件或必填决策 |
| 当前任务内的新疑问 | 在既有回复中修正局部 probe,投影简短提示 |
| 完整复盘已到期 | 合并判断一次,原义务和计数保持 |
| 真正跨交付/依赖/权限边界 | 走原 Todo/authoring/authority 路径 |
这些是设计语义推演,实际执行证据留在后续里程碑,不将表格当成运行结果。
具体改动 / Changes
关键内容讲解
接受前的主依据为 docs/architecture/rfcs/hierarchical-agent-stride-control-v0.md,spec_revision aa82591fb0a129f3ea9cc5e67343e742899c7ccd,以及同 revision 的 研究测量 §6。Stride §7.6 的多轴/证据/采用要求、Stride §7.7 的原身份和同起点预算边界、Research measurement §6 的原生结果与完整成本,均在设计中落实;Runtime and measured benefit 属当前 RFC 范围外,继续由 M1–M3 验收,未被本提案宣告完成。
- docs/architecture/rfcs/target-yardstick-stride-decisions-v0.md:100 的当前系统表可由基线源码核对:v2 要求真实 replan context/obligation;周期计数不把无变化 monitor 当工作;默认六个有效工作 Turn;前序决策采用和 Explore 附件各有既有归属。文档没有把不存在的 Yardstick 功能说成已交付。
- docs/architecture/rfcs/target-yardstick-stride-decisions-v0.md:137 将 target、candidate、yardstick、oracle、条件和证据 watermark 绑定起来;候选在范围内变化可积累证据,workload/oracle 改变则不能沿用旧资格。Untested、suspect、invalidated 与传输失败区分,直接权威评测保留为合法比较项。
- docs/architecture/rfcs/target-yardstick-stride-decisions-v0.md:227 至§5.7明确原 Turn/effect/attachment 身份、提交后可重试、延迟结果归原组合,以及短提示的自主修正。新用户方向或更好方法不会被“照抄工具序列”的要求覆盖。
- docs/architecture/rfcs/target-yardstick-stride-decisions-v0.md:402 的 C1–C13、A–D 对照及 M1–M3 将首次采用、CLI/App/Lark 回读、负例和完整成本串起来。M1先做兼容/同任务提示,M2引入真实数值 profile,M3才讨论可比条件下的效果;精确schema/profile/触发预算仍显式待决。
论文核对采用 DuoDiscover v1 原文:E.1 的两组通过比例与成本比例一致,并明确按 target 与按 task 的分母不同;A.1 的噪声处理、样本下限和排序检验是该研究的配方,不是通用阈值。F.3 的费用表不包含评测 GPU 成本,F.5 的有利回退观察也不能证明无后悔保证。RFC 保留了这些外推限制,并没有把论文收益写成 LoopX 的效果。
完整变更为双语提案与导航/index/roadmap 共7文件 +939/-4。逐段核对了英文517行、中文407行;关键默认、身份、恢复、C1–C13、A–D和M1–M3语义一致。STATUS 的 Accepted 是合并生效的设计状态,Delivery maturity 仍为 Proposal;迁移 ledger 的18→27由生成器与现存27对条目核对,不是新增或重写历史证据。
对主干的风险 / Risks
未发现阻塞性问题。最强失败场景是局部数字好看、模型仍做低价值扫参,或不停造尺子但没有真实结果。设计通过构造成本边界、直接评测比较、原任务内可修正提示和采用/有用信息/权威收益分列来保留可证伪性;尚不能由设计本身证明这些机制有效。晚到结果不能改写当前组合,主提交后的恢复不能重跑实验或二次扣额,关闭新行为不能擦掉既有到期 replan。
本地 PASS:双语 diff gate、生成索引 check、34个本地引用/anchor与代码围栏、7文件 public boundary,以及 quick premerge 的直接和相关检查。Maintainability ratchet 仍 FAIL:未改的 _admitted_interaction_next_cli_actions 62个 decision points 超过60;当前 target main 2c24d5d102dc35c417b3ce49e25096aa37e1642b 与本 head 独立执行的完整结构化失败明细一致。此 optional advisory 保留为失败,并完成精确范围归因;没有放松规则。CI 未查询、未等待。
新行为的 C1–C13是未来实现要求,尚未执行;未启动数值实验、模型调用、真实 Host/产品部署或 Mermaid 渲染。实现审查仍要核对首次真正采用的 probe、真实持久化/恢复及跨入口回读,不能用本次文档检查替代。
我的整体评价 / Verdict
本次要求的研究/RFC交付已完成:它给出了可独立审查、可按阶段验证和回退的设计,且没有伪造运行时或长程收益。已采用“最早有用用户结果与后续采用”的经验视角核对 M1/M2,未为设计 PR 强加完整 runtime 或继承历史 verdict。
视觉评审不适用:本 diff 仅RFC、导航与索引,没有前端、文档 chrome 或安装后交互变化。未验证范围:Mermaid 渲染、实际模型遵循、首个 measurement profile、安装后CLI/App/Lark旅程与匹配预算收益;这些明确保留为后续验收。支持接受这份设计提案,不授予实施、实验或合并权限。
English verdict: APPROVE — d705a0a81cd59af4066dac9e6599b1881433c635; no blocking design finding. Bilingual semantics, source seams, primary-paper attribution and native documentation checks are verified. Runtime adoption and outcome/cost gains remain unqualified; the unchanged maintainability failure is retained.
Goal And Delivered Outcome
现有 Stride 主要在 replan 时判断工作形状,但“当前方向值得研究吗”和“这把尺子可信吗”需要共同影响下一步。此 RFC 调研 DuoDiscover 的 target/yardstick co-discovery,以及当前 Stride、Explore、replan 与写回源码,提出共享判断、普通 Turn 轻量使用、完整 replan 深度审视的方案。
普通 Turn 默认只需一句新的、可修正的提示,例如“局部指标变好了,但整体收益未确认;先判断这把尺子是否值得继续用”。不逐次创建 Todo/Step,不借下个 Todo 的 note 运送指令,不规定工具顺序,无变化不重复提示。只有真实工作边界变化才走现有 Todo/权限流程。
main; audited baselineaa82591fb0a129f3ea9cc5e67343e742899c7ccd.Author Declaration
Self-check: checked current source ownership and paper claims, compared both language versions, and kept proposed behavior separate from shipped defaults. No new tests that merely assert RFC wording.
Scope And Continuation
The requested RFC proposal is complete. M1–M3 specify later typed implementation, a real measurement profile, and matched qualification; acceptance of this document does not deploy the feature or change defaults. New treatment is proposed opt-in. Existing authoritative acceptance and frozen evaluation protocols remain with their owners.
Navigation and both generated lifecycle indexes are updated. Regenerating the indexes also reconciles an existing TypeScript migration ledger count from 18 to 27; no historical ledger entry was changed. The header uses the repository's merge-effective
Acceptedconvention and explicitly marks this PR as a proposal.Validation
d705a0a81(documentation-only commit).uv run --extra test python scripts/check_rfc_bilingual.py --base origin/main --stagedand--head HEAD.uv run --extra test python scripts/generate_rfc_status_index.py --check.loopx.contract.scan_public_boundaryover all 7 changed files: no findings or unread inputs.git diff --checkclean.Independent review, implementation and empirical effectiveness remain unqualified. Paper gains are not reported as LoopX gains.
Frontend / Visual Evidence
Type of Change / LoopX Area
Boundary Checklist