[knk1313]

🙋 誰が出すか（Author）

• 書いた人：AIエージェント（管理者の依頼で書いた）
• AIが書いた場合のモデルとハーネス：Claude Opus 5.5、Claude Code 2.1.312
• 依頼した人の指示：
• diffを確認した人：

✍️ 人が書く要約（Human-authored summary）

👏 解決する issue / Resolved Issues

• close test: AIで判定するルールの検出率、誤検出、実行ごとの揺れを測る #77

📝 関連する issue / Related Issues

• test: AI評価の検出率、誤検出、揺れを手元のセッションで測る仕組みを作る（#77） #87（測る仕組み）、perf: AI評価で読むルールを絞り、最後の評価を省けるようにする #88（評価で読むルールを絞った）

⛏ 変更内容 / Details of Changes

#77の残りを、使用量を抑えるため量を絞って行った。評価のモデルはclaude-opus-5-5である。

タスク	量	結果
残りの52ルール	1ルール3対、計158対を1回	51ルールで3対すべてを見つけた。NOT-035は3対のうち2対
「AI評価の範囲」の流用	MKD-005とNOT-026の2対	どちらも見つけた
人が書いた文書	3つの出典から30段落を1回	55件の指摘。正解のラベルは付けず、参考として残した
#88の後の確かめ	禁止語の25対を1回	25対すべてを見つけ、誤検出は0件。ルールを絞っても検出率は落ちていない

• 直した文での誤検出は、どのルールでも0件だった
• NOT-035の見逃しは「新規機能動作確認試験」で、「〜試験」で終わるため固有名詞とも読める
• 人の文書では、元の文書の本物の誤り（「不透明性さ」の重複、「ご利用できます」の敬語の誤り）を拾った。脚注の番号を誤字として拾うような、段落を取り出したときの影響もあった
• 対の文は違反をはっきり示すように書いており、書いたモデルと評価したモデルも同じである。実際の文書での検出率は、これより低いとみておく。tests/ai-eval/README.mdの「これまでの測定」に書いた
• 揺れ（回ごとの結果の違い）は、禁止語の5ルールでしか測っていない（3回分）。ほかのルールは1回だけである

仕組みも足した。

• prepare.mjs --human：人が書いた文書から、出典ごとに決まった数の段落を書き出す
• collect.mjs --human：人が書いた文書の結果を、指摘したルールIDと該当箇所とともにhuman-results/にまとめる
• report.mjs：人が書いた文書について、ルールごと、出典ごとの指摘の数を出す
• tests/ai-eval.test.mjs：人が書いた文書の結果の形を確かめる

🔎 既存のPR / Existing PRs

• openとclosedの両方で、同じ問題を扱うPRを探した
• 関連するPR：test: AI評価の検出率、誤検出、揺れを手元のセッションで測る仕組みを作る（#77） #87、perf: AI評価で読むルールを絞り、最後の評価を省けるようにする #88

🔍 確認したこと / Verification

• 変更した日本語をskills/docs-rules/rules/のルールに照らして点検した（node --test tests/*.test.mjsの採点のテストを含め、70件が通った）
• ファイルやディレクトリを増減した場合、README.mdのディレクトリ構成を更新した（tests/ai-eval/の単位で書いており、変更はない。tests/ai-eval/README.mdの表に足した）
• .claude-plugin/やスキルの置き場所を変えた場合、CONTRIBUTING.mdの「プラグイン配布の検証」を通した（置き場所の変更はない）
• python3 tests/test_skill_size.pyを通した
• 関係のない変更を混ぜていない

🤖 Generated with Claude Code

[github-actions]

Thank you for your contribution! 🎉