Repository navigation
perf: AI評価で読むルールを絞り、最後の評価を省けるようにする - #88
Merged
Merged
Conversation
- rules/からAI評価の対象のルールだけを抜き出したprompts/ai-rules.mdを生成し、evaluate.mdはこれを読む(約10万字から約4.4万字) - ai-rules.mdが古いとき、AI評価の対象のルールが載っていないときはtests/rules.test.mjsが失敗する - 利用者が急ぐときと、1回目の評価の違反をすべて直したときは、書き直しの後の評価を省ける Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
6 tasks done
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.

🙋 誰が出すか(Author)
✍️ 人が書く要約(Human-authored summary)
👏 解決する issue / Resolved Issues
📝 関連する issue / Related Issues
⛏ 変更内容 / Details of Changes
スキルで文書を1本書くと、ルールのファイル(約10万字)を、書く段、評価、最後の評価で3回読んでいた。評価の2回分を減らした。
評価で読むルールを絞った。
prompts/ai-rules.mdを足した。rules/から、AI評価の対象になるルールだけを抜き出したものである。判定がAIのルールは全文を、機械で判定するルールは「AI評価で扱う」とした注記だけを載せるevaluate.mdの「読むもの」を、rules/の全ファイルからai-rules.mdに替えた。ルールの理由や例を確かめたいときだけ、rules/を開くai-rules.mdはprompts/tools/build-ai-rules.mjsで生成し、手で直さない。作り直し忘れと、AI評価の対象のルールの載せ忘れは、tests/rules.test.mjsで確かめるrepo-lint.test.mjs)では、ai-rules.mdを対象から外した。rules/と同じ文をもう一度採点することになるため最後の評価を省けるようにした。
rewrite.mdがすべて直したと返したときdocs/architecture.mdの図も合わせた絞った後のAI評価で検出率が落ちていないかは、まだ測っていない。#77の仕組みで、禁止語の25対を評価し直せば確かめられる。
🔎 既存のPR / Existing PRs
🔍 確認したこと / Verification
skills/docs-rules/rules/のルールに照らして点検した(node --test tests/*.test.mjsの採点のテストを含め、67件が通った)prompts/の単位で書いており、変更はない。prompts/README.mdの表に足した).claude-plugin/やスキルの置き場所を変えた場合、CONTRIBUTING.mdの「プラグイン配布の検証」を通した(claude plugin validate .が通った)python3 tests/test_skill_size.pyを通した🤖 Generated with Claude Code