Skip to content

perf: AI評価で読むルールを絞り、最後の評価を省けるようにする - #88

Merged
knk1313 merged 1 commit into
mainfrom
perf/skill-token-usage
Nov 3, 2026
Merged

knk1313 merged 1 commit into
mainfrom
perf/skill-token-usage

Conversation

@knk1313

@knk1313 knk1313 commented Nov 3, 2026

Copy link
Copy Markdown
Owner

🙋 誰が出すか(Author)

  • 書いた人:AIエージェント(管理者の依頼で書いた)
  • AIが書いた場合のモデルとハーネス:Claude Opus 5.5、Claude Code 2.1.312
  • 依頼した人の指示:
  • diffを確認した人:

✍️ 人が書く要約(Human-authored summary)

👏 解決する issue / Resolved Issues

  • なし(Issueを立てずに、依頼を受けて直した)

📝 関連する issue / Related Issues

⛏ 変更内容 / Details of Changes

スキルで文書を1本書くと、ルールのファイル(約10万字)を、書く段、評価、最後の評価で3回読んでいた。評価の2回分を減らした。

評価で読むルールを絞った。

  • prompts/ai-rules.mdを足した。rules/から、AI評価の対象になるルールだけを抜き出したものである。判定がAIのルールは全文を、機械で判定するルールは「AI評価で扱う」とした注記だけを載せる
  • evaluate.mdの「読むもの」を、rules/の全ファイルからai-rules.mdに替えた。ルールの理由や例を確かめたいときだけ、rules/を開く
  • 評価で読むルールは、約10万字から約4.4万字になる
  • ai-rules.mdはprompts/tools/build-ai-rules.mjsで生成し、手で直さない。作り直し忘れと、AI評価の対象のルールの載せ忘れは、tests/rules.test.mjsで確かめる
  • リポジトリの文書の採点(repo-lint.test.mjs)では、ai-rules.mdを対象から外した。rules/と同じ文をもう一度採点することになるため

最後の評価を省けるようにした。

  • SKILL.mdの「書き直しの繰り返し」の7に、書き直しの後の評価を省く条件を足した。省いたときは報告に書く
    • 利用者が、急ぐ、手短に、などと求めたとき
    • 1回目の評価の違反を、rewrite.mdがすべて直したと返したとき
  • docs/architecture.mdの図も合わせた

絞った後のAI評価で検出率が落ちていないかは、まだ測っていない。#77の仕組みで、禁止語の25対を評価し直せば確かめられる。

🔎 既存のPR / Existing PRs

🔍 確認したこと / Verification

  • 変更した日本語をskills/docs-rules/rules/のルールに照らして点検した(node --test tests/*.test.mjsの採点のテストを含め、67件が通った)
  • ファイルやディレクトリを増減した場合、README.mdのディレクトリ構成を更新した(prompts/の単位で書いており、変更はない。prompts/README.mdの表に足した)
  • .claude-plugin/やスキルの置き場所を変えた場合、CONTRIBUTING.mdの「プラグイン配布の検証」を通した(claude plugin validate .が通った)
  • python3 tests/test_skill_size.pyを通した
  • 関係のない変更を混ぜていない

🤖 Generated with Claude Code

- rules/からAI評価の対象のルールだけを抜き出したprompts/ai-rules.mdを生成し、evaluate.mdはこれを読む(約10万字から約4.4万字)
- ai-rules.mdが古いとき、AI評価の対象のルールが載っていないときはtests/rules.test.mjsが失敗する
- 利用者が急ぐときと、1回目の評価の違反をすべて直したときは、書き直しの後の評価を省ける

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@knk1313
knk1313 merged commit 45ce726 into main Nov 3, 2026
2 checks passed
@github-actions

github-actions Bot commented Nov 3, 2026

Copy link
Copy Markdown

Thank you for your contribution! 🎉

Spinning cat

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant