Skip to content

test: 人の文書のコーパスに白書と手続きの案内を足し、見つかった誤検出を直す(#75) - #84

Merged
knk1313 merged 1 commit into
mainfrom
test/75-human-corpus-sources
Nov 3, 2026
Merged

knk1313 merged 1 commit into
mainfrom
test/75-human-corpus-sources

Conversation

@knk1313

@knk1313 knk1313 commented Nov 3, 2026 •

Copy link
Copy Markdown
Owner

🙋 誰が出すか(Author)

  • 書いた人:AIエージェント(管理者の依頼で書いた)
  • AIが書いた場合のモデルとハーネス:Claude Opus 5.5、Claude Code 2.1.312
  • 依頼した人の指示:
  • diffを確認した人:

✍️ 人が書く要約(Human-authored summary)

👏 解決する issue / Resolved Issues

📝 関連する issue / Related Issues

⛏ 変更内容 / Details of Changes

人の文書のコーパスに、文体の違う出典を二つ足した。

出典(文体) 段落 利用条件
令和7年版情報通信白書(総務省、白書の分析文) 38 CC BY 4.0。第三者の出典を示す段落は取っていない
タックスアンサー(国税庁、手続きの案内文) 51 公共データ利用規約(PDL1.0)
  • 指摘ごとに、違反、誤検出、要確認の判断をAIで付けた。README.mdの利用条件の表に、二つの出典を足した
  • report.mjsで、出典ごとの誤検出の数も出すようにした

足した出典で見つかった誤検出のうち、二つを直した。

  • NOT-035:タックスアンサーの誤検出21件は、すべて税の名前や法令の用語だった
    • 「〜税」「〜機構」で終わる連続を、名前とみなして除く(「復興特別所得税」「独立行政法人情報処理推進機構」)
    • allowed-terms.jsonのNOT-035に法令の用語を5語足した(「控除対象扶養親族」「給与所得控除」など)
    • 書いた語に短い語が付いた連続も除く(「給与所得控除額」「特定一般用医薬品等購入費」)
  • NOT-006:joyo-kanji.jsonで、「𠮟」「塡」「剝」「頰」の許容字体(「叱」「填」「剥」「頬」)が抜けていた
    • そのため「補填」の「填」が、表外の字として指摘されていた
    • PDFの文字の層から角括弧ごと取り出せないためで、build_joyo_kanji.pyで補い、作り直しても抜けないようにした
    • 「遡」「餌」などの許容字体は、字種と同じ符号位置のため、そのままでよい

出典ごとの誤検出の数は次のとおりである。

出典 段落 誤検出
デジタル庁の政策ページ 99 9
情報通信白書 38 5
タックスアンサー 51 0(直す前は22)

白書の指摘は、長い文(GRM-002)と読点の多い文(GRM-018)にほぼ集まり、ほとんどが本物の違反だった。

🔎 既存のPR / Existing PRs

🔍 確認したこと / Verification

  • 変更した日本語をskills/docs-rules/rules/のルールに照らして点検した(node --test tests/*.test.mjsの採点のテストを含め、64件が通った)
  • ファイルやディレクトリを増減した場合、README.mdのディレクトリ構成を更新した(ディレクトリ構成はtests/の単位で書いており、変更はない)
  • .claude-plugin/やスキルの置き場所を変えた場合、CONTRIBUTING.mdの「プラグイン配布の検証」を通した(claude plugin validate .が通った)
  • python3 tests/test_skill_size.pyを通した
  • 関係のない変更を混ぜていない

🤖 Generated with Claude Code

- 令和7年版情報通信白書(38段落)とタックスアンサー(51段落)を足し、指摘ごとに判断を記録した
- report.mjsで、出典ごとの誤検出の数も出す
- NOT-035:税の名前と「〜機構」で終わる連続、allowed-terms.jsonの語に短い語が付いた連続を除く
- NOT-006:joyo-kanji.jsonで抜けていた「𠮟」「塡」「剝」「頰」の許容字体を足し、作り直しても抜けないようにした

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@knk1313
knk1313 merged commit 41d9f73 into main Nov 3, 2026
2 checks passed
@github-actions

github-actions Bot commented Nov 3, 2026

Copy link
Copy Markdown

Thank you for your contribution! 🎉

Spinning cat

@knk1313
knk1313 deleted the test/75-human-corpus-sources branch November 3, 2026 07:44
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

test: 誤検出を測る人の文書のコーパスに、文体の違う出典を足す

1 participant