Skip to content

About

Codex-based MVP for redacted Erdős problem triage and solver packets

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

25 Commits

Folders and files

Repository files navigation

Erdos Agent MVP

Codexでエルディッシュ問題を扱うための、最初の小さな研究オペレーション用MVPです。

目的は「いきなり解く」ことではなく、問題の出自や未解決ラベルをSolverから隠したうえで、triage、匿名化パケット、statement audit、claim cardを作ることです。

Project Docs

多人数で参加する場合は、まずこの順で読んでください。

  • Work History: ここまでに実装したこと、ローカル試行、現在の状態
  • Handoff: コンテキスト圧縮後に再開するための短い引き継ぎ
  • Quickstart: 小さいend-to-end workflowをローカルで再現する手順
  • Roadmap: ここから先の実装計画
  • Collaboration Guide: 役割分担、queue運用、PR方針、安全ルール
  • Agent Protocol: multi-agent / Codex automation向けのinbox/outbox契約
  • Codex Automation: run-next-agent を定期実行するための設定メモ
  • Literature Agent: arXiv/Crossref検索と匿名Result Cardの運用
  • Knowledge Base: 数学exampleとMethod Cardを含む知識ベース設計

方針

  • Solverには問題番号、Erdős Problems由来、open/solved、賞金、URLを渡さない
  • Literature Agentは検索してよいが、Solverには匿名化した数学的Result Cardだけ渡す
  • novelty判定と投稿判断は、最後のstatus-aware Referee Gateで行う
  • 自動投稿はしない
  • Leanが通っても、定理文と元問題の一致は別途確認する

セットアップ

python3 -m erdos_agent init

問題JSONを作る

python3 -m erdos_agent new 728 \
  --statement-file statement.txt \
  --title "local private title" \
  --tag "number theory"

MVPパイプラインを走らせる

python3 -m erdos_agent pipeline 728

生成物:

data/problems/ep0728.json
data/manifests/math-task-xxxxxxxxxxxx.json
packets/blind/math-task-xxxxxxxxxxxx.md
packets/literature/math-task-xxxxxxxxxxxx.md
reports/triage/ep0728.json
reports/statement_audits/ep0728.md
reports/attempts/ep0728.claim.md

公式GitHubデータを取り込む

まずメタデータだけ取り込む場合:

python3 -m erdos_agent ingest-github

open扱いの問題だけ取り込む場合:

python3 -m erdos_agent ingest-github --status open

最初の数件だけ、公式ページのLaTeX表示からstatementも取る場合:

python3 -m erdos_agent ingest-github --status open --limit 5 --fetch-statements

--fetch-statements は https://www.erdosproblems.com/latex/<番号> にアクセスします。全件取得はサイトへ連続アクセスするため、必要な範囲に絞って使う想定です。

複数問題をtriageする

python3 -m erdos_agent triage-all --status open --limit 30

生成物:

reports/triage/index.json
reports/triage/epNNNN.json

triage-all はデフォルトでopen問題だけを見ます。全ステータスを見る場合:

python3 -m erdos_agent triage-all --status all --limit 50

解けた問題から横展開候補を探す

seed問題に似たopen問題を探します。自分で解いた問題だけでなく、誰かが新しく解いた問題をseedにする運用も想定しています。

python3 -m erdos_agent transfer-search 728 --status open --limit 20

生成物:

reports/analogies/ep0728.json

現時点のMVPでは、タグ、statement/remarks内の数学用語、共有参考文献、OEIS、formalization metadataを使って近さを計算します。将来的には、解法の核を匿名化した Method Card にして、似たopen問題へBlind Solverとして再投入する設計にします。

Literature findingからピボットする

検索エージェントが有望な論文・手法・構成を見つけたら、findingとして保存します。

外部メタデータ検索:

python3 -m erdos_agent literature-search 9 --source arxiv --source crossref --limit 5 --query-limit 3

ステートメント由来の自動クエリではなく、人間が指定した狙い撃ちクエリだけで検索する場合:

python3 -m erdos_agent literature-search 43 \
  --source arxiv \
  --source crossref \
  --limit 5 \
  --query "Sidon sets disjoint difference sets" \
  --query "two Sidon sets disjoint differences"

手動クエリに加えて自動生成クエリも走らせる場合は --include-generated-queries を付けます。

複数の検索結果から、Supervisorが見るpromotion候補リストを作る場合:

python3 -m erdos_agent review-search-results --limit 20 --min-score 7

候補1件の人間レビュー用packetを作る場合:

python3 -m erdos_agent review-promotion-candidate ep0009-r001

承認した場合のpivot/queue候補をdry-runする場合:

python3 -m erdos_agent preview-promotion-candidate ep0009-r001 --queue-limit 3 --queue-min-score 10

候補を承認せずに除外・保留として記録する場合:

python3 -m erdos_agent mark-promotion-candidate ep0009-r001 --decision rejected --reviewer YOUR_NAME --note "keyword match only"

レビュー済み候補を承認してfinding化し、そのままpivot候補を作る場合:

python3 -m erdos_agent approve-promotion-candidate ep0009-r001 --reviewer YOUR_NAME --note "brief reason" --pivot-limit 20

個別の検索結果を直接unreviewed findingに変換する場合:

python3 -m erdos_agent promote-search-result 9 --result-index 1 --status open --limit 20
python3 -m erdos_agent add-finding 9 \
  --paper-key "Cr71" \
  --title "On the sum of a prime and of two powers of two" \
  --summary "Uses a construction related to primes plus powers of two." \
  --method-tag "additive basis" \
  --method-tag "primes" \
  --example "Odd integers not represented as p + 2^k + 2^l"

そのfindingから、似たopen問題へのピボット候補を出します。

python3 -m erdos_agent pivot-from-finding ep0009-cr71 --status open --limit 20

上位pivot候補を次のagent runとしてqueueに積む場合:

python3 -m erdos_agent queue-pivots ep0009-cr71 --agent auto --limit 3 --min-score 10

数学exampleを保存する

python3 -m erdos_agent add-example distinct-subset-sums-powers-of-two \
  --statement "The powers of two have distinct subset sums." \
  --tag "subset sums" \
  --role "model construction"

知識ベースは kb/ 以下に作られます。設計メモは docs/knowledge_base.md と docs/agent_protocol.md を見てください。

Agent Run/job queue

Codexオートメーションやマルチエージェント用に、JSON jobを agent_runs/inbox/ に作れます。

python3 -m erdos_agent create-run --problem 25 --agent literature
python3 -m erdos_agent create-run --from-triage --agent literature --action literature_review --limit 5
python3 -m erdos_agent review-search-results --limit 20 --min-score 7
python3 -m erdos_agent review-promotion-candidate CANDIDATE_ID
python3 -m erdos_agent approve-promotion-candidate CANDIDATE_ID --reviewer YOUR_NAME --note "brief reason" --queue-pivots --queue-limit 3 --queue-min-score 10
python3 -m erdos_agent queue-pivots FINDING_ID --agent auto --limit 3 --min-score 10
python3 -m erdos_agent quickstart-check
python3 -m erdos_agent list-runs --status queued
python3 -m erdos_agent supervisor-step --limit 5
python3 -m erdos_agent run-agent RUN_ID
python3 -m erdos_agent run-next-agent
python3 -m erdos_agent complete-run RUN_ID --status done --summary "Created literature report" --artifact reports/literature/ep0025.md

EP43のような「2つのSidon集合の差集合が交わらない」問題では、computation worker が 専用の小ケース探索ハーネスを作ります。

python3 -m erdos_agent create-run --problem 43 --agent computation
python3 -m erdos_agent run-next-agent --agent computation
python3 computations/ep0043/search.py --max-n 20

計算結果から、ソース情報を含むSupervisor用メモと、Blind Solver用の匿名化された証明探索packetを作る場合:

python3 -m erdos_agent proof-route-packet 43 --route difference-packing

同じpacketをBlind Solver用queueに載せる場合:

python3 -m erdos_agent queue-proof-route 43 --route difference-packing
python3 -m erdos_agent run-next-agent --agent blind_solver

agentは今のところ以下を想定しています。

literature
blind_solver
computation
formalization
critic
statement_auditor

推奨運用

  1. pipeline で匿名化パケットとtriageを作る
  2. packets/blind/*.md だけをBlind Solverへ渡す
  3. Literature Agentには packets/literature/*.md を渡す
  4. Literature Agentの出典つき報告はSupervisorだけが保持する
  5. Solverへは匿名化したResult Cardだけを渡す
  6. Claim Cardを埋める
  7. 人間が読んでからLean/計算/文献で検証する
  8. Referee Gateを通るまで投稿しない

現時点のスコープ

このMVPはOpenAI APIやLeanをまだ直接呼びません。まず情報隔離、公式メタデータ取り込み、triageランキング、成果物の形を固定するための土台です。

About

Codex-based MVP for redacted Erdős problem triage and solver packets

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages