diff --git a/.claude-plugin/plugin.json b/.claude-plugin/plugin.json index 271c10f..0f049c1 100644 --- a/.claude-plugin/plugin.json +++ b/.claude-plugin/plugin.json @@ -1,6 +1,6 @@ { "name": "agent-cost-kit", - "version": "0.21.1", + "version": "0.22.0", "description": "Setup de développement par agents économe en tokens pour Claude Code : quatre sous-agents routés par rôle (dev-story Sonnet, second-avis Haiku, reviewer Opus, lookup Haiku), un contrôle rapide de fin de story, un script de mesure du coût réel des agents depuis les transcriptions, un skill d'installation, et des bancs pour re-tester le kit quand de nouveaux modèles sortent.", "author": { "name": "Anaël Yahi" diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 0000000..dfdb8b7 --- /dev/null +++ b/.gitattributes @@ -0,0 +1 @@ +*.sh text eol=lf diff --git a/CHANGELOG.md b/CHANGELOG.md index a9cab7d..86aed8d 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -1,5 +1,6 @@ # Historique +- **0.22.0** (2026-11-11) : sortie de Fable 5.2 (`claude-fable-5-2`, 8 $ / 40 $ par Mtok, lecture du cache à 0,20 $). **Correctif de prix** : sans entrée dédiée, `tarifs.json` lui donnait le tarif du préfixe `claude-fable-5`, avec une lecture du cache à 1 $ (5 fois trop) ; entrées `claude-fable-5-2` et `claude-mythos-5-2` ajoutées, familles `fable` et `mythos` alignées, `tarifs.ts` régénéré, test ajouté au mod `couts-session`. **Aucun agent ne change**, d'après quatre bancs du 2026-11-10 (112 $, références dans `bancs/README.md`) : en contre-revue isolée, Fable 5.2 `medium` signale 20 défauts connus sur 24 contre 13 pour Opus 5.5, mais comme `reviewer` dans la chaîne le code sort avec les mêmes fiches (9 sur 15 cas) pour 1,97 $ contre 0,99 $ ; en développement, même qualité que Sonnet pour 4 fois le coût ; en orchestration, +49 % sans gain. La description de `reviewer` le dit. `installer_global.py` ne pose plus `modelSettings.claude-fable-5-1` (effort `high`) et signale cette règle si elle reste. **Bancs rejouables** : `bancs/corpus.json` (6 stories, 2 dépôts), `bancs/verite-terrain.json` (13 fiches de défauts, à valider), `bancs/banc_relecteur.sh` (même développement, un clone par relecteur candidat, vérificateur en lecture seule), `bancs/noter.py`, `bancs/reglages-banc.json` (`acceptEdits` et liste d'outils, sans `bypassPermissions`, que le mode auto refuse). **Nouveau skill `new-model`**, à invocation manuelle : sans argument, il compare les modèles publiés à `tarifs.json` et s'arrête là ; avec un identifiant, il relève prix et recommandations, liste les écarts avec le kit et les réglages, chiffre les bancs, les lance après accord, puis propose les réglages sans rien appliquer seul ; - **0.21.1** (2026-11-06) : `avancement-run` suit les runs hors epics (PR #17) et compte les stories terminées sans fusion. Identifiants alphanumériques de story (`C1`, `O4a`, `E1b`, `S3`, motif `[A-Z]{1,3}\d+[a-z]?`) en plus de `N.M` et `N.Mb`, lus dans les cellules des vagues, les dépendances (seulement si ce sont des stories du run) et la colonne story du journal, jamais ailleurs (« v14 », « M1 » dans un résultat, heures et SHA ne comptent pas). Périmètre `| Dans le run | Stories C1 à C9, O1, O4a | … |` (plages développées, notes entre parenthèses ignorées) ; une story du périmètre absente des vagues va dans une vague « — ». Une story absente de `sprint-status.yaml` est suivie par le journal seul ; avec seulement `blocked` ou `attente humaine`, elle reste « à faire », drapeau bloquée. Son titre vient de la liste `- C1 : titre` sous la table des vagues. Ces stories forment la ligne « — · Hors epic » du tableau par epic. `décision` et `report` ne marquent plus une story « reprise ». Nouvelle étape de journal `clôture` (`- 2026-11-06 18:00 · 3.6 · clôture · terminée sans PR (raison) · abc1234`) : elle termine la story comme une `fusion`. Repli : une story `done` dans sprint-status sans `fusion` ni `clôture` compte terminée (compte, taux, estimation, météo), avec la puce « terminée sans fusion journalisée » et la piste « ajouter au journal une ligne `fusion` ou `clôture` ». Elle reste en cours si sa dernière ligne la montre en vol (`blocked`, PR ouverte, CI rouge, étape lancée). Avant, une story poussée sur main sans PR (0.0) ou close sans fusion (3.6) laissait son epic non terminée. La dernière étape fait foi : une `fusion` suivie d'un `dev · lancé` est une reprise. Spec : `docs/spec-0.21.1.md`. - **0.21.0** (2026-11-06) : deux règles du modèle de run (`modeles/run-autonome.md`) issues de la rétrospective de l'Epic 2 de slm-weight-editing (actions A-7 et A-10). **A-10** : la levée d'un point d'arrêt (« retire mes points d'arrêt et continue ») avait été lue comme une délégation ; vingt questions de protocole tranchées en deux minutes, fusionnées sans relecture. Désormais l'orchestrateur ne tranche que les questions techniques ; les questions de protocole, de méthode ou de publication vont dans `decisions-a-confirmer.md`, validé par l'utilisateur avant la fusion de la story concernée, qui reste en `attente humaine` pendant que le run avance sur le reste. **A-7** : une release y avait été publiée sur une branche principale rouge, avant la fin de la CI du commit tagué ; pas de tag ni de release sans CI verte de la branche principale sur ce commit, vérifiée par `gh run watch --interval 60`. Aucun changement de code ni d'agent ; - **0.20.1** (2026-11-06) : le gabarit du bilan des tokens passe à la charte générique v2.1 : jetons v2.1 par usage (variables `--surface`, `--texte`, `--primaire`… à la place de `--c-*`), thème sombre d'abord et clair selon le système (`prefers-color-scheme`) ou `[data-theme]`, bouton principal neutre et boutons secondaires en contour (l'état enfoncé prend le fond doux de la sélection, jamais un aplat bleu), focus de la charte, liens soulignés, filet or sous le titre, pictogramme de la charte, piles de polices Sora, Atkinson Hyperlegible et JetBrains Mono avec repli système (aucun CDN). Le fond à points disparaît ; les familles de modèles prennent les couleurs de série `--cat-*`, et les étapes sont regroupées en trois groupes (cadrage, développement, le reste) en `cat-1` à `cat-3` avec un motif chacun et les parts écrites sous la pile de chaque projet. À l'impression, la page prend les jetons clairs, sans barre de navigation, avec les marques des graphiques gardées. Les catalogues `en.json` et `de.json` suivent. Nouveau `tests/test_bilan_charte.py` (contrastes 4,5:1 et 3:1 dans les deux thèmes, aucun hex hors des jetons, pas d'aplat bleu de bouton). Limites : pas de favicon (une image ne lit pas les variables CSS) ; polices non embarquées (repli système si elles ne sont pas installées) ; les drapeaux du sélecteur de langue gardent leurs couleurs nationales ; les pages déjà publiées ne changent pas, un `--c-*` dans un gabarit personnalisé (`AGENT_COST_KIT_GABARIT_BILAN`) reste valable pour ce gabarit. diff --git a/README.md b/README.md index 93b5f98..60dec4b 100644 --- a/README.md +++ b/README.md @@ -72,6 +72,7 @@ Mesurez votre point de départ avant de changer de méthode : `/agent-cost-kit:m - [Mutation guidée](docs/mutation-guidee.md) (expérimental) : étape optionnelle après dev-story, script `scripts/mutation_story.py`, chiffres de la veille (T4, T10, T10b). - [Vérification front](docs/verif-front.md) (expérimental) : sous-agent `verif-front` (Playwright MCP) copié par l'installation, chiffres de la veille (T12). - [Aiguillage sans cadrage](docs/aiguillage-stories.md) (expérimental) : règle de l'orchestrateur pour les petites stories, chiffres de la veille (T13, T13 bis). +- [Re-tester le kit à la sortie d'un modèle](bancs/README.md) : corpus, bancs et références datées ; le skill `/agent-cost-kit:new-model` vérifie s'il existe un modèle à évaluer, ou déroule l'évaluation pour un identifiant donné. - [Historique des versions](CHANGELOG.md). **Contribuer** : la CI lance les tests sur Linux et Windows et valide le plugin (`claude plugin validate . --strict`) à chaque PR ; `master` est protégé, une PR ne fusionne que si la CI est verte. diff --git a/agents/reviewer.md b/agents/reviewer.md index 4cbc8f1..6f3b546 100644 --- a/agents/reviewer.md +++ b/agents/reviewer.md @@ -1,6 +1,6 @@ --- name: reviewer -description: Relit un commit ou un diff de story, corrige les constats Important (medium ou high) réels et consigne la revue. À utiliser par l'orchestrateur après dev-story et second-avis, une passe par story par défaut, relancée seulement après correction d'un constat Important, 3 passes au plus au total, en lui transmettant la liste du second avis. Sur Opus par défaut. Une revue Sonnet est possible (paramètre `model`) pour une story mécanique, mais sur 10 stories elle a manqué la plupart des défauts. +description: Relit un commit ou un diff de story, corrige les constats Important (medium ou high) réels et consigne la revue. À utiliser par l'orchestrateur après dev-story et second-avis, une passe par story par défaut, relancée seulement après correction d'un constat Important, 3 passes au plus au total, en lui transmettant la liste du second avis. Sur Opus par défaut. Une revue Sonnet est possible (paramètre `model`) pour une story mécanique, mais sur 10 stories elle a manqué la plupart des défauts. Une revue Fable 5.2 (paramètre `model` à `claude-fable-5-2`) coûte le double et, sur 6 revues appariées, laisse les mêmes défauts dans le code, donc à réserver à une story à risque. model: opus effort: medium tools: Read, Edit, Write, Grep, Glob, Bash, PowerShell, LSP diff --git a/bancs/README.md b/bancs/README.md index b90d035..45e9757 100644 --- a/bancs/README.md +++ b/bancs/README.md @@ -7,7 +7,8 @@ Les réglages du kit (Sonnet pour coder, Opus pour relire, Haiku pour le second 1. **Prix.** Relevez la page officielle (`platform.claude.com/docs/en/about-claude/pricing`) : entrée, écriture du cache à 5 min et à 1 h, lecture du cache, sortie, et seuils de contexte long. Mettez à jour `prix` dans `plugins/couts-session/donnees/tarifs.json` (une entrée par identifiant de modèle, avec repli par famille), puis `py plugins/couts-session/donnees/generer_tarifs.py` pour le mod. Un écart sur la lecture du cache fausse tout : c'est 40 % du coût, et Sonnet a déjà été compté au double par erreur. 2. **Noms des modèles.** `famille()` reconnaît les modèles par le nom de leur famille (`opus`, `sonnet`, `haiku`, `fable`). Ajoutez toute nouvelle famille dans `prix.familles` de `tarifs.json`, et chaque nouvelle génération dans `prix.modeles` (une génération n'a pas le tarif de la précédente). 3. **Réglages de Claude Code.** Vérifiez dans la doc que `CLAUDE_CODE_MAX_SUBAGENT_SPAWN_DEPTH`, `subagentPromptCacheTtl`, `syncClaudeAiSkills` et les champs `model`, `effort`, `tools` et `disallowedTools` du frontmatter existent toujours, avec le même sens. -4. **Corpus.** Gardez 5 à 10 stories déjà livrées, sur au moins deux dépôts, avec leur base Git. On rejoue les bancs dessus, chaque story dans son propre worktree. +4. **Corpus.** `corpus.json` consigne les stories rejouables (dépôt, base, tête, spec, lignes de spec à garder) et `verite-terrain.json` les défauts connus de chacune, une fiche par défaut. Le corpus d'octobre 2026 n'avait pas été consigné : celui-ci date du 2026-11-10 (6 stories, 2 dépôts, 13 fiches). Ajoutez-y vos stories plutôt que d'en reconstituer un. Une fiche dont `validation` est `null` n'a pas été tranchée par un humain et ne compte pas dans un taux publié. +5. **Permissions.** Le classifieur du mode auto refuse de lancer des sessions en `bypassPermissions`. Les bancs tournent donc avec `reglages-banc.json` (`--settings`) : `acceptEdits`, liste d'outils explicite (édition, `git` local, `uv run`, lecture en shell), ni réseau ni push. Rejouez le développement dans un clone jetable sans remote, pas dans un worktree du dépôt réel : avec une liste trop courte, les agents se voient refuser `git add` et `git commit` (8 à 15 refus par chaîne le 2026-11-10). ## Les bancs, par ordre d'utilité @@ -40,6 +41,25 @@ Worktree : . Diff à relire : git diff ..HEAD." \ - Lancez aussi une fusion de toutes les branches dans un worktree jetable, puis la suite complète, **avec la même installation que la CI**. Un `uv sync` différent de la CI a déjà masqué un vrai défaut. - Référence d'octobre 2026, sur 10 stories : Opus 11 défauts certains (0,63 $ par story), Sonnet 1 (0,27 $), Haiku 2 plus des constats propres (0,03 $). Aucun relecteur n'a tout trouvé. +- Référence du 2026-11-10 (Claude Code 2.1.322, 5 stories du corpus, 3 essais par cellule, 8 défauts medium ou plus signalés au moins deux fois) : Opus 5.5 `medium` 13 détections sur 24 (0,65 $ par revue), Fable 5.2 `low` 18 sur 24 (1,17 $), Fable 5.2 `medium` 20 sur 24 (1,36 $). Regroupement des signalements fait à la main, fiches non encore validées. + +### 1 bis. Le relecteur dans la chaîne + +Une contre-revue isolée ne prédit pas le relecteur du kit : le 2026-11-10, Opus signalait un défaut 3 fois sur 3 en contre-revue et ne le corrigeait que 2 fois sur 6 dans la chaîne. `banc_relecteur.sh` rejoue donc le développement (Sonnet) et le second avis (Haiku) une fois par essai, copie le clone pour chaque relecteur candidat, puis fait dire à un vérificateur quelles fiches restent présentes : + +```bash +bash bancs/banc_relecteur.sh "usine-6-11 frugal-9-3" "opus:medium claude-fable-5-2:medium" 3 +uv run --no-project python bancs/noter.py /resultats +``` + +Le script tient lieu d'orchestrateur : son coût sort de la comparaison. Écart avec un run réel : ni rebase, ni push, ni CI de branche. + +- Le vérificateur (Sonnet) ne juge que les fiches connues. Lisez aussi les sections `## Revue` : deux relecteurs peuvent laisser les mêmes fiches et corriger des défauts différents. +- Une fiche déjà absente du développement relu ne mesure rien : comptez les cas applicables, pas les fiches. +- Référence du 2026-11-10 (Claude Code 2.1.322, 2 stories, 3 essais, 12 revues, 26,11 $) : `reviewer` Opus 5.5 `medium` 0,99 $ par revue, Fable 5.2 `medium` 1,97 $ ; 9 fiches présentes sur 15 cas après revue pour chacun, mêmes verdicts fiche par fiche. Fable mentionne F01 à 3 essais sur 3 (Opus 0) mais la classe low et la reporte. Développement 1,01 $, second avis 0,03 $, vérification 0,17 $. Fiches non validées. Le `reviewer` reste sur Opus. +- Autres mesures du même jour, hors de ce script : développement d'une story par Fable 5.2 `low` de 1,72 à 2,07 $ contre 0,33 à 0,60 $ pour Sonnet `medium`, même nombre de défauts en contre-revue ; orchestration de la chaîne par Fable 5.2 `medium` à 2,63 $ en moyenne contre 1,76 $ pour Opus, sans écart de qualité. +- Le skill `/agent-cost-kit:new-model` rejoue cette démarche pour un nouveau modèle. + ### 2. A contre kit : le setup complet Une même story, 3 essais par setup, chacun dans un worktree partant de la même base : diff --git a/bancs/banc_relecteur.sh b/bancs/banc_relecteur.sh new file mode 100644 index 0000000..a7133c2 --- /dev/null +++ b/bancs/banc_relecteur.sh @@ -0,0 +1,78 @@ +#!/usr/bin/env bash +# Banc du relecteur dans la chaîne : même développement, deux relecteurs. +# Par essai : un clone jetable sans remote reçoit dev-story (Sonnet) puis second-avis (Haiku) ; ce clone est +# ensuite copié une fois par relecteur candidat, qui reçoit le même diff et la même liste du second avis. +# Un vérificateur en lecture seule dit enfin, par clone, quelles fiches de la vérité terrain restent présentes. +# L'orchestrateur est ce script : son coût et son aléa sortent de la comparaison. +# +# Usage : banc_relecteur.sh " ..." " ..." [essais] +# Exemple : banc_relecteur.sh ../_bancs/2026-11-10 "usine-6-11 frugal-9-3" "opus:medium claude-fable-5-2:medium" 3 +# Permissions : bancs/reglages-banc.json (acceptEdits, liste d'outils, ni réseau ni push). Relançable : un +# résultat déjà écrit n'est pas refait. +set -u +KIT=$(cd "$(dirname "$0")/.." && pwd) +RACINE=$(dirname "$KIT") +SORTIE=$(mkdir -p "$1" && cd "$1" && pwd) +STORIES=$2 RELECTEURS=$3 ESSAIS=${4:-3} +REGLAGES=$KIT/bancs/reglages-banc.json +OUT=$SORTIE/resultats +mkdir -p "$OUT" +corps() { awk 'f>=2{print} /^---$/{f++}' "$KIT/agents/$1.md" > "$OUT/consigne-$1.md"; } +corps dev-story; corps second-avis; corps reviewer +champ() { uv run --no-project python -c "import json,sys; s=[x for x in json.load(open(sys.argv[1],encoding='utf-8'))['stories'] if x['id']==sys.argv[2]][0]; print(s[sys.argv[3]] if sys.argv[3]!='fiches' else ' '.join(s['fiches']))" "$KIT/bancs/corpus.json" "$1" "$2"; } +journal() { echo "$(date '+%F %T') $*" >> "$OUT/journal.txt"; } +session() { # session + local f=$1 modele=$2 effort=$3 consigne=$4 budget=$5 prompt=$6 + [ -s "$f" ] && return 0 + local opt=(); [ "$consigne" != "-" ] && opt=(--append-system-prompt-file "$OUT/consigne-$consigne.md") + # Lecture seule réelle pour le second avis et le vérificateur. + case "$consigne" in -|second-avis) opt+=(--disallowedTools "Edit" "Write" "NotebookEdit" "Bash(git add:*)" "Bash(git commit:*)");; esac + claude -p "$prompt" --model "$modele" --effort "$effort" --settings "$REGLAGES" "${opt[@]}" \ + --add-dir "$KIT/bancs" --max-budget-usd "$budget" --output-format json > "$f" 2> "$f.err" +} +texte() { uv run --no-project python -c "import json,sys; print(json.load(open(sys.argv[1],encoding='utf-8')).get('result') or '')" "$1"; } + +une_story() { + local story=$1 + local depot base tete spec lignes fiches + depot=$(champ "$story" depot); base=$(champ "$story" base); tete=$(champ "$story" tete) + spec=$(champ "$story" spec); lignes=$(champ "$story" spec_lignes); fiches=$(champ "$story" fiches) + for essai in $(seq 1 "$ESSAIS"); do + local id="$story-e$essai" dev="$SORTIE/clones/$story-e$essai-dev" + if [ ! -d "$dev" ]; then + git clone -q --no-hardlinks "$RACINE/$depot" "$dev" && cd "$dev" || continue + git remote remove origin; git checkout -q -b "banc/$id" "$base" + mkdir -p "$(dirname "$spec")" + git -C "$RACINE/$depot" show "$tete:$spec" | head -n "$lignes" | sed "s/^status: .*/status: 'ready-for-dev'/" > "$spec" + git add "$spec" && git commit -q -m "Banc : spec de la story (sans rapport ni revue)" + uv sync -q > "$OUT/$id-uvsync.log" 2>&1 + fi + cd "$dev" || continue + session "$OUT/dev-$id.json" sonnet medium dev-story 8 "Implémente la story décrite dans $spec. Dépôt de travail : $dev (branche banc/$id, déjà créée ; il tient lieu de worktree). Lance les tests ciblés, puis commite sur cette branche. Ce dépôt n'a pas de remote : rien à pousser, rien à fusionner." + journal "dev $id propre=$(git status --porcelain | wc -l) diff=[$(git diff --shortstat "$base" HEAD)]" + session "$OUT/avis-$id.json" haiku medium second-avis 2 "Relis en lecture seule le diff de la story $spec dans $dev : git diff $base..HEAD. Rends ta liste de constats." + journal "second-avis $id" + local avis; avis=$(texte "$OUT/avis-$id.json") + local sha_dev; sha_dev=$(git rev-parse HEAD) + for cfg in $RELECTEURS; do + local modele=${cfg%%:*} effort=${cfg##*:} + local rid="$id-$modele-$effort" rev="$SORTIE/clones/$story-e$essai-$modele-$effort" + if [ ! -d "$rev" ]; then + git clone -q --no-hardlinks "$dev" "$rev" && cd "$rev" || continue + git remote remove origin; git checkout -q -B "banc/$id" "$sha_dev" + uv sync -q > "$OUT/$rid-uvsync.log" 2>&1 + fi + cd "$rev" || continue + session "$OUT/revue-$rid.json" "$modele" "$effort" reviewer 8 "Relis la story $spec dans $rev : git diff $base..HEAD. Corrige les constats Important réels, commite sur la branche banc/$id et consigne la revue dans la spec. Cadre du banc : ce dépôt n'a pas de remote, donc ni rebase, ni push, ni fusion ; CI de branche : absente. Une seule passe. +Liste du second avis (à vérifier, pas à croire) : +$avis" + journal "revue $rid propre=$(git status --porcelain | wc -l) commits=$(git rev-list --count "$sha_dev"..HEAD) diff=[$(git diff --shortstat "$sha_dev" HEAD)]" + session "$OUT/verif-$rid.json" sonnet medium - 2 "Vérification en lecture seule : ne modifie aucun fichier, ne commite rien. Lis $KIT/bancs/verite-terrain.json et ne garde que les fiches : $fiches. Pour chacune, dis si le défaut décrit est PRESENT, ABSENT ou SANS_OBJET dans l'état actuel de ce dépôt ($rev, diff git diff $base..HEAD), en lisant le code et, si utile, par un test ciblé (uv run pytest ou uv run python -c). Réponds par une ligne par fiche, sans rien d'autre : | PRESENT ou ABSENT ou SANS_OBJET | fichier:ligne | preuve en une phrase." + journal "verif $rid" + done + done +} +export -f une_story champ journal session texte +export KIT RACINE SORTIE RELECTEURS ESSAIS REGLAGES OUT +printf '%s\n' $STORIES | xargs -P 2 -I{} bash -c 'une_story {}' +journal FIN diff --git a/bancs/corpus.json b/bancs/corpus.json new file mode 100644 index 0000000..e13a457 --- /dev/null +++ b/bancs/corpus.json @@ -0,0 +1,60 @@ +{ + "note": "Corpus des bancs de modèles : stories déjà livrées, rejouables depuis leur base. 'base' et 'tete' sont des SHA du dépôt ; 'spec_lignes' est le nombre de lignes de la spec à garder pour rejouer le développement (sans rapport de dev ni section Revue). 'fiches' renvoie à la vérité terrain (bancs/verite-terrain.json). Dépôts attendus à côté de agent-cost-kit.", + "constitue_le": "2026-11-10", + "stories": [ + { + "id": "usine-6-11", + "depot": "usine-migration-jira-demo", + "base": "962ff545", + "tete": "5413074", + "spec": "_bmad-output/implementation-artifacts/spec-6-11-detection-de-doublons.md", + "spec_lignes": 57, + "fiches": ["f01", "f02", "f03"] + }, + { + "id": "usine-6-12", + "depot": "usine-migration-jira-demo", + "base": "962ff545", + "tete": "007e09f", + "spec": "_bmad-output/implementation-artifacts/spec-6-12-mode-llm-local.md", + "spec_lignes": 63, + "fiches": ["f04", "f05", "f06", "f07", "f08"] + }, + { + "id": "usine-6-13", + "depot": "usine-migration-jira-demo", + "base": "962ff545", + "tete": "1e91512", + "spec": "_bmad-output/implementation-artifacts/spec-6-13-observabilite-externe.md", + "spec_lignes": 55, + "fiches": ["f09", "f10"] + }, + { + "id": "frugal-9-1", + "depot": "frugal-ai-workbench", + "base": "ba606cb", + "tete": "8b88442", + "spec": "_bmad-output/implementation-artifacts/story-9-1.md", + "spec_lignes": 42, + "fiches": [] + }, + { + "id": "frugal-9-3", + "depot": "frugal-ai-workbench", + "base": "7001b34", + "tete": "f016867", + "spec": "_bmad-output/implementation-artifacts/story-9-3.md", + "spec_lignes": 107, + "fiches": ["f11", "f12"] + }, + { + "id": "frugal-9-4", + "depot": "frugal-ai-workbench", + "base": "4472c5c", + "tete": "b6c442e", + "spec": "_bmad-output/implementation-artifacts/story-9-4.md", + "spec_lignes": 122, + "fiches": ["f13"] + } + ] +} diff --git a/bancs/noter.py b/bancs/noter.py new file mode 100644 index 0000000..6b1ec1a --- /dev/null +++ b/bancs/noter.py @@ -0,0 +1,90 @@ +"""Dépouille un dossier de résultats de banc_relecteur.sh : coût par étape et fiches restantes par relecteur. + +Usage : uv run --no-project python bancs/noter.py /resultats [--detail] + +Lit les sorties JSON de `claude -p` (dev-*, avis-*, revue-*, verif-*). Une fiche compte comme échappée +quand le vérificateur la dit PRESENT après la revue. Les fiches non validées dans verite-terrain.json sont +comptées à part : un taux publié ne porte que sur les fiches validées. +""" + +from __future__ import annotations + +import json +import re +import sys +from collections import defaultdict +from pathlib import Path + +ETATS = ("PRESENT", "ABSENT", "SANS_OBJET") +NOM = re.compile(r"^(dev|avis|revue|verif)-(.+?)-e(\d+)(?:-(.+)-(low|medium|high|xhigh|max))?$") + + +def charger(chemin: Path) -> dict | None: + try: + return json.loads(chemin.read_text(encoding="utf-8")) + except (OSError, ValueError): + return None + + +def lignes_verif(texte: str) -> dict[str, str]: + """`f01 | PRESENT | fichier:ligne | preuve` -> {"f01": "PRESENT"}.""" + etats: dict[str, str] = {} + for ligne in texte.splitlines(): + champs = [c.strip(" `*") for c in ligne.strip(" -*").split("|")] + if len(champs) >= 2 and re.fullmatch(r"f\d+", champs[0].lower()) and champs[1].upper() in ETATS: + etats[champs[0].lower()] = champs[1].upper() + return etats + + +def main(argv: list[str]) -> int: + if not argv: + print(__doc__) + return 2 + dossier = Path(argv[0]) + detail = "--detail" in argv + terrain = charger(Path(__file__).with_name("verite-terrain.json")) or {"fiches": []} + validees = {f["id"] for f in terrain["fiches"] if f.get("validation")} + + couts: dict[tuple[str, str], list[float]] = defaultdict(list) + fiches: dict[tuple[str, str], list[dict[str, str]]] = defaultdict(list) + erreurs: list[str] = [] + for chemin in sorted(dossier.glob("*.json")): + m = NOM.match(chemin.stem) + if not m: + continue + etape, story, essai, modele, effort = m.groups() + donnees = charger(chemin) + if donnees is None or donnees.get("is_error"): + erreurs.append(chemin.name) + continue + config = f"{modele}:{effort}" if modele else "-" + couts[(etape, config)].append(donnees.get("total_cost_usd") or 0.0) + if etape == "verif": + etats = lignes_verif(donnees.get("result") or "") + fiches[(story, config)].append(etats) + if detail: + print(f"{story} e{essai} {config} : {etats}") + + print("étape | relecteur | sessions | coût moyen $ | coût total $") + for (etape, config), valeurs in sorted(couts.items()): + print(f"{etape} | {config} | {len(valeurs)} | {sum(valeurs) / len(valeurs):.2f} | {sum(valeurs):.2f}") + print(f"total : {sum(sum(v) for v in couts.values()):.2f} $") + + print("\nstory | relecteur | fiche | présente après revue (essais) | validée") + bilan: dict[str, list[int]] = defaultdict(lambda: [0, 0]) + for (story, config), essais in sorted(fiches.items()): + for fiche in sorted({f for e in essais for f in e}): + applicables = [e[fiche] for e in essais if e.get(fiche) in ("PRESENT", "ABSENT")] + presentes = applicables.count("PRESENT") + print(f"{story} | {config} | {fiche} | {presentes} sur {len(applicables)} | {'oui' if fiche in validees else 'non'}") + bilan[config][0] += presentes + bilan[config][1] += len(applicables) + for config, (presentes, total) in sorted(bilan.items()): + print(f"BILAN {config} : {presentes} fiche(s) présente(s) sur {total} cas applicables") + if erreurs: + print("\nSessions en erreur ou illisibles :", ", ".join(erreurs)) + return 0 + + +if __name__ == "__main__": + sys.exit(main(sys.argv[1:])) diff --git a/bancs/reglages-banc.json b/bancs/reglages-banc.json new file mode 100644 index 0000000..b68c2c7 --- /dev/null +++ b/bancs/reglages-banc.json @@ -0,0 +1,55 @@ +{ + "subagentPromptCacheTtl": "5m", + "env": { + "CLAUDE_CODE_MAX_SUBAGENT_SPAWN_DEPTH": "1" + }, + "permissions": { + "defaultMode": "acceptEdits", + "allow": [ + "Read", + "Grep", + "Glob", + "Edit", + "Write", + "Bash(git add:*)", + "Bash(git commit:*)", + "Bash(git status:*)", + "Bash(git diff:*)", + "Bash(git log:*)", + "Bash(git show:*)", + "Bash(git merge-base:*)", + "Bash(git rev-parse:*)", + "Bash(git rev-list:*)", + "Bash(sed -i:*)", + "Bash(.venv/Scripts/python:*)", + "Bash(.venv/bin/python:*)", + "Bash(echo:*)", + "Bash(git -C:*)", + "Bash(uv run:*)", + "Bash(cd:*)", + "Bash(ls:*)", + "Bash(grep:*)", + "Bash(sed -n:*)", + "Bash(cat:*)", + "Bash(head:*)", + "Bash(tail:*)", + "Bash(wc:*)", + "Bash(find:*)" + ], + "deny": [ + "Read(**/.env)", + "Bash(git push:*)", + "Bash(git remote:*)", + "Bash(git fetch:*)", + "Bash(git pull:*)", + "Bash(gh:*)", + "Bash(curl:*)", + "Bash(wget:*)", + "Bash(rm -rf:*)", + "WebFetch", + "WebSearch", + "Agent", + "Workflow" + ] + } +} diff --git a/bancs/verite-terrain.json b/bancs/verite-terrain.json new file mode 100644 index 0000000..a01bd64 --- /dev/null +++ b/bancs/verite-terrain.json @@ -0,0 +1,19 @@ +{ + "note": "Vérité terrain des bancs de modèles : un défaut par fiche, relevé sur les têtes livrées du corpus (bancs/corpus.json). 'signalements' compte les essais sur 3 où chaque relecteur l'a signalé au banc du 2026-11-10. 'preuve' : rejouee, lue (vérifiée à la lecture du code), rapportee (preuve du relecteur, non rejouée) ou nonconf. 'validation' reste null tant qu'Anaël n'a pas tranché la fiche (défaut réel ou choix voulu, gravité, blocage de la fusion) : une fiche non validée ne compte pas dans un taux de détection publié.", + "constitue_le": "2026-11-10", + "fiches": [ + {"id": "f01", "story": "usine-6-11", "titre": "Liste des doublons coupée à `limite` sans le dire", "fichier": "src/usine/ia/doublons.py:84-91 ; src/usine/ia/cli.py:36-39", "mecanisme": "La sortie est tronquée à `limite` (50). `SortieDoublons` ne porte ni total ni indicateur, et la CLI affiche « N paire(s) à revoir » avec N plafonné, sans dire que d'autres paires dépassent le seuil.", "preuve": "lue", "signalements": {"opus_medium": 1, "fable52_medium": 3, "fable52_low": 3}, "validation": null}, + {"id": "f02", "story": "usine-6-11", "titre": "Jetons de moins de 3 caractères ignorés : deux tickets distincts obtiennent 1,0", "fichier": "src/usine/ia/doublons.py:31-41", "mecanisme": "Le filtre de longueur minimale des jetons efface les discriminants courts (lettre d'Entité `ENT-A`/`ENT-H`, numéros de lot à 1 ou 2 chiffres, versions `v2`/`v3`). « Lot 12 ENT-A : migration du flux v2 » et « Lot 47 ENT-H : migration du flux v3 » ont les mêmes jetons et un score de 1,0.", "preuve": "rejouee", "signalements": {"opus_medium": 0, "fable52_medium": 2, "fable52_low": 1}, "validation": null}, + {"id": "f03", "story": "usine-6-11", "titre": "Sur les données générées, les paires rendues sont des collisions de gabarit", "fichier": "src/usine/ia/doublons.py:74-85 ; generateur/textes.py:392-406", "mecanisme": "Le Jaccard porte sur le texte entier ; deux Anomalies générées depuis le même gabarit (seul `{entite}` change) dépassent le seuil de 0,6 sur des objets différents. Pas de filtre par Entité.", "preuve": "rapportee", "signalements": {"opus_medium": 1, "fable52_medium": 0, "fable52_low": 0}, "validation": null}, + {"id": "f04", "story": "usine-6-12", "titre": "Le mode local envoie `tool_choice: \"any\"`, que llama-server refuserait", "fichier": "src/usine/adaptateurs/llm/fournisseur.py:407-410", "mecanisme": "Le fournisseur `local` réutilise le client Mistral, qui envoie `tool_choice: \"any\"` pour `generer_structure`. L'API compatible OpenAI de llama-server n'admettrait que `auto`, `none`, `required`. Corps de requête capturé ; refus du serveur jamais exécuté.", "preuve": "nonconf", "signalements": {"opus_medium": 3, "fable52_medium": 3, "fable52_low": 3}, "validation": null}, + {"id": "f05", "story": "usine-6-12", "titre": "La suite de contrat du mode local rejoue des réponses au format Mistral", "fichier": "tests/doublures/transport_llm.py ; tests/contrat/fournisseur_llm/fabriques.py", "mecanisme": "Pour `local`, le faux transport renvoie des réponses Mistral : la suite ne prouve pas la compatibilité avec llama-server et aucun test ne regarde `tool_choice`.", "preuve": "rapportee", "signalements": {"opus_medium": 1, "fable52_medium": 1, "fable52_low": 0}, "validation": null}, + {"id": "f06", "story": "usine-6-12", "titre": "`USINE_LLM_LOCAL_URL` posée dans `.env` est ignorée sans message", "fichier": "src/usine/adaptateurs/llm/fournisseur.py:408", "mecanisme": "La variable est lue dans `os.environ` seulement, alors que les autres variables passent par `Secrets` (`env_file=\".env\"`), qui ne renseigne pas `os.environ`. Aucun `load_dotenv` dans `src`.", "preuve": "lue", "signalements": {"opus_medium": 0, "fable52_medium": 2, "fable52_low": 0}, "validation": null}, + {"id": "f07", "story": "usine-6-12", "titre": "Une URL locale finissant par `/v1` donne `/v1/v1/chat/completions`", "fichier": "src/usine/adaptateurs/llm/fournisseur.py:408", "mecanisme": "L'URL du serveur local n'est pas normalisée ; la forme usuelle `http://hote:8080/v1` produit un chemin doublé et une erreur HTTP sans indice.", "preuve": "rapportee", "signalements": {"opus_medium": 0, "fable52_medium": 1, "fable52_low": 0}, "validation": null}, + {"id": "f08", "story": "usine-6-12", "titre": "Délai HTTP par défaut de 5 s sur le client du mode local", "fichier": "src/usine/adaptateurs/llm/fournisseur.py:409", "mecanisme": "Hors tests, le client Mistral garde son délai par défaut de 5 s et aucun `timeout_ms` n'est passé : une génération locale plus longue tomberait en `ReadTimeout`, sans reprise.", "preuve": "rapportee", "signalements": {"opus_medium": 0, "fable52_medium": 0, "fable52_low": 1}, "validation": null}, + {"id": "f09", "story": "usine-6-13", "titre": "L'Agent de production n'envoie aucune trace à Langfuse", "fichier": "src/usine/composition.py:517 et 639", "mecanisme": "`construire_session_agent` prend la passerelle de `_passerelle_evaluation`, créée sans `observateur` : les traces d'Agent et d'outils ne partent jamais, contrairement au critère d'acceptation.", "preuve": "rapportee", "signalements": {"opus_medium": 3, "fable52_medium": 3, "fable52_low": 3}, "validation": null}, + {"id": "f10", "story": "usine-6-13", "titre": "Les latences envoyées à Langfuse valent environ 0 ms", "fichier": "src/usine/adaptateurs/observabilite/langfuse.py:44-67", "mecanisme": "L'observation est ouverte puis fermée après l'appel LLM, sans heure de début ni durée ; `EntreeTrace` n'a pas de champ de durée.", "preuve": "rapportee", "signalements": {"opus_medium": 2, "fable52_medium": 2, "fable52_low": 2}, "validation": null}, + {"id": "f11", "story": "frugal-9-3", "titre": "Le bandeau du juge affiche « notation terminée » après un arrêt ou une erreur", "fichier": "src/wavelocalai/web/static/screens/arena-judge-banner.js:80 et 135 ; arena.js:368", "mecanisme": "`finish()` appelle `progress.end()` quel que soit l'état final ; `end()` pose `ended = true` et `text()` rend `banner_done`, y compris après un arrêt global, une erreur ou un flux perdu.", "preuve": "lue", "signalements": {"opus_medium": 2, "fable52_medium": 3, "fable52_low": 0}, "validation": null}, + {"id": "f12", "story": "frugal-9-3", "titre": "Un juge cloud injoignable passe quand même en phase « notation »", "fichier": "src/wavelocalai/evaluation/judge.py:118-142", "mecanisme": "Pour un juge non local, la phase `scoring` est publiée avant tout contact avec le fournisseur ; même effet pour un juge local dont l'échec dépasse le délai de grâce de 0,25 s.", "preuve": "lue", "signalements": {"opus_medium": 0, "fable52_medium": 1, "fable52_low": 3}, "validation": null}, + {"id": "f13", "story": "frugal-9-4", "titre": "Toute installation de modèle réussie remplace le modèle d'embedding préféré", "fichier": "src/wavelocalai/web/static/screens/documents-embedding-alert.js:37-49", "mecanisme": "`onEnded` ne teste que `status === \"ok\"`, jamais le tag installé ; si le `createPull` de l'encart rejoint tout run `pull`, l'installation d'un autre modèle enregistre `nomic-embed-text` comme embedding.", "preuve": "rapportee", "signalements": {"opus_medium": 2, "fable52_medium": 3, "fable52_low": 3}, "validation": null} + ] +} diff --git a/docs/installation.md b/docs/installation.md index 75336e9..69b1b17 100644 --- a/docs/installation.md +++ b/docs/installation.md @@ -43,6 +43,6 @@ Puis, dans votre projet : `/cost-kit-install`. Le skill : | `scripts/file_prs.py` | Fusion d'une file de PR : contrôles présents, mergeable, relance unique des jobs en échec, PR suivante au lieu de s'arrêter, vérification de `MERGED` (`docs/file-prs.md`). | | `docs/pieges-runs.md` | Pièges vus en run : tests instables sous charge, SQLite sur macOS, push refusé, `python` nu. | | `skills/essai-outil`, `docs/experimental.md` | Expérimental : catalogue d'outils de la veille à essayer, et skill (invocation manuelle) qui guide l'essai : lecture avant installation, SkillSpector, installation au niveau projet, retour dans `mesures/essais/`. | -| `bancs/` | Protocole et scripts pour re-tester le kit quand de nouveaux modèles sortent (`bancs/README.md`). | +| `bancs/`, `skills/new-model` | Protocole, corpus et scripts pour re-tester le kit quand de nouveaux modèles sortent (`bancs/README.md`), et skill (invocation manuelle) qui vérifie les modèles publiés puis déroule l'évaluation après accord sur le devis. | Le `model` et l'`effort` déclarés dans le frontmatter des agents s'appliquent bien aux agents de plugin. Vérifié : depuis une session Opus en `high`, `lookup` tourne en Haiku `low`. diff --git a/plugins/couts-session/donnees/tarifs.json b/plugins/couts-session/donnees/tarifs.json index 08123f2..cb00d3c 100644 --- a/plugins/couts-session/donnees/tarifs.json +++ b/plugins/couts-session/donnees/tarifs.json @@ -2,10 +2,20 @@ "version": 2, "prix": { "source": "https://platform.claude.com/docs/en/about-claude/pricing", - "verifie_le": "2026-10-18", + "verifie_le": "2026-11-10", "unite": "USD par million de tokens", - "note": "Une entrée par identifiant de modèle : le plus long préfixe de l'identifiant l'emporte, sinon repli par 'familles' (la première dont le nom figure dans l'identifiant, au tarif de la dernière génération). Lecture du cache = 'lecture' (0,1 x l'entrée, 0,05 x pour Opus 5.5 et Sonnet 5.5, 0,025 x pour Fable 5.1). Écriture du cache = entrée x 'ecriture_cache' (5 min ou 1 h). 'long_contexte' : une requête dont le prompt (entrée + lecture + écriture du cache) dépasse le seuil paie tous ses prix x facteur. 'geo_us' : false pour les modèles antérieurs à Claude 4.6, hors du multiplicateur inference_geo.", + "note": "Une entrée par identifiant de modèle : le plus long préfixe de l'identifiant l'emporte, sinon repli par 'familles' (la première dont le nom figure dans l'identifiant, au tarif de la dernière génération). Lecture du cache = 'lecture' (0,1 x l'entrée, 0,05 x pour Opus 5.5 et Sonnet 5.5, 0,025 x pour Fable 5.1 et Fable 5.2). Écriture du cache = entrée x 'ecriture_cache' (5 min ou 1 h). 'long_contexte' : une requête dont le prompt (entrée + lecture + écriture du cache) dépasse le seuil paie tous ses prix x facteur. 'geo_us' : false pour les modèles antérieurs à Claude 4.6, hors du multiplicateur inference_geo.", "modeles": { + "claude-fable-5-2": { + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 + }, + "claude-mythos-5-2": { + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 + }, "claude-fable-5-1": { "entree": 10.0, "sortie": 50.0, @@ -114,14 +124,14 @@ }, "familles": { "fable": { - "entree": 10.0, - "sortie": 50.0, - "lecture": 0.25 + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 }, "mythos": { - "entree": 10.0, - "sortie": 50.0, - "lecture": 0.25 + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 }, "opus": { "entree": 4.0, diff --git a/plugins/couts-session/hooks/tarifs.ts b/plugins/couts-session/hooks/tarifs.ts index 42f736c..e419a0b 100644 --- a/plugins/couts-session/hooks/tarifs.ts +++ b/plugins/couts-session/hooks/tarifs.ts @@ -3,10 +3,20 @@ export const TARIFS = { "version": 2, "prix": { "source": "https://platform.claude.com/docs/en/about-claude/pricing", - "verifie_le": "2026-10-18", + "verifie_le": "2026-11-10", "unite": "USD par million de tokens", - "note": "Une entrée par identifiant de modèle : le plus long préfixe de l'identifiant l'emporte, sinon repli par 'familles' (la première dont le nom figure dans l'identifiant, au tarif de la dernière génération). Lecture du cache = 'lecture' (0,1 x l'entrée, 0,05 x pour Opus 5.5 et Sonnet 5.5, 0,025 x pour Fable 5.1). Écriture du cache = entrée x 'ecriture_cache' (5 min ou 1 h). 'long_contexte' : une requête dont le prompt (entrée + lecture + écriture du cache) dépasse le seuil paie tous ses prix x facteur. 'geo_us' : false pour les modèles antérieurs à Claude 4.6, hors du multiplicateur inference_geo.", + "note": "Une entrée par identifiant de modèle : le plus long préfixe de l'identifiant l'emporte, sinon repli par 'familles' (la première dont le nom figure dans l'identifiant, au tarif de la dernière génération). Lecture du cache = 'lecture' (0,1 x l'entrée, 0,05 x pour Opus 5.5 et Sonnet 5.5, 0,025 x pour Fable 5.1 et Fable 5.2). Écriture du cache = entrée x 'ecriture_cache' (5 min ou 1 h). 'long_contexte' : une requête dont le prompt (entrée + lecture + écriture du cache) dépasse le seuil paie tous ses prix x facteur. 'geo_us' : false pour les modèles antérieurs à Claude 4.6, hors du multiplicateur inference_geo.", "modeles": { + "claude-fable-5-2": { + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 + }, + "claude-mythos-5-2": { + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 + }, "claude-fable-5-1": { "entree": 10.0, "sortie": 50.0, @@ -115,14 +125,14 @@ export const TARIFS = { }, "familles": { "fable": { - "entree": 10.0, - "sortie": 50.0, - "lecture": 0.25 + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 }, "mythos": { - "entree": 10.0, - "sortie": 50.0, - "lecture": 0.25 + "entree": 8.0, + "sortie": 40.0, + "lecture": 0.2 }, "opus": { "entree": 4.0, diff --git a/plugins/couts-session/tests/calcul.test.ts b/plugins/couts-session/tests/calcul.test.ts index 5b9a376..0af140f 100644 --- a/plugins/couts-session/tests/calcul.test.ts +++ b/plugins/couts-session/tests/calcul.test.ts @@ -74,6 +74,10 @@ describe('coût API', () => { expect(cout('claude-sonnet-5-5', { ...million, input: 0, cacheWrite: 1e6 })).toBe(2.5) expect(cout('claude-haiku-5-5', { input: 0, output: 1e6, cacheRead: 1e6, cacheWrite: 0 })).toBe(0.51) expect(cout('claude-fable-5-1', { ...million, input: 0, cacheRead: 1e6 })).toBe(0.25) + // Fable 5.2 a son propre tarif : sans entrée dédiée, le préfixe claude-fable-5 lui donnait la lecture à 1 $. + expect(cout('claude-fable-5-2', million)).toBe(8) + expect(cout('claude-fable-5-2', { ...million, input: 0, cacheRead: 1e6 })).toBe(0.2) + expect(cout('claude-fable-5-2', { ...million, input: 0, cacheWrite: 1e6 })).toBe(10) expect(cout('gpt-x', million)).toBeUndefined() }) diff --git a/scripts/installer_global.py b/scripts/installer_global.py index 8dc5564..e9b4209 100644 --- a/scripts/installer_global.py +++ b/scripts/installer_global.py @@ -25,8 +25,7 @@ "effortLevel": "medium", # L'alias `haiku` des agents du kit restait sur Haiku 4.5 (mesure du 2026-10-15) : à revoir à chaque sortie. "env": {"CLAUDE_CODE_MAX_SUBAGENT_SPAWN_DEPTH": "1", "ANTHROPIC_DEFAULT_HAIKU_MODEL": "claude-haiku-5-5"}, - # Fable, réservé au difficile, garde high ; les autres modèles suivent effortLevel. - "modelSettings": {"claude-fable-5-1": {"effortLevel": "high"}}, + # Aucun effort par modèle : Fable 5.2 se lance en medium comme les autres (banc du 2026-11-10). # Le mode auto refusait ces commandes sans règle explicite : PR empilées jusqu'au matin (mesure du 2026-10-16). "permissions": {"allow": ["Bash(gh pr merge:*)", "Bash(gh pr edit:*)", "Bash(git push origin --delete:*)"]}, } @@ -56,8 +55,13 @@ def alertes(reglages: dict) -> list[str]: messages = [] for modele, conf in reglages.get("modelSettings", {}).items(): effort = conf.get("effortLevel") if isinstance(conf, dict) else None - # Seuls les modèles des agents du kit : Fable, réservé au difficile, peut rester en high. - if effort not in (None, "low", "medium") and any(m in modele for m in ("opus", "sonnet", "haiku")): + if modele == "claude-fable-5-1": + messages.append( + "modelSettings.claude-fable-5-1 : règle posée par une version antérieure du kit, sans effet sur " + "Fable 5.2 ; à retirer." + ) + # Seuls les modèles des agents du kit : Fable, réservé au difficile, reste au choix de l'utilisateur. + elif effort not in (None, "low", "medium") and any(m in modele for m in ("opus", "sonnet", "haiku")): messages.append( f"modelSettings.{modele}.effortLevel = {effort!r} prime sur effortLevel pour ce modèle " "(les agents du kit sont mesurés en medium)." diff --git a/skills/cost-kit-install/SKILL.md b/skills/cost-kit-install/SKILL.md index 7c7501e..23fecf0 100644 --- a/skills/cost-kit-install/SKILL.md +++ b/skills/cost-kit-install/SKILL.md @@ -6,7 +6,7 @@ description: Installe le setup économe de agent-cost-kit sur le PC (réglages u Tu installes le kit sur le PC (partie globale, une fois par machine) puis dans le dépôt courant. Procède dans l'ordre, et demande confirmation avant chaque écriture dans `~/.claude/` ou `.claude/`. 0. **Partie globale, une fois par PC.** Lance `uv run --no-project python ${CLAUDE_PLUGIN_ROOT}/scripts/installer_global.py` (`python` nu ouvre l'alias du Microsoft Store sous Windows ; `--no-project` ne touche pas à l'environnement du projet) : c'est un aperçu, rien n'est écrit. Si tout est « déjà conforme » et « à jour », passe à l'étape 1. Sinon, montre les changements, explique-les (détail à l'étape 1), puis, avec l'accord de l'utilisateur, relance avec `--appliquer`. Le script : - - fusionne dans `~/.claude/settings.json` : `syncClaudeAiSkills: false`, `effortLevel: "medium"`, `CLAUDE_CODE_MAX_SUBAGENT_SPAWN_DEPTH=1`, `ANTHROPIC_DEFAULT_HAIKU_MODEL=claude-haiku-5-5` (sans lui, l'alias `haiku` des agents du kit restait sur Haiku 4.5), effort `high` pour Fable 5.1 seulement (`modelSettings`), sans toucher aux autres clés (proxy, plugins) ; + - fusionne dans `~/.claude/settings.json` : `syncClaudeAiSkills: false`, `effortLevel: "medium"`, `CLAUDE_CODE_MAX_SUBAGENT_SPAWN_DEPTH=1`, `ANTHROPIC_DEFAULT_HAIKU_MODEL=claude-haiku-5-5` (sans lui, l'alias `haiku` des agents du kit restait sur Haiku 4.5), aucun effort par modèle (une règle `modelSettings.claude-fable-5-1` laissée par une version antérieure est signalée, à retirer), sans toucher aux autres clés (proxy, plugins) ; - écrit les consignes de coût du kit dans `~/.claude/CLAUDE.md`, entre deux marqueurs : une relance après une mise à jour du kit remplace ce bloc et seulement lui. Les consignes personnelles se mettent hors des marqueurs ; - sauvegarde chaque fichier modifié (`.avant-cost-kit-AAAAMMJJ`) ; - signale sans les modifier un effort par modèle autre que medium (`modelSettings`, il prime sur `effortLevel`) et un TTL d'une heure. Propose de les corriger à la main. diff --git a/skills/new-model/SKILL.md b/skills/new-model/SKILL.md new file mode 100644 index 0000000..70a0853 --- /dev/null +++ b/skills/new-model/SKILL.md @@ -0,0 +1,63 @@ +--- +name: new-model +description: "Évalue un nouveau modèle Claude pour le kit : prix et recommandations relevés en ligne, écarts avec tarifs.json, les agents et les réglages, devis des bancs, bancs lancés après accord, réglages proposés. Sans argument, vérifie seulement en ligne s'il existe des modèles à évaluer. Invocation manuelle seulement : /agent-cost-kit:new-model [identifiant du modèle]." +disable-model-invocation: true +--- + +Tu évalues un nouveau modèle pour Anaël. Argument reçu : `$ARGUMENTS`. Tu ne modifies ni `~/.claude/settings.json`, ni un agent, ni un `CLAUDE.md` sans son accord explicite, et tu ne lances aucune session payante sans devis accepté. Le kit est dans `${CLAUDE_PLUGIN_ROOT}` ; les modifications se font dans son dépôt source, sur une branche. + +## Sans argument : veille seulement + +1. Relève les modèles publiés et leurs prix sur `https://platform.claude.com/docs/en/about-claude/pricing` et la page des modèles de la même documentation. +2. Compare-les à `prix.modeles` de `plugins/couts-session/donnees/tarifs.json` (date `verifie_le`) et aux modèles des `agents/*.md`. +3. Rends un tableau : modèle, prix d'entrée, de sortie et de lecture du cache, statut (`connu`, `nouveau`, `prix changé`, `retiré`). Pour chaque modèle nouveau, donne la commande `/agent-cost-kit:new-model `. Arrête-toi là : ni banc, ni écriture. + +## Avec un identifiant de modèle + +### 1. État de l'art (gratuit) + +- Page de prix, annonce du modèle, guide de choix de modèle de l'éditeur, journal des versions de Claude Code. Note l'identifiant exact, les prix (entrée, sortie, écriture du cache à 5 min et à 1 h, lecture du cache, seuils de contexte long, fast mode), les usages recommandés et l'effort conseillé. +- `claude --version`, puis vérifie vers quoi pointe l'alias de la famille (`claude -p "ok" --model --output-format json`, champ `modelUsage`, quelques centimes). Si l'alias vise encore l'ancienne génération, utilise l'identifiant complet partout. +- Cite chaque source avec sa date. + +### 2. Écarts (gratuit, lecture seule) + +- `tarifs.json` : une génération sans entrée propre prend le tarif d'un préfixe (Fable 5.2 a été compté 5 fois trop cher en lecture du cache). Ajoute l'entrée, lance `generer_tarifs.py`, ajoute une assertion dans `plugins/couts-session/tests/calcul.test.ts`, lance les tests Python ciblés. +- `~/.claude/settings.json` : `model`, `modelSettings` visant un modèle retiré, variables d'alias devenues inutiles. +- `scripts/installer_global.py` (`REGLAGES`), `skills/cost-kit-install/SKILL.md`, descriptions des `agents/*.md`, grille modèle / effort du `CLAUDE.md` global, références datées de `bancs/README.md`. +- Vérifie le point 3 de « Avant de commencer » de `bancs/README.md` (réglages de Claude Code toujours valides). + +### 3. Hypothèses et devis + +- Par rôle du kit (`dev-story`, `second-avis`, `reviewer`, `lookup`, orchestrateur, hors chaîne), dis si le modèle est candidat, d'après son prix et les usages recommandés. Un modèle plus cher que le titulaire n'est candidat que s'il peut sortir un meilleur code ; un modèle moins cher, que s'il peut tenir la qualité. +- Devis en tableau : banc, question, sessions, coût estimé d'après les références de `bancs/README.md`, décision qui en dépend. Classe du moins cher au plus cher et propose un plafond. +- Demande l'accord sur le devis. Tiens le cumul dépensé à jour, et redemande avant tout dépassement du plafond. + +### 4. Bancs + +Ordre conseillé, en t'arrêtant dès qu'une question est tranchée : + +1. **Relecteur dans la chaîne** (`bancs/banc_relecteur.sh`, section « 1 bis » du README) si le modèle est candidat au rôle de `reviewer`. C'est lui qui décide : le 2026-11-10, la contre-revue isolée donnait 83 % contre 54 % au candidat, et la chaîne aucun écart. +2. **Contre-revue isolée** (section 1) : filtre peu coûteux, ou mesure d'un usage ponctuel hors chaîne. Elle ne suffit jamais à changer `reviewer`. +3. **Développement** (banc 4) si le modèle est candidat à `dev-story` : 3 essais par modèle sur 2 stories du corpus, puis contre-revue de chaque résultat par le relecteur en place. +4. **Orchestration** : ne la rejoue pas à part ; mesure-la sur le prochain run réel avec `/agent-cost-kit:mesurer-couts`. + +Règles : + +- Stories de `bancs/corpus.json`, 3 essais par cellule, résultats dans un dossier hors du dépôt, clones jetables sans remote. +- Permissions : `--settings bancs/reglages-banc.json`. Jamais `bypassPermissions`. Si des commandes utiles sont refusées aux sessions, relève-les dans les sorties JSON (`permission_denials`) et propose de compléter la liste. +- Deux stories en parallèle au plus, pas de suite de tests complète pendant les essais, `uv run python` et jamais `python` nu. +- Une session en erreur ou hors budget est relancée une fois, puis comptée à part. + +### 5. Dépouillement + +- `uv run --no-project python bancs/noter.py /resultats` : coût par étape, fiches présentes après revue. +- Lis les sections `## Revue` et les diffs des relecteurs : la mesure par fiches peut ne pas départager deux modèles qui corrigent des défauts différents. +- Vérifie toi-même, dans le code, au moins deux défauts « certains » par modèle. +- Un défaut nouveau, signalé au moins deux fois et vérifié, devient une fiche de `bancs/verite-terrain.json` avec `validation: null`. Propose à Anaël de valider les fiches ; un taux publié ne porte que sur les fiches validées. + +### 6. Conclusion et propositions + +- Applique les « Règles pour conclure » de `bancs/README.md`. Un agent ne change de modèle que si le code sort meilleur de la chaîne, ou aussi bon pour moins cher. Dis les limites du banc (vérificateur, fiches sans objet, taille de l'échantillon). +- Rends un tableau par rôle : réglage proposé, changement, mesure qui le fonde. Puis la liste numérotée de ce qui attend un accord : réglages utilisateur, grille du `CLAUDE.md` global, agents, version du plugin. +- Après accord seulement : applique, mets à jour les références datées de `bancs/README.md` (date, version de Claude Code, prix), `CHANGELOG.md` et la version, lance les tests ciblés, ouvre une PR. Supprime les clones et les branches `banc/*` à la fin.