chore(agents): add prod-bug-investigator + test-quality-auditor - #254
Merged
Conversation
Two gaps the 2026-07-25 locale bug made obvious. prod-bug-investigator (opus) — nothing owned root-cause analysis of a live bug. The locale/session bug got a plausible, internally consistent, WRONG diagnosis (SW caching HTML on flaky network) and a release was spent on the wrong half. The agent enforces evidence before hypothesis: every claim is labelled MEASURED / READ IN CODE / INFERRED / UNVERIFIED, the mechanism must explain the intermittence, and it must state its own falsifier. It diagnoses, never fixes. test-quality-auditor (sonnet) — test-runner reports whether tests pass, never what they are worth. The spec covering the exact broken path, e2e/i18n/locale-switcher.spec.ts:180 'soft navigation picks up the new locale', sits on an unconditional test.skip. Green suite, zero coverage of that behaviour. An auth security spec (user enumeration, e2e/auth.spec.ts:40) is skipped too. The agent flags silently disabled specs, .only, assertions that cannot fail, and fixes shipped without a regression test. Both registered in CLAUDE.md + docs/ROADMAP.md (16 agents).
|
You have reached your Codex usage limits for code reviews. You can see your limits in the Codex usage dashboard. |
|
The latest updates on your projects. Learn more about Vercel for GitHub.
|
github-actions
Bot
added
status:review-needed
Contributor
|
🧙 Sourcery a terminé la revue de votre pull request ! Conseils et commandesInteragir avec Sourcery
Personnaliser votre expérienceAccédez à votre tableau de bord pour :
Obtenir de l’aide
Original review guide in English🧙 Sourcery has finished reviewing your pull request! Tips and commandsInteracting with Sourcery
Customizing Your ExperienceAccess your dashboard to:
Getting Help
|
![sourcery-ai[bot]](https://avatars.githubusercontent.com/in/48477?s=60&v=4){kind=small}
Contributor
There was a problem hiding this comment.
Salut - j'ai laissé quelques retours de haut niveau :
- Dans
test-quality-auditor, les seuils de couverture codés en dur et les listes de chemins critiques (par exemplesrc/lib/domain/**, Server Actions) devraient être recoupés avec la configuration de couverture actuelle et la structure des répertoires afin d’éviter que l’agent n’applique des contrats obsolètes ou incohérents. - Les instructions de
prod-bug-investigatorfont référence à des commandes, des variables d’environnement et des chemins spécifiques (par exemplenpm run e2e:auth,E2E_PROD_SERVER=1,src/proxy.ts) ; envisagez de les aligner sur une source de vérité unique ou d’ajouter de brèves mises en garde dans le texte de l’agent afin qu’il reste correct si ces commandes ou ces chemins changent.
Prompt pour les agents IA
Veuillez traiter les commentaires de cette revue de code :
## Commentaires généraux
- Dans `test-quality-auditor`, les seuils de couverture codés en dur et les listes de chemins critiques (par exemple `src/lib/domain/**`, Server Actions) devraient être recoupés avec la configuration de couverture actuelle et la structure des répertoires afin d’éviter que l’agent n’applique des contrats obsolètes ou incohérents.
- Les instructions de `prod-bug-investigator` font référence à des commandes, des variables d’environnement et des chemins spécifiques (par exemple `npm run e2e:auth`, `E2E_PROD_SERVER=1`, `src/proxy.ts`) ; envisagez de les aligner sur une source de vérité unique ou d’ajouter de brèves mises en garde dans le texte de l’agent afin qu’il reste correct si ces commandes ou ces chemins changent.Sourcery est gratuit pour l’open source - si vous trouvez nos revues utiles, merci d’envisager de les partager ✨
Original comment in English
Hey - I've left some high level feedback:
- In
test-quality-auditor, the hard-coded coverage thresholds and critical path lists (e.g.src/lib/domain/**, Server Actions) should be cross-checked against the current coverage configuration and directory layout to avoid the agent enforcing outdated or mismatched contracts. - The
prod-bug-investigatorinstructions reference specific commands, env vars, and paths (e.g.npm run e2e:auth,E2E_PROD_SERVER=1,src/proxy.ts); consider aligning these with a single source of truth or adding brief guards in the agent text so it remains correct if those commands or paths change.
Prompt for AI Agents
Please address the comments from this code review:
## Overall Comments
- In `test-quality-auditor`, the hard-coded coverage thresholds and critical path lists (e.g. `src/lib/domain/**`, Server Actions) should be cross-checked against the current coverage configuration and directory layout to avoid the agent enforcing outdated or mismatched contracts.
- The `prod-bug-investigator` instructions reference specific commands, env vars, and paths (e.g. `npm run e2e:auth`, `E2E_PROD_SERVER=1`, `src/proxy.ts`); consider aligning these with a single source of truth or adding brief guards in the agent text so it remains correct if those commands or paths change.Help me be more useful! Please click 👍 or 👎 on each comment and I'll use the feedback to improve your reviews.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Deux manques que le bug locale du 25/07 a rendus évidents.
prod-bug-investigator(Opus)Rien ne possédait l'analyse de cause racine d'un bug en cours. Le bug locale/session a reçu un diagnostic plausible, cohérent — et faux (SW cachant du HTML sur réseau instable). Une release a été dépensée sur la mauvaise moitié du problème.
L'agent impose la preuve avant l'hypothèse : chaque affirmation étiquetée MEASURED / READ IN CODE / INFERRED / UNVERIFIED, le mécanisme doit expliquer l'intermittence, et l'agent doit énoncer son propre falsifieur. Il diagnostique, il n'implémente jamais.
Déjà rentabilisé : premier lancement → cause racine du bug locale établie, reproduite sur la prod (un prefetch RSC réécrit
NEXT_LOCALE=enen silence), avec 8 hypothèses éliminées et documentées.test-quality-auditor(Sonnet)test-runnerdit si les tests passent, jamais ce qu'ils valent. Le spec couvrant exactement le chemin cassé —e2e/i18n/locale-switcher.spec.ts:180« soft navigation picks up the new locale » — est sur untest.skipinconditionnel. Suite verte, couverture nulle sur ce comportement. Un spec de sécurité (énumération d'utilisateurs,e2e/auth.spec.ts:40) est skippé aussi.L'agent flague les specs désactivées en silence, les
.onlyoubliés, les assertions qui ne peuvent pas échouer, et les fix livrés sans test de non-régression.Modèles
Vérification faite : les 16 agents déclarent tous un modèle, aucun Haiku, tous en alias (
sonnet/opus) → Sonnet 5 / Opus 5 automatiquement. Épingler des versions serait une régression (cf. #246).Enregistrés dans
CLAUDE.md+docs/ROADMAP.md.🤖 Generated with Claude Code
Summary by Sourcery
Ajout de deux nouveaux agents QA axés sur l’analyse des causes premières des bugs en production et sur la qualité de la suite de tests, et documentation de leur rôle et de leur utilisation dans le pilier des agents QA.
Nouvelles fonctionnalités :
prod-bug-investigatorpour établir des causes premières étayées par des preuves pour les bugs en production et à l’exécution.test-quality-auditorpour évaluer si les tests démontrent réellement les comportements et permettraient de détecter des régressions.Améliorations :
CLAUDE.mdetROADMAP.mdpour refléter un total de 16 agents QA et pour documenter les déclencheurs et responsabilités des nouveaux agents de diagnostic et de qualité des tests.Documentation :
prod-bug-investigatorettest-quality-auditor, incluant leur objectif, les pièges, la méthodologie et la sortie attendue, dans des spécifications d’agent dédiées et des tableaux de feuille de route.Tests :
test-quality-auditor.Original summary in English
Summary by Sourcery
Add two new QA agents focused on production bug root-cause analysis and test suite quality, and document their role and usage in the QA agents pillar.
New Features:
Enhancements:
Documentation:
Tests: