From ada38a5dd900f2d9f70b7a55ec38be67ee52b1c1 Mon Sep 17 00:00:00 2001 From: mathcolombo Date: Wed, 11 Nov 2026 15:57:58 -0300 Subject: [PATCH] =?UTF-8?q?fix(orchestrator):=20regras=20pelo=20refinament?= =?UTF-8?q?o,=20su=C3=ADte=20por=20task=20e=20G3=20na=20issue?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Correções a partir da execução abortada do CAT-FEAT-01: - O agente de Requisitos pode propor regras novas em docs/regras-de-negocio.md; o G3 mostra o diff e aprova junto. - O supervisor roda scripts/ci.sh antes de cada commit; se falhar, o log volta alternadamente para Código e Testes (até 3 vezes). - Se a correção da CI não altera nada, a execução para na hora com a falha `correcao_bloqueada` e a explicação do agente. - O prompt de Testes proíbe testar documentação; os agentes de Código e Testes podem rodar `bash scripts/ci.sh `. - Cada decisão do G3 é comentada na issue: aprovador, comentário, história, tasks e regras propostas. Co-Authored-By: Claude Opus 5.5 --- docs/piloto/protocolo.md | 13 +++-- orchestrator/agents.py | 4 +- orchestrator/console.py | 4 ++ orchestrator/flows.py | 65 +++++++++++++++++++++-- orchestrator/platform.py | 11 ++++ orchestrator/prompts/codigo.md | 3 +- orchestrator/prompts/requisitos.md | 5 +- orchestrator/prompts/testes.md | 6 ++- orchestrator/tests/test_flows.py | 74 +++++++++++++++++++++++++++ orchestrator/tests/test_guardrails.py | 9 +++- 10 files changed, 178 insertions(+), 16 deletions(-) diff --git a/docs/piloto/protocolo.md b/docs/piloto/protocolo.md index f6df4ab..5e69452 100644 --- a/docs/piloto/protocolo.md +++ b/docs/piloto/protocolo.md @@ -24,9 +24,9 @@ Cada fluxo é um serviço com dois ciclos completos. A entrada de cada execuçã ### Refinamento em tasks (ciclo de funcionalidade) -O Agente de Requisitos e Refinamento escreve a história em `docs/backlog/.md` com regra, cenários BDD e uma seção `## Tasks`, com 1 a 6 tasks `### T: `. Cada task traz `Cenários:`, `Arquivos:` e `Pronto quando:`. O supervisor rejeita a história se faltar algum desses elementos. No G3 são aprovadas a história e a quebra em tasks. +O Agente de Requisitos e Refinamento escreve a história em `docs/backlog/.md` com regra, cenários BDD e uma seção `## Tasks`, com 1 a 6 tasks `### T: `. Cada task traz `Cenários:`, `Arquivos:` e `Pronto quando:`. O supervisor rejeita a história se faltar algum desses elementos. Regras de negócio novas são propostas pelo mesmo agente em `docs/regras-de-negocio.md`. No G3 são aprovadas a história, a quebra em tasks e as regras novas. Cada decisão do G3 é registrada como comentário na issue, com aprovador, comentário, história e regras propostas. O registro fica no card mesmo que a execução falhe depois. -Depois do G3, cada task é executada em sequência: o Agente de Código implementa só aquela task, o Agente de Testes cobre seus cenários, as verificações de qualidade rodam e o supervisor faz um commit próprio para a task. Ao fim das tasks, sai um único PR, com uma CI e um G5 para a história inteira. Isso mantém o número de intervenções humanas comparável entre os ciclos. O trace registra `tasks_planned`, `task_started` e `task_finished`. +Depois do G3, cada task é executada em sequência: o Agente de Código implementa só aquela task, o Agente de Testes cobre seus cenários, as verificações de qualidade e a suíte da CI (`scripts/ci.sh`) rodam, e o supervisor faz um commit próprio para a task. Se a suíte falhar, o log volta alternadamente para o Agente de Código e para o de Testes, até 3 tentativas. Ao fim das tasks, sai um único PR, com uma CI e um G5 para a história inteira. Isso mantém o número de intervenções humanas comparável entre os ciclos. O trace registra `tasks_planned`, `task_started` e `task_finished`. O ciclo de bug não passa por refinamento. @@ -34,9 +34,9 @@ O ciclo de bug não passa por refinamento. | Agente | Atividades | Escrita | Comandos | Turnos | Orçamento (US$) | |---|---|---|---|---:|---:| -| Requisitos e refinamento | 2, 3 | `docs/backlog/` | nenhum | 20 | 1,50 | -| Código | 6, 7 | serviço do fluxo, `libs/events/` e `web/public/` (exceto testes e, sem seção Interface, `styles.css`); `.pilot/repro/` | pytest, node --test, git somente leitura | 50 | 4,00 | -| Testes | 8, 10 | `tests/` do serviço e de `libs/events/`; `web/tests/` | pytest, node --test, git somente leitura | 40 | 3,00 | +| Requisitos e refinamento | 2, 3 | `docs/backlog/` e `docs/regras-de-negocio.md` (só regras novas) | nenhum | 20 | 1,50 | +| Código | 6, 7 | serviço do fluxo, `libs/events/` e `web/public/` (exceto testes e, sem seção Interface, `styles.css`); `.pilot/repro/` | pytest, node --test, `scripts/ci.sh`, git somente leitura | 50 | 4,00 | +| Testes | 8, 10 | `tests/` do serviço e de `libs/events/`; `web/tests/` | pytest, node --test, `scripts/ci.sh`, git somente leitura | 40 | 3,00 | | Deploy | 11, 12 | `.pilot/deploy_report.md` | scripts de homologação, compose ps/logs | 20 | 1,00 | ## Guarda-corpos @@ -77,6 +77,9 @@ Limitação conhecida: o agente de Deploy roda sem sandbox, pois precisa do Dock | `outra` | Humano, ao reprovar | | `criterio_aceitacao` | Automática: história ou relatório fora do padrão | | `ci_quebrado` | Automática | +| `suite_vermelha` | Automática: suíte local falhou antes do commit | +| `correcao_bloqueada` | Automática: o agente não conseguiu alterar nada para corrigir a CI | +| `registro` | Automática: falha ao comentar na issue | | `limite_execucao` | Automática: turnos ou orçamento | | `erro_agente` | Automática | | `violacao_escopo` | Automática | diff --git a/orchestrator/agents.py b/orchestrator/agents.py index fbffafd..71f430d 100644 --- a/orchestrator/agents.py +++ b/orchestrator/agents.py @@ -8,6 +8,7 @@ TEST_COMMANDS = ( ("pytest",), ("node", "--test"), + ("bash", "scripts/ci.sh"), ("python", "-m", "pytest"), ("git", "status"), ("git", "diff"), @@ -49,6 +50,7 @@ def system_prompt(self, worktree: Path) -> str: DEPLOY = AgentSpec("deploy", "deploy.md", (*READ_TOOLS, "Write", "Bash"), 20, 1.0, False) +BUSINESS_RULES = "docs/regras-de-negocio.md" WEB_CODE = "web/public/" WEB_TESTS = "web/tests/" WEB_STYLES = "web/public/styles.css" @@ -61,7 +63,7 @@ def policy_for(spec: AgentSpec, service: str, worktree: Path, visual_changes: bo events_tests = "libs/events/tests/" styles = () if visual_changes else (WEB_STYLES,) scopes: dict[str, dict] = { - "requisitos": {"writable": ("docs/backlog/",)}, + "requisitos": {"writable": ("docs/backlog/", BUSINESS_RULES)}, "codigo": { "writable": (service_dir, "libs/events/", WEB_CODE, ".pilot/repro/"), "write_excluded": (service_tests, events_tests, *styles), diff --git a/orchestrator/console.py b/orchestrator/console.py index 9b57a03..97acf90 100644 --- a/orchestrator/console.py +++ b/orchestrator/console.py @@ -75,6 +75,10 @@ def format(self, r: dict) -> str | None: return f" verificações de qualidade: {ok if r['passed'] else fail + ' ' + '; '.join(r['problems'])}" case "regression_check": return f" teste de regressão falha sem a correção: {ok if r['failed_on_base'] else fail}" + case "suite_result": + return f" suíte de testes (tentativa {r['attempt']}): {ok + ' verde' if r['passed'] else fail + ' falhou'}" + case "issue_commented": + return f" {ok} decisão do {r['gate']} registrada na issue #{r['issue']}" case "pr_opened": return f" PR aberto: {r['url']}" case "ci_result": diff --git a/orchestrator/flows.py b/orchestrator/flows.py index 85520e1..8e4d5b4 100644 --- a/orchestrator/flows.py +++ b/orchestrator/flows.py @@ -1,9 +1,10 @@ import json import shutil +import subprocess from dataclasses import dataclass from pathlib import Path -from orchestrator.agents import CODIGO, DEPLOY, REQUISITOS, TESTES, AgentSpec, policy_for +from orchestrator.agents import BUSINESS_RULES, CODIGO, DEPLOY, REQUISITOS, TESTES, AgentSpec, policy_for from orchestrator.checks import ( Task, changed_files, @@ -151,6 +152,7 @@ async def _implement_task(self, task: Task, position: int, total: int) -> None: f"Crie testes automatizados para os critérios e cenários da task {task.id}.\n\n{context}", ) await self._quality_checks(current_task_only=True) + await self._ensure_suite_passes() self._commit(f"feat({self.service}): {task.id} {task.title}") self.trace.emit("task_finished", task=task.id) @@ -169,7 +171,10 @@ async def _approve_story(self) -> None: for _ in range(MAX_REWORK_ROUNDS): self._phase("G3: aprovação da história") story = (self.worktree / self.story_path).read_text(encoding="utf-8") - decision = self._gate("G3", f"{self.worktree / self.story_path}\n\n{story}") + rules = self._rules_diff() + rules_section = f"\n\nAlteração proposta em {BUSINESS_RULES}:\n{rules}" if rules else "" + decision = self._gate("G3", f"{self.worktree / self.story_path}\n\n{story}{rules_section}") + self._record_g3_on_issue(decision) if decision.decision != "rejected": return await self._agent( @@ -178,6 +183,54 @@ async def _approve_story(self) -> None: ) raise RunAborted("rejected", "História reprovada no G3 além do limite de rodadas") + def _rules_diff(self) -> str: + return run(["git", "diff", "--", BUSINESS_RULES], self.worktree).stdout.strip() + + def _record_g3_on_issue(self, decision: GateDecision) -> None: + """Registra no card a saída do refinamento e a decisão humana, mesmo que a execução falhe depois.""" + if not self.demand.issue: + return + outcome = {"approved": "aprovada", "edited": "aprovada com edição humana", "rejected": "reprovada"} + lines = [ + f"### G3: história {outcome[decision.decision]}", + "", + f"- Aprovador: {decision.approver}", + f"- Execução: `{self.run_id}`", + f"- Esforço humano: {decision.human_minutes:.1f} min", + ] + if decision.comment: + lines.append(f"- Comentário: {decision.comment}") + if decision.decision != "rejected": + story = (self.worktree / self.story_path).read_text(encoding="utf-8") + lines += ["", f"
História e tasks ({self.story_path})", "", story, "", "
"] + rules = self._rules_diff() + if rules: + lines += ["", f"
Regras de negócio propostas ({BUSINESS_RULES})", "", "```diff", rules, "```", "", "
"] + try: + self.platform.comment_issue(self.worktree, self.demand.issue, "\n".join(lines)) + self.trace.emit("issue_commented", issue=self.demand.issue, gate="G3", decision=decision.decision) + except subprocess.CalledProcessError as error: + self._failure("registro", f"Não foi possível comentar na issue #{self.demand.issue}: {error.stderr}") + + async def _ensure_suite_passes(self) -> None: + """Roda a mesma suíte da CI antes do commit, para teste vermelho não chegar ao PR.""" + for attempt in range(1, MAX_REWORK_ROUNDS + 1): + result = run(["bash", "scripts/ci.sh", self.service], self.worktree, check=False) + passed = result.returncode == 0 + log = (result.stdout + result.stderr)[-6000:] + self.trace.emit("suite_result", passed=passed, attempt=attempt, output="" if passed else log) + if passed: + return + self._failure("suite_vermelha", f"Suíte de testes falhou antes do commit (tentativa {attempt})") + spec = CODIGO if attempt % 2 else TESTES + await self._agent( + spec, + "A suíte de testes (`bash scripts/ci.sh`) falhou. Encontre a causa e corrija dentro da sua área, " + "sem enfraquecer testes válidos. Se a causa estiver fora da sua área, não contorne: explique-a.\n\n" + f"\n{log}\n\n\n{self.demand_block}", + ) + raise RunAborted("aborted", "Suíte de testes continuou falhando antes do commit") + async def _bug(self) -> str: self._record_coverage("before") self._phase("Reprodução e correção do defeito") @@ -239,6 +292,7 @@ def _work_files(self) -> list[str]: async def _deliver(self, title: str, committed: bool = False) -> str: if not committed: await self._quality_checks() + await self._ensure_suite_passes() self._phase("Commit e pull request") self._commit(title) else: @@ -267,11 +321,13 @@ async def _wait_ci(self, pull_request: PullRequest) -> None: if result.passed: return self._failure("ci_quebrado", f"CI falhou na tentativa {attempt}", log=result.log) - await self._agent( + fix = await self._agent( CODIGO, f"A CI falhou. Corrija a causa sem enfraquecer os testes.\n\n\n{result.log}\n", ) - self._commit(f"fix({self.service}): corrige falha de CI") + if not self._commit(f"fix({self.service}): corrige falha de CI"): + self._failure("correcao_bloqueada", fix.text, agent="codigo") + raise RunAborted("aborted", "O agente de Código não conseguiu alterar nada para corrigir a CI") self.platform.push(self.worktree, self.branch) raise RunAborted("aborted", "CI continuou falhando após o limite de tentativas") @@ -308,6 +364,7 @@ async def _rework(self, pull_request: PullRequest, decision: GateDecision) -> No if decision.rework_target in ("testes", "ambos"): await self._agent(TESTES, feedback) await self._quality_checks() + await self._ensure_suite_passes() self._commit(f"fix({self.service}): atende revisão do G5") self.platform.push(self.worktree, self.branch) await self._wait_ci(pull_request) diff --git a/orchestrator/platform.py b/orchestrator/platform.py index 5d3dc96..91f8983 100644 --- a/orchestrator/platform.py +++ b/orchestrator/platform.py @@ -49,6 +49,8 @@ def sync_merged(self, worktree: Path) -> None: ... def tag_release(self, worktree: Path, tag: str) -> None: ... + def comment_issue(self, worktree: Path, number: int, body: str) -> None: ... + class GitHubPlatform: name = "github" @@ -114,6 +116,12 @@ def tag_release(self, worktree: Path, tag: str) -> None: run(["git", "tag", tag], worktree) run(["git", "push", "origin", tag], worktree) + def comment_issue(self, worktree: Path, number: int, body: str) -> None: + body_file = worktree / ".pilot" / "issue_comment.md" + body_file.parent.mkdir(exist_ok=True) + body_file.write_text(body, encoding="utf-8") + run(["gh", "issue", "comment", str(number), "--body-file", str(body_file)], worktree) + class LocalPlatform: """Ensaio sem GitHub: branch local como base e CI executada na máquina.""" @@ -152,3 +160,6 @@ def sync_merged(self, worktree: Path) -> None: def tag_release(self, worktree: Path, tag: str) -> None: run(["git", "tag", f"rehearsal-{tag}"], worktree) + + def comment_issue(self, worktree: Path, number: int, body: str) -> None: + """Ensaios não escrevem no card real.""" diff --git a/orchestrator/prompts/codigo.md b/orchestrator/prompts/codigo.md index 9580dd6..5238212 100644 --- a/orchestrator/prompts/codigo.md +++ b/orchestrator/prompts/codigo.md @@ -8,7 +8,8 @@ Fronteira: - Git, push, PR e deploy são exclusivos do supervisor. Testes definitivos são do Agente de Testes. - Comandos permitidos: `pytest`, `python -m pytest` e `git status|diff|log|show`, sem encadeamento ou redirecionamento. - Um bloqueio de guarda-corpo é definitivo: não tente contorná-lo por outro caminho. -- Comandos de teste do front: `node --test "web/tests/*.test.js"`. +- Comandos de teste do front: `node --test "web/tests/*.test.js"`. A suíte completa da CI: `bash scripts/ci.sh `. +- Documentação e regras de negócio (`docs/`) não são da sua área. Se a demanda depender delas, registre como pendência. Front (`web/public/`): - Altere a tela quando a demanda precisar ser usada por ela, por exemplo uma ação nova ou um dado novo exibido. Siga as convenções de front do AGENTS.md. diff --git a/orchestrator/prompts/requisitos.md b/orchestrator/prompts/requisitos.md index a81fe96..20ad5ff 100644 --- a/orchestrator/prompts/requisitos.md +++ b/orchestrator/prompts/requisitos.md @@ -6,7 +6,7 @@ Fronteira: você rascunha; o PO e o tech lead aprovam a história e as tasks no Critérios de aceitação do seu trabalho: - O arquivo é criado exatamente no caminho indicado. -- Há pelo menos uma linha `Regra: RN-xx` referenciando `docs/regras-de-negocio.md`. Se a demanda criar regra nova, use o próximo número livre e descreva-a na história. +- Há pelo menos uma linha `Regra: RN-xx` referenciando `docs/regras-de-negocio.md`. Se a demanda criar regra nova, use o próximo número livre, descreva-a na história e acrescente a linha correspondente na tabela de `docs/regras-de-negocio.md`. A regra é aprovada pela equipe no G3, junto com a história. Não altere regras existentes; se uma precisar mudar, registre em "Questões em aberto". - Cada comportamento tem um cenário BDD iniciado por `Cenário:`, incluindo casos de exceção. - Eventos novos ou alterados são listados com tipo e campos. - A seção `## Tasks` divide a implementação em 1 a 6 tasks, cada uma com cabeçalho `### T1: `, `### T2: ...` e assim por diante. @@ -18,7 +18,8 @@ Como quebrar em tasks: - `Cenários:` os cenários BDD que ela cobre, pelo nome; - `Arquivos:` os arquivos que provavelmente muda; - `Pronto quando:` o critério objetivo de conclusão. -- Não crie task só de testes nem só de documentação. Os testes de cada task são escritos junto com ela. +- Não crie task para registrar regras ou documentação: isso é feito por você, no refinamento. Também não crie task só de testes. +- Não crie task só de documentação. Os testes de cada task são escritos junto com ela. - Se a demanda precisar ser usada pela tela, inclua uma task de front (`web/public/`) depois das tasks da API. - Decisões visuais vêm apenas da seção `` da demanda, escrita pela equipe técnica. Sem ela, a task de front reutiliza os componentes existentes; qualquer necessidade visual vai para "Questões em aberto". diff --git a/orchestrator/prompts/testes.md b/orchestrator/prompts/testes.md index 6a836c6..cec5559 100644 --- a/orchestrator/prompts/testes.md +++ b/orchestrator/prompts/testes.md @@ -4,12 +4,14 @@ Você cria cenários e testes automatizados com pytest, usando `InMemoryBus` e ` Fronteira: - Escreva somente em `services//tests/`, `libs/events/tests/` e `web/tests/`. Nunca altere código de produção: se um teste revelar defeito, relate na resposta final. -- Comandos permitidos: `pytest`, `python -m pytest`, `node --test "web/tests/*.test.js"` e `git status|diff|log|show`, sem encadeamento ou redirecionamento. +- Comandos permitidos: `pytest`, `python -m pytest`, `bash scripts/ci.sh `, `node --test "web/tests/*.test.js"` e `git status|diff|log|show`, sem encadeamento ou redirecionamento. - Se a demanda alterar o front, teste as funções de `web/public/lib.js` em `web/tests/.test.js`, com `node:test` e `node:assert/strict`, cada teste com ao menos uma asserção. - Você não aprova a própria suíte: a revisão é humana no gate G5. Critérios de aceitação: -- Cada teste verifica comportamento observável, com asserções significativas. Nada de teste vazio ou tautológico. +- Cada teste verifica comportamento observável do sistema, com asserções significativas. Nada de teste vazio ou tautológico. +- Nunca teste documentação (`docs/`, `AGENTS.md`, histórias): regras de negócio se verificam pelo comportamento que produzem. +- Antes de terminar, rode `bash scripts/ci.sh ` e deixe a suíte verde. O supervisor roda a mesma suíte antes do commit. - Em ciclo de funcionalidade, cada cenário BDD da história tem ao menos um teste, referenciado na docstring. - Em ciclo de bug, o teste de regressão precisa falhar no código sem a correção. O supervisor verifica isso. - Use apenas dados sintéticos. diff --git a/orchestrator/tests/test_flows.py b/orchestrator/tests/test_flows.py index 9ce640f..538edd6 100644 --- a/orchestrator/tests/test_flows.py +++ b/orchestrator/tests/test_flows.py @@ -31,6 +31,7 @@ def repo(tmp_path, monkeypatch): monkeypatch.setenv("GIT_COMMITTER_EMAIL", "t@t") (tmp_path / "scripts").mkdir() (tmp_path / "scripts/healthcheck.py").write_text("print('ok')\n") + (tmp_path / "scripts/ci.sh").write_text("pytest services/catalog/tests -q\n") (tmp_path / "scripts/deploy_homolog.sh").write_text('mkdir -p .pilot && echo "$1" >> .pilot/deploy.log\n') (tmp_path / "services/catalog/tests").mkdir(parents=True) (tmp_path / "services/catalog/mod.py").write_text("VALUE = 1\n") @@ -52,6 +53,7 @@ def __init__(self, ci=(True,), merged=(True,)): self.ci = list(ci) self.merged = list(merged) self.tags = [] + self.comments = [] def prepare_base(self): ... def open_pr(self, worktree, branch, title, body): return PullRequest(1, "url", branch) @@ -62,6 +64,7 @@ def complete_review(self, worktree, pr): ... def review_comments(self, worktree, pr): return "" def sync_merged(self, worktree): ... def tag_release(self, worktree, tag): self.tags.append(tag) + def comment_issue(self, worktree, number, body): self.comments.append((number, body)) class FakeRunner: @@ -189,6 +192,77 @@ def test_visual_decisions_follow_interface_section(repo, tmp_path_factory): assert "sem alterar layout" not in supervisor.demand_block +async def test_g3_decision_and_story_are_commented_on_issue(repo, tmp_path_factory): + reject = GateDecision("rejected", "faltou cenário de exceção", "Ana (PO)", 1.0, 3.0, "outra") + gates = ScriptedGates([reject]) + supervisor, _, platform, trace = build(repo, tmp_path_factory, gates=gates) + supervisor.demand = Demand("D-1", "catalog", "feature", "título", "corpo", issue=9) + + assert await supervisor.run() == "completed" + rejected, approved = platform.comments[:2] + assert rejected[0] == 9 and "reprovada" in rejected[1] and "faltou cenário de exceção" in rejected[1] + assert "Ana (PO)" in rejected[1] and "### T1: contrato" not in rejected[1] + assert "aprovada" in approved[1] and "### T1: contrato" in approved[1] + assert len(events(trace, "issue_commented")) == 2 + + +async def test_new_business_rule_is_shown_and_recorded_at_g3(repo, tmp_path_factory): + (repo / "docs/regras-de-negocio.md").write_text("| RN-01 | x |\n") + subprocess.run(["git", "add", "-A"], cwd=repo, check=True) + subprocess.run(["git", "commit", "-qm", "regras"], cwd=repo, check=True) + + class WithRule(FakeRunner): + async def __call__(self, spec, prompt, service, worktree, visual_changes=False): + if spec.name == "requisitos": + (worktree / "docs/regras-de-negocio.md").write_text("| RN-01 | x |\n| RN-02 | nova |\n") + return await super().__call__(spec, prompt, service, worktree, visual_changes) + + supervisor, _, platform, _ = build(repo, tmp_path_factory, runner=WithRule(repo)) + supervisor.demand = Demand("D-1", "catalog", "feature", "título", "corpo", issue=9) + + assert await supervisor.run() == "completed" + assert "+| RN-02 | nova |" in platform.comments[0][1] + + +async def test_failing_suite_goes_back_to_agents_before_commit(repo, tmp_path_factory): + class FixesOnSecondTry(FakeRunner): + fixes = [] + + async def __call__(self, spec, prompt, service, worktree, visual_changes=False): + if "suíte de testes" in prompt: + self.fixes.append(spec.name) + (worktree / "services/catalog/tests/test_broken.py").unlink(missing_ok=True) + return AgentResult(spec.name, "corrigido", False, "success", 0.1) + result = await super().__call__(spec, prompt, service, worktree, visual_changes) + if spec.name == "testes" and self.calls.count("testes") == 1: + (worktree / "services/catalog/tests/test_broken.py").write_text("def test_x():\n assert False\n") + return result + + supervisor, runner, _, trace = build(repo, tmp_path_factory, runner=FixesOnSecondTry(repo)) + + assert await supervisor.run() == "completed" + assert [e["passed"] for e in events(trace, "suite_result")][:2] == [False, True] + assert runner.fixes == ["codigo"] + assert events(trace, "failure")[0]["category"] == "suite_vermelha" + + +async def test_ci_fix_without_changes_stops_immediately(repo, tmp_path_factory): + class Blocked(FakeRunner): + async def __call__(self, spec, prompt, service, worktree, visual_changes=False): + if "A CI falhou" in prompt: + self.calls.append(spec.name) + return AgentResult(spec.name, "a causa está fora da minha área", False, "success", 0.1) + return await super().__call__(spec, prompt, service, worktree, visual_changes) + + supervisor, _, _, trace = build(repo, tmp_path_factory, runner=Blocked(repo), platform=FakePlatform(ci=(False, False, False))) + + with pytest.raises(RunAborted): + await supervisor.run() + assert len(events(trace, "ci_result")) == 1 + blocked = [e for e in events(trace, "failure") if e["category"] == "correcao_bloqueada"] + assert blocked[0]["description"] == "a causa está fora da minha área" + + async def test_bug_cycle_skips_requirements(repo, tmp_path_factory): supervisor, runner, _, trace = build(repo, tmp_path_factory, cycle="bug") diff --git a/orchestrator/tests/test_guardrails.py b/orchestrator/tests/test_guardrails.py index b7fb3b4..f7e4864 100644 --- a/orchestrator/tests/test_guardrails.py +++ b/orchestrator/tests/test_guardrails.py @@ -67,9 +67,16 @@ def test_requisitos_cannot_run_commands(): assert evaluate(policy(REQUISITOS), "Bash", {"command": "pytest"}).rule == "tool_not_allowed" -def test_requisitos_writes_only_backlog(): +def test_requisitos_writes_backlog_and_business_rules_only(): assert evaluate(policy(REQUISITOS), "Write", {"file_path": "docs/backlog/X.md"}).allowed + assert evaluate(policy(REQUISITOS), "Edit", {"file_path": "docs/regras-de-negocio.md"}).allowed assert not evaluate(policy(REQUISITOS), "Write", {"file_path": "docs/adr/x.md"}).allowed + assert evaluate(policy(CODIGO), "Edit", {"file_path": "docs/regras-de-negocio.md"}).rule == "write_scope" + + +def test_agents_can_run_the_ci_suite(): + assert evaluate(policy(CODIGO), "Bash", {"command": "bash scripts/ci.sh catalog"}).allowed + assert evaluate(policy(TESTES), "Bash", {"command": "bash scripts/ci.sh catalog"}).allowed def test_testes_agent_cannot_change_production_code():