Skip to content

Fase 9: evaluación experimental reproducible - #10

Merged
kapumota merged 1 commit into
mainfrom
fase-9-evaluacion-experimental
Jun 9, 2026
Merged

kapumota merged 1 commit into
mainfrom
fase-9-evaluacion-experimental

Conversation

@kapumota

@kapumota kapumota commented Jun 9, 2026

Copy link
Copy Markdown
Owner

Objetivo

Agregar una evaluación experimental reproducible para AgentGuard FastPath.

Esta fase busca producir evidencia de rendimiento, memoria y calidad de detección. El proyecto ya no queda solo descrito por documentación o benchmarks aislados, sino que ahora cuenta con un flujo de evaluación que genera datos, ejecuta análisis y produce un resumen experimental.

Cambios principales

  • Se agregó docs/EVALUACION.md.
  • Se agregó scripts/run_evaluation.sh.
  • Se agregó results/README.md.
  • Se agregó results/.gitkeep.
  • Se agregó benchmarks/results/README.md.
  • Se agregó benchmarks/results/.gitkeep.
  • Se ajustó .gitignore para permitir documentar benchmarks/results/ sin versionar resultados generados grandes.

Qué evalúa esta fase

La evaluación cubre:

  • ejecución de agfast sobre un dataset sintético etiquetado;
  • generación de reportes JSON, HTML y CSV;
  • medición de tiempo de ejecución;
  • medición de memoria máxima RSS;
  • robustez ante líneas corruptas usando tail;
  • ejecución de simulaciones de ranking de sketches;
  • ejecución de evaluación realista de sketches;
  • validación de GuardSketch userspace mediante make test-guardsketch.

Métricas consideradas

  • throughput aproximado;
  • tiempo de ejecución;
  • memoria máxima RSS;
  • precision y recall contra labels sintéticos;
  • top-k overlap entre alertas y ranking exacto;
  • tamaño de reportes;
  • robustez ante entradas corruptas;
  • estado de GuardSketch userspace.

Validación ejecutada

make clean
make
make test-fastpath
make test-regression
make test-streaming
make test-guardsketch
bash scripts/run_evaluation.sh
make clean

@kapumota
kapumota merged commit 693fc2b into main Jun 9, 2026
3 checks passed
@kapumota
kapumota deleted the fase-9-evaluacion-experimental branch June 9, 2026 04:21
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant