Skip to content

feat: batch selettivo pipeline + benchmark G7 health - #4

Merged
Gabrymi93 merged 3 commits into
mainfrom
feat/health-g7-batch
Oct 5, 2026
Merged

Gabrymi93 merged 3 commits into
mainfrom
feat/health-g7-batch

Conversation

@Gabrymi93

Copy link
Copy Markdown
Member

Description

Espansione benchmark G7 per spesa sanitaria + pipeline batch selettivo.

Type of change

  • Nuovo dataset (espansione health a G7)
  • Aggiornamento dashboard
  • Bug fix
  • Documentazione
  • Altro

Checklist

Dataset

  • dataset.yml valido — rimosso filtro REF_AREA: ITA
  • SQL file esistenti — fix mart_benchmark.sql (aggiunto function_code='_T')
  • required_columns e required_tables dichiarati
  • min_rows > 0 in validazione
  • make check passa

Codice

  • Test passano localmente (make test) — 110 passed
  • Linter passa (make lint)
  • Nessun file dati committato (out/ è gitignorato)

Dashboard

  • Pagine funzionanti — benchmark G7 aggiunto in 04_Salute.py
  • Dati caricati correttamente — 77 righe (7 paesi × 11 anni), zero duplicati

Pipeline

  • run-batch target in Makefile
  • pipeline.yml con run-batch-command e sync-pattern: per-dataset
  • batch.txt gitignorato

Documentazione

  • Nessun nuovo dataset — espansione esistente
  • PR template seguito

Note

  • Health expenditure ora ha 7 paesi (G7): ITA, DEU, FRA, GBR, USA, JPN, CAN
  • Benchmark: 870K clean rows, 4.3K mart rows
  • Tax revenue resta solo Italia — API OECD in rate limit, da riprovare
  • Pipeline post-merge ora esegue solo i dataset toccati dalla PR

## Makefile
- Aggiunto target run-batch (solo dataset in batch.txt)
- generate-fua-lookup: skip se il lookup esiste già
- batch.txt aggiunto a .gitignore

## Pipeline
- pipeline.yml: aggiunto run-batch-command e sync-pattern per-dataset
- Post-merge PR: solo dataset toccati vengono rielaborati
- Schedule/dispatch: tutti i dataset

## Dashboard health
- Aggiunto benchmark G7 nella pagina Salute
- Confronto paesi (ITA, DEU, FRA, GBR, USA, JPN, CAN)

## Fix health dataset
- Rimosso filtro REF_AREA ITA dal dataset.yml
- mart_benchmark.sql: aggiunto function_code='_T' (fix duplicati)
- 77 righe benchmark (7 paesi × 11 anni), zero duplicati

## Lint
- Fix 9 errori ruff (unused imports, f-strings, import order)
## Pipeline
- run-command torna a 'make pipeline' (test+run) per schedule/dispatch
- run-batch-command rimane 'make run-batch' per PR merged

## Dashboard
- Rimossi domain hardcoded [5,18] in 04_Salute.py
- USA raggiunge 18.73% — il clipping tagliava il picco

## PR Template
- Aggiunte opzioni 'Espansione dataset' e 'Pipeline / CI'
Streamlit deprecates use_container_width after 2025-12-31.
Replaced with width='stretch' in all 26 occurrences across 8 pages.
@Gabrymi93
Gabrymi93 merged commit a08a2a6 into main Oct 5, 2026
2 checks passed
@Gabrymi93
Gabrymi93 deleted the feat/health-g7-batch branch October 5, 2026 15:31
@Gabrymi93 Gabrymi93 mentioned this pull request Oct 5, 2026
9 of 15 tasks
Gabrymi93 added a commit that referenced this pull request Oct 5, 2026
PR #4 ha introdotto benchmark G7 (870K rows) che supera il timeout
di 10 minuti in CI. Con REF_AREA=ITA: 71K rows, 10s — gestibile.

Tengo: batch selettivo, lint fix, width=stretch, function_code='_T'.
Rimuovo: benchmark G7 dalla dashboard.
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant