Skip to content

fix(registry): registra i dataset mart-only nel catalogo - #513

Merged
Gabrymi93 merged 1 commit into
mainfrom
fix/registry-mart-only-dataset
Oct 20, 2026
Merged

Gabrymi93 merged 1 commit into
mainfrom
fix/registry-mart-only-dataset

Conversation

@Gabrymi93

Copy link
Copy Markdown
Member

Sintesi

I compose mart-only (senza clean:) non entrano nella sezione datasets del registry: i loro mart ci sono, ma restano orfani. ACB costruisce topic_index solo dai dataset, quindi il compose non è visibile (find/explore) e gcs_query non riesce a risalire al repo produttore.

Questa PR li registra come dataset senza columns/location, con metadati e mart_refs.

Contesto collegato

Nessuna issue: bug emerso pubblicando filiere-agroalimentari (compose filiere_valore_aggiunto). Stesso pattern per altri mart-only (energia_incroci, resource_dependency_compose, ...).

Cosa cambia

  • Bug fix
  • Nuova funzionalità del motore
  • Nuovo plugin sorgente
  • Modifica contratto pubblico (dataset.yml, path output, schema parquet)
  • Refactor / performance
  • Documentazione
  • Dipendenze o CI

Impatto su contratti pubblici

  • Schema artifact registry.json: columns e location diventano opzionali per i dataset mart-only (backward-compatible).
  • Nessun cambio a dataset.yml, path output o schema parquet.

Verifica

pytest -m core
ruff check .
mypy toolkit/
  • pytest -m core passa (222 passed, 1 skipped)
  • ruff check . passa
  • mypy toolkit/ passa
  • Test aggiunto con marker contract

Verifica manuale: toolkit registry build (dry-run) su filiere-agroalimentari ora produce datasets 7 con filiere_valore_aggiunto e i suoi mart_refs, senza errori di validazione. Provato anche su open-conto-annuale, italia-dipendenze, energia-italia, open-ccnl, imprese-italia.

Checklist PR

  • Perimetro stretto: una PR = un layer o un fix mirato
  • Se nuovo plugin: test + docs inclusi
  • Issue collegata o motivazione dell'assenza
  • Se rimuovo un modulo/funzione pubblica: N/A

Note per chi revisiona

Il fix copre i mart-only veri (assenza di clean:). Un dataset con clean.sql ma parquet locale mancante continua a produrre warning e viene saltato: è un caso diverso (output mancante), non un mart-only.

I compose senza clean: non entravano nella sezione datasets: i mart restavano orfani e ACB/MCP non vedevano il dataset. Ora build_clean_catalog emette una entry con metadati e mart_refs, senza columns/location; lo schema rende i due campi opzionali.
@Gabrymi93
Gabrymi93 merged commit a1dc4ca into main Oct 20, 2026
3 checks passed
@Gabrymi93
Gabrymi93 deleted the fix/registry-mart-only-dataset branch October 20, 2026 21:14
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant