Skip to content

Validação baseada em schema e upsert com staging via COPY na ingestão de ocultações#1201

Merged
rcboufleur merged 3 commits into
mainfrom
feat/predict-occ-copy-upsert
Apr 9, 2026
Merged

Validação baseada em schema e upsert com staging via COPY na ingestão de ocultações#1201
rcboufleur merged 3 commits into
mainfrom
feat/predict-occ-copy-upsert

Conversation

@rcboufleur
Copy link
Copy Markdown
Collaborator

O pull request altera o processo de ingestão e upsert de ocultações com validação baseada no schema do banco, exigência explícita da coluna hash_id para operações de upsert e inclusão de um modo de ingestão que usa COPY do PostgreSQL com tabela temporária de staging antes do upsert na tabela principal. A lista de colunas NOT NULL passa a ser resolvida dinamicamente a partir do schema da tabela tno_occultation. Foram adicionados métodos auxiliares no OccultationDao para preparação de dataframes com timestamps de auditoria, citação de identificadores SQL e execução do fluxo de staging. A definição de created_at e updated_at foi centralizada em um único método. O script de execução também passou a gerar o diretório temporário com um hash baseado em $RANDOM.

@rcboufleur rcboufleur merged commit 1a9186e into main Apr 9, 2026
7 checks passed
@rcboufleur rcboufleur moved this to 👀 In review in Software Apr 9, 2026
@github-project-automation github-project-automation Bot moved this from 👀 In review to ✅ Done in Software Apr 9, 2026
@rcboufleur rcboufleur linked an issue Apr 9, 2026 that may be closed by this pull request
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

Status: ✅ Done

Development

Successfully merging this pull request may close these issues.

Otimiza ingestão de predições usando copy staging

1 participant