Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
536 commits
Select commit Hold shift + click to select a range
787b7d0
migração de pipeline para github
marcusmartinss Sep 19, 2025
fc50d94
feat(docker): adiciona driver do postgres no superset
davi-aguiar-vieira Sep 30, 2025
7e94b8d
Merge pull request #12 from GovHub-br/feat/driver-superset
Arthrok Sep 30, 2025
b8fb78f
Merge pull request #11 from GovHub-br/7-migrar-pipeline-gitlab-para-g…
Arthrok Sep 30, 2025
bb1ce3a
fix/makefile
davi-aguiar-vieira Sep 30, 2025
31985cd
Merge pull request #13 from GovHub-br/fix/makefile
Arthrok Sep 30, 2025
17aa8cc
bug: retira servidores fora do orgao
davi-aguiar-vieira Oct 15, 2025
450d810
Merge pull request #21 from GovHub-br/bug/listagem-servidores-fora
Arthrok Oct 15, 2025
fc048dd
fix/dag-nota-de-crédito
davi-aguiar-vieira Oct 20, 2025
a727f39
feat: altera a ingestão de ncs e pfs de teds para usar o id do plano …
egewarth Oct 25, 2025
cb4cf01
Merge pull request #27 from GovHub-br/feat/altera_ingestao_ncs_pfs
egewarth Oct 27, 2025
50e3cf9
Merge pull request #25 from GovHub-br/24-fix-dag-nota-de-crédito
egewarth Oct 27, 2025
7f40e76
fix/pf-tesouro-ingest
davi-aguiar-vieira Oct 27, 2025
6ba19db
Merge pull request #29 from GovHub-br/fix/pf-tesouro-ingest
egewarth Oct 27, 2025
eb3d2cb
feat(silver ted): adicionando schema da silver de dados de ted
mat054 Oct 27, 2025
1fb24a4
feat(ted views): adicionando schema de views de ted
mat054 Oct 27, 2025
ac8cb8f
feat(ted gold): adicionando schema da pasta gold de teds
mat054 Oct 27, 2025
0d43607
feat(ted bronze): adicionando schema da pasta bronze de teds
mat054 Oct 27, 2025
086d9b7
feat(pessoas silver): adicionando schema das tabelas silver de pessoas
mat054 Oct 27, 2025
900afb1
feat(pessoas gold): adicionando schema das tabelas gold de pessoas
mat054 Oct 27, 2025
5031426
feat(pessoas bronze): adicionando schema das tabelas bronze de pessoas
mat054 Oct 27, 2025
3b5037d
feat(orcamento bronze): adicionando schema das tabelas bronze de orca…
mat054 Oct 27, 2025
15add64
feat(contratos views): adicionando schema das views de contratos
mat054 Oct 27, 2025
678ecf7
feat(contratos silver): adicionando schema das tabelas silver de cont…
mat054 Oct 27, 2025
ea3555e
feat(contratos gold): adiconando schema das tabelas gold de contratos
mat054 Oct 27, 2025
767e132
feat(contratos bronze): adicionando schemas das tabelas bronze de con…
mat054 Oct 27, 2025
5acf698
feat(macros): adicionando schema das macros na pasta das macros
mat054 Oct 27, 2025
bcba8c9
fix(schema oficial): removendo schema de todas as tabelas juntas
mat054 Oct 27, 2025
d6a2222
fix(linter): corrigindo erros de formatacao do linter
mat054 Oct 27, 2025
e0c154f
Merge pull request #31 from GovHub-br/feat_schema
egewarth Oct 27, 2025
16ea34d
feat(airflow): ingestao de programas e plano de acao transferegov
davi-aguiar-vieira Nov 19, 2025
318cb3f
feat(dags): renomeia pasta do transferegov e esquema de inserção
davi-aguiar-vieira Nov 19, 2025
0bf2509
feat(dags): padroniza transferegov
davi-aguiar-vieira Nov 19, 2025
6dea472
Merge pull request #35 from GovHub-br/feat/ingestao-programas-e-plano…
egewarth Nov 19, 2025
73d6d5e
feat(docs): adiciona template de mensagem de commit
GabrielaTiago Nov 19, 2025
af0e518
Merge pull request #37 from GabrielaTiago/feat/adiciona-template-de-c…
mat054 Nov 19, 2025
697701c
Feat/cliente GitHub (#43)
davi-aguiar-vieira Nov 24, 2025
3f811e2
feat(dags): paramentização do schedule das dags usando Airflow vars
TiagoSBittencourt Nov 21, 2025
6b06a8d
Merge pull request #38 from GovHub-br/feat/schedule-airflow-vars
davi-aguiar-vieira Nov 24, 2025
6df0667
refactor(ci): refatora ci corrigindo stages e jobs
Arthrok Dec 1, 2025
14b0128
feat(ci): modulariza action do poetry
Arthrok Dec 1, 2025
d496251
WIP: feat(transferegov): Adiciona ingestor de empenho especial (#45)
LeoFacB Dec 3, 2025
97c6cc9
Feat/ingestao executor especial transferegov (#46)
Mateushqms Dec 3, 2025
29b12a6
Feat ingest relatorio gestao e pncp (#48)
mat054 Dec 3, 2025
8f2e9b4
feat(ci): adiciona sqlfluff no ci
Arthrok Dec 4, 2025
dabb294
fix(ci): corrige path da pasta de actions
Arthrok Dec 4, 2025
2ad3492
feat(schedule): retorno default, evita dag break (#56)
TiagoSBittencourt Dec 12, 2025
698557c
change(ci): bypass lint temporariamente
Arthrok Jan 6, 2026
0e09905
fix(ci): ajusta nome da imagem pra lower case
Arthrok Jan 6, 2026
e037a02
Merge pull request #49 from GovHub-br/refactor/ci
mat054 Jan 6, 2026
94840d1
change(ci): retira condicao de lint apenas em mr
Arthrok Jan 6, 2026
9718143
Merge pull request #59 from GovHub-br/refactor/ci
mat054 Jan 6, 2026
a83d875
Create LICENSE (#64)
egewarth Jan 19, 2026
3c51ea4
feat(dag): extração documentos hábeis transferegov (#57)
TiagoSBittencourt Jan 26, 2026
31d605d
feat(metas): dag de extração metas_especiais (#60)
TiagoSBittencourt Jan 26, 2026
bdc0e30
feat(dag): extração paginada para eficiêcia (#61)
TiagoSBittencourt Feb 4, 2026
b9604e9
feat: nova dag relatorios gestao novo
TiagoSBittencourt Feb 14, 2026
b3aab07
feat: dag extração ordem pagamento e bancária
TiagoSBittencourt Feb 26, 2026
5e02502
feat: dag ingestao plano de trabalho
Mateushqms Feb 26, 2026
50e81ba
chore: aplica a formatacao do codigo
Mateushqms Feb 26, 2026
06c36e2
refactor: atribuição desnecessária de dag_instance
Mateushqms Feb 26, 2026
e737cba
feat: extração historico pagamento emendas
TiagoSBittencourt Feb 26, 2026
b2f7c63
feat(metadata): nova tabela de metadados (dt-transform) (#62)
TiagoSBittencourt Mar 2, 2026
fc208f2
Passagem da coluna dt_ingest pelos modelos (#63)
TiagoSBittencourt Mar 2, 2026
d5ff594
feat: dag extração finalidade paginada (#68)
TiagoSBittencourt Mar 2, 2026
a39c782
Merge branch 'main' into feat/relatorio-gestao-novo
TiagoSBittencourt Mar 2, 2026
4eda8b6
Merge branch 'main' into feat/ordem-bancaria
TiagoSBittencourt Mar 2, 2026
7abead4
Merge pull request #74 from GovHub-br/feat/ordem-bancaria
TiagoSBittencourt Mar 2, 2026
8042b5e
Merge branch 'main' into feat/relatorio-gestao-novo
TiagoSBittencourt Mar 3, 2026
71b688c
Merge pull request #69 from GovHub-br/feat/relatorio-gestao-novo
TiagoSBittencourt Mar 3, 2026
10efa1f
Merge branch 'main' into feat/dag_plano_trabalho
Mateushqms Mar 3, 2026
ac506d3
Merge pull request #75 from GovHub-br/feat/dag_plano_trabalho
Mateushqms Mar 3, 2026
61ba2c8
Merge branch 'main' into feat/historico-pagamento
TiagoSBittencourt Mar 3, 2026
d68d0bd
Merge pull request #76 from GovHub-br/feat/historico-pagamento
TiagoSBittencourt Mar 3, 2026
da376a4
feat: criacao da dag e cliente para extrair os partidos dos deputados
Mateushqms Mar 4, 2026
ae81b84
feat: criacao da camanda bronze para deputados
Mateushqms Mar 4, 2026
df0bc44
Merge pull request #85 from GovHub-br/ingest_deputados
TiagoSBittencourt Mar 4, 2026
b93650d
fix: ajustes na identacao e add url imagem
Mateushqms Mar 4, 2026
c7e01c2
Merge pull request #86 from GovHub-br/feat/bronze_deputados
TiagoSBittencourt Mar 4, 2026
5ddf37d
feat: modelagem bronze emendas
TiagoSBittencourt Mar 4, 2026
404f0b1
Merge pull request #87 from GovHub-br/feat/bronze-emendas
Mateushqms Mar 4, 2026
f3fdd7a
fix: sources missing transferegov_emendas
TiagoSBittencourt Mar 4, 2026
21f0bf9
Merge branch 'main' into fix/source-emendas
TiagoSBittencourt Mar 4, 2026
558e0aa
Merge pull request #88 from GovHub-br/fix/source-emendas
Mateushqms Mar 4, 2026
b6d1869
feat: implementa ingestão de senadores
cibelinda Mar 4, 2026
38d79f5
style: aplicado lint senadores
TiagoSBittencourt Mar 5, 2026
2ce2451
style: lint dags emendas
TiagoSBittencourt Mar 5, 2026
caaafce
Merge pull request #90 from cibelinda/feat/ingest-senadores
TiagoSBittencourt Mar 6, 2026
0ff97a5
Merge pull request #91 from GovHub-br/style/lint-dags
Mateushqms Mar 6, 2026
aac564f
Feat/camada bronze completa (#93)
Mateushqms Mar 7, 2026
290fd1d
feat: camada bronze senadores e docs
TiagoSBittencourt Mar 7, 2026
9680c0f
Merge pull request #94 from GovHub-br/feat/bronze-senadores
Mateushqms Mar 9, 2026
28072ed
Chore/update airflow dag connections (#98)
Mateushqms Mar 13, 2026
4021d4c
fix: refs pastas mir inesistentes (#100)
TiagoSBittencourt Mar 14, 2026
e62fb62
feat: atualizar cliente TED e pipelines MIR no ingestão de dados
Mateushqms Mar 16, 2026
3362b41
refactor: ajustes para nao dar erro no sonar
Mateushqms Mar 16, 2026
355d508
feat(dag): siafi email empenhos parlamentares
TiagoSBittencourt Mar 13, 2026
1ac8f63
refactor: otimizacao das dags que faziam processos de chunks desneces…
Mateushqms Mar 16, 2026
309cd76
Merge pull request #101 from GovHub-br/feat/TED-mir
TiagoSBittencourt Mar 16, 2026
eca7d44
Merge pull request #102 from GovHub-br/refactor/refatoracao_dags
TiagoSBittencourt Mar 16, 2026
aa7cec5
chore: remove testes desnecessarios
TiagoSBittencourt Mar 17, 2026
5127bf8
chore: adapta tests para versão correta do dbt
TiagoSBittencourt Mar 17, 2026
fe6c63d
Merge pull request #103 from GovHub-br/chore/remove-row-count
Mateushqms Mar 17, 2026
f054d6c
Merge pull request #99 from GovHub-br/feat/dag-tesouro-email
Mateushqms Mar 17, 2026
e892d36
feat: fallback csv vazio ingest
TiagoSBittencourt Mar 18, 2026
ac4a159
Merge pull request #104 from GovHub-br/feat/csv-empty-fallback
Mateushqms Mar 18, 2026
ee444be
feat: camada bronze empenhos ted
Mateushqms Mar 18, 2026
9427e2b
feat: silver planos cruzada com parlamentares
TiagoSBittencourt Mar 19, 2026
645cca5
Merge pull request #105 from GovHub-br/feat/camada-bronze-empenhos-ted
TiagoSBittencourt Mar 19, 2026
b49f1cf
Merge pull request #107 from GovHub-br/feat/silver-planos-parlamentares
Mateushqms Mar 19, 2026
1ca0c3c
feat(dag): siafi email empenhos emendas parlamentares
TiagoSBittencourt Mar 20, 2026
45c7267
Merge pull request #110 from GovHub-br/feat/empenhos-emendas-tg
Mateushqms Mar 23, 2026
b75cffe
feat/dag: adiciona dag para consumo de notas de empenho de parlamenta…
bottinolucas Mar 25, 2026
db2a498
feat/dag: adiciona dag para consumo de orçamento por ação
bottinolucas Mar 27, 2026
3dea3c4
feat/dag: adiciona dag para consumo as dotacoes e execucoes de outras…
bottinolucas Mar 27, 2026
fb0ec56
feat(bronze): emendas tesouro gerencial
TiagoSBittencourt Mar 28, 2026
eac9e75
chore: restruturação de schemas dados_abertos dbt
TiagoSBittencourt Mar 28, 2026
5681a8c
chore: padronizando sources names
TiagoSBittencourt Mar 28, 2026
641523d
feat(silver): silver parlamentares e logo seed
TiagoSBittencourt Mar 29, 2026
9e7fc72
test: testagem de cruzamento logo partidos
TiagoSBittencourt Mar 29, 2026
fc17e77
Merge pull request #118 from GovHub-br/feat/bronze-email-emendas
Mateushqms Mar 30, 2026
1fe01a5
Merge pull request #123 from GovHub-br/feat/silver-parlamentares
Mateushqms Mar 30, 2026
c282062
chore: remove declaração desnecessária cloude
TiagoSBittencourt Mar 31, 2026
e98d79d
Merge pull request #115 from GovHub-br/feat/relatorios-cidades
TiagoSBittencourt Mar 31, 2026
decb10e
feat: bulk logic IMAP eficience
TiagoSBittencourt Apr 2, 2026
b171cce
feat: task unica ingest & insert xcom bloat prevent
TiagoSBittencourt Apr 2, 2026
93eab5b
fix: incluindo todos os deputados ativos e nao ativos
luanaa2005 Apr 2, 2026
08c9312
fix: ajustes na lista dos senadores para abranger os inativos e ativos
Apr 2, 2026
71a3ca9
Merge pull request #136 from GovHub-br/feat/tg-emendas-arquitecture
Mateushqms Apr 2, 2026
f4e5fe5
feat: parametrização data recebimento email dags mir (#139)
TiagoSBittencourt Apr 6, 2026
5a6d7bf
Fix dedup deputados com unique key composta
luanaa2005 Apr 6, 2026
7c047a9
Merge pull request #137 from GovHub-br/fix/duplicatas-deputados
TiagoSBittencourt Apr 6, 2026
b26aa77
feat(sgac): adiciona ingestao de projetos via anexo CSV de email (#140)
devwallyson Apr 6, 2026
5e62fb6
feat: cria dag período legislatura
luanaa2005 Apr 7, 2026
6a53a6e
feat: dag extração programação financeira mir
TiagoSBittencourt Apr 8, 2026
2f19583
Merge pull request #174 from GovHub-br/feat/dag-programacao-financeira
Mateushqms Apr 8, 2026
847f709
fix:atualizações da dag de senadores para incluir a data de filiação
alvesingrid Apr 8, 2026
a86bb89
feat: dag extração programação ação por ptres
TiagoSBittencourt Apr 8, 2026
8e1c76e
feat: criacao da dag de extracao das notas de credito dos teds mir
Mateushqms Apr 9, 2026
bb6d8c1
Merge pull request #181 from GovHub-br/feat/dag-programacao-acao-ptres
Mateushqms Apr 9, 2026
395649d
refactor: correcao dos nomes dos emails e nomes das dags
Mateushqms Apr 9, 2026
503914f
fix: typo na dag de deputados
luanaa2005 Apr 9, 2026
7c01f7e
Merge pull request #189 from GovHub-br/fix/deputados-dag-typo
TiagoSBittencourt Apr 9, 2026
e2b925e
Merge pull request #182 from GovHub-br/feat/dags-ncs-ted
TiagoSBittencourt Apr 9, 2026
8844508
fix: ingestões colunas RPs opcionais
TiagoSBittencourt Apr 9, 2026
b2497a4
chore: renomeia tabela e dag apropriadamente
TiagoSBittencourt Apr 9, 2026
d16a54a
feat: camada bronze notas credito dos teds
Mateushqms Apr 10, 2026
4036dc9
Merge pull request #190 from GovHub-br/feat/camada-bronze-teds-siafi
TiagoSBittencourt Apr 10, 2026
d54730d
chore: renomeia tabelas de teds e dag na dir mir
TiagoSBittencourt Apr 10, 2026
3f0928d
Merge branch 'main' into fix/teds-empenhadas-dag
TiagoSBittencourt Apr 10, 2026
265946a
fix: correcao na tipagem devido a uma mudanca na API
Mateushqms Apr 10, 2026
0b472c0
Merge pull request #191 from GovHub-br/fix/teds-empenhadas-dag
Mateushqms Apr 10, 2026
b753882
Merge pull request #192 from GovHub-br/fix/fix-tipagem-dagExecutor
TiagoSBittencourt Apr 10, 2026
2e0740b
149 feat ingestão dos dados do sisbolsas (#193)
davi-aguiar-vieira Apr 12, 2026
80e1d10
feat: bronze pfs do mir implementadas
TiagoSBittencourt Apr 13, 2026
47b3aa5
feat: bronze pfs mir transferegov
TiagoSBittencourt Apr 13, 2026
7bf85b9
feat: silver pfs unificadas tesouro trasnferegov
TiagoSBittencourt Apr 13, 2026
e338ece
Merge pull request #196 from GovHub-br/feat/caminho-programacao-teds
Mateushqms Apr 13, 2026
3e8ff0a
feat: adiciona dag de ingestão do siconv com tabelas proposta e convenio
luanaa2005 Apr 11, 2026
0f1026a
feat: adiciona dag de ingestão do siconv com tabelas proposta e convenio
luanaa2005 Apr 11, 2026
b84b4c5
feat: adiciona dag de ingestão do siconv com tabelas proposta e convenio
luanaa2005 Apr 11, 2026
9604bc4
feat: ajusta colunas das tabelas proposta e convenio
luanaa2005 Apr 11, 2026
a0b2647
fix: correção de estouro de memória (OOM) na ingestão de tabelas grandes
luanaa2005 Apr 11, 2026
1804b74
feat: adiciona dag de ingestão de dados do SICONV com estratégias de …
luanaa2005 Apr 14, 2026
324e8fa
fix: move zip do siconv para diretório temporário
luanaa2005 Apr 14, 2026
854b650
feat: adiciona task de limpeza do zip após ingestão
luanaa2005 Apr 14, 2026
3912cfd
feat: ingest tabels ipea pro (#200)
mat054 Apr 14, 2026
08ca70b
feat: camada bronze para as notas de credito do transfere gov
Mateushqms Apr 15, 2026
12b432f
Feat/ingest ipea pro (#201)
mat054 Apr 15, 2026
c5de5ae
feat: camada silver pf_tg pa_tesouro
TiagoSBittencourt Apr 16, 2026
f9e407a
Merge pull request #197 from GovHub-br/feat/ingestao-siconv
Mateushqms Apr 16, 2026
c214ffd
Merge pull request #203 from GovHub-br/feat/camada-bronze-transferego…
TiagoSBittencourt Apr 17, 2026
1935b97
feat: camada silver de teds-siafi e ajustes camada bronze siafi
Mateushqms Apr 17, 2026
12e93a7
fix: ajusta a dag de ingestão siconv para resolver o problema de vaza…
luanaa2005 Apr 17, 2026
7c110e5
fix: improve poetry installation check in Makefile setup (#204)
lcsgborges Apr 17, 2026
2629167
fix: adiciona suporte a conexão externa no ClientPostgresDB para evi…
luanaa2005 Apr 17, 2026
68257ec
Merge pull request #205 from GovHub-br/feat/camada-silver-teds-com-ptres
TiagoSBittencourt Apr 17, 2026
d867636
Merge pull request #206 from GovHub-br/feat/ingestao-siconv
TiagoSBittencourt Apr 17, 2026
331f69e
feat: dag historico controle parlamentares
TiagoSBittencourt Apr 21, 2026
9727328
Merge pull request #138 from GovHub-br/feat/atualizacao_ingest_senadores
TiagoSBittencourt Apr 21, 2026
5269bd6
feat/bolsas
davi-aguiar-vieira Apr 22, 2026
93890ba
Merge pull request #210 from GovHub-br/feat/bolsas-pagas
mat054 Apr 22, 2026
529fde7
feat: adiciona camada bronze do SICONV
luanaa2005 Apr 23, 2026
b5424ef
Merge pull request #227 from GovHub-br/feat/camada-bronze-siconv
TiagoSBittencourt Apr 23, 2026
88a146c
feat: dbts bronze do ipea_pro e do sisbolsas (#228)
mat054 Apr 23, 2026
1ffdae8
Merge branch 'main' into feat/dag-periodo-legislatura
TiagoSBittencourt Apr 27, 2026
117f4a9
Merge pull request #148 from GovHub-br/feat/dag-periodo-legislatura
TiagoSBittencourt Apr 27, 2026
c1bf7e0
chore: remove dag vazia de mandatos
TiagoSBittencourt Apr 27, 2026
2c6f9f1
feat: camada bronze datas legislaturas
TiagoSBittencourt Apr 27, 2026
fbd7bb9
feat: proteção de dup parlamentares controle
TiagoSBittencourt Apr 27, 2026
8536fc6
chore: modularização e comentarios em parlamentares
TiagoSBittencourt Apr 27, 2026
4b9f855
Merge branch 'main' into feat/ext-temporal-parlamentares
TiagoSBittencourt Apr 27, 2026
a3b62e5
feat: bronze deputados historicos com tratamento
TiagoSBittencourt Apr 27, 2026
583a828
feat: bronze senadores historico
TiagoSBittencourt Apr 27, 2026
8bffedf
feat: cruzamento senadores deputados historico
TiagoSBittencourt Apr 27, 2026
1a18de6
feat: cruzamento parlamentares historico emendas
TiagoSBittencourt Apr 27, 2026
b8760a3
docs: schema atualizado com novas tabelas
TiagoSBittencourt Apr 27, 2026
b19eb0e
feat: adiciona raws de historico no source
TiagoSBittencourt Apr 27, 2026
4583169
fix/clean-duplicates
davi-aguiar-vieira Apr 28, 2026
7e49d95
Merge pull request #232 from GovHub-br/fix/clean-duplicates
mat054 Apr 28, 2026
5f6cde4
feat: camada silver e view para TEDs — empenhos, NCs e Planos de Ação
Mateushqms Apr 28, 2026
947dab5
fix/ISO-format (#235)
davi-aguiar-vieira Apr 28, 2026
71086fc
Merge pull request #229 from GovHub-br/feat/bronze-legislaturas
Mateushqms Apr 29, 2026
f0f7ecf
feat: metodo senadores atuais
TiagoSBittencourt Apr 29, 2026
2e2643d
feat: adicionando logo partidos
alvesingrid Apr 29, 2026
347499e
fix: prevenção de nomes colunas cliente postgres
TiagoSBittencourt Apr 30, 2026
ecdb8e2
Merge pull request #230 from GovHub-br/feat/ext-temporal-parlamentares
Mateushqms Apr 30, 2026
aa7b3d9
docs: atualiza documentação do readme e traduz para português
bottinolucas Apr 30, 2026
da5a731
Merge pull request #239 from GovHub-br/feat/cruzamento-notas-empenhos…
TiagoSBittencourt Apr 30, 2026
647faba
Merge pull request #242 from GovHub-br/docs/update-readme
mat054 Apr 30, 2026
3f30f68
Merge branch 'main' into feat/caminho-cruzamento-emendas-parlamentares
TiagoSBittencourt Apr 30, 2026
ce43cb0
Merge pull request #231 from GovHub-br/feat/caminho-cruzamento-emenda…
luanaa2005 Apr 30, 2026
4af16d7
Feat datasets virtuais (#243)
mat054 Apr 30, 2026
0294808
feat: dbt relatorios bolsistas (#247)
davi-aguiar-vieira May 3, 2026
0635175
fix: adicionando novas colunas (#248)
mat054 May 3, 2026
7dfd985
Merge branch 'main' into feat/dag_logo_partidos
alvesingrid May 4, 2026
3ef103a
Merge pull request #240 from GovHub-br/feat/dag_logo_partidos
TiagoSBittencourt May 4, 2026
837a0a2
feat: camada gold ted_resumo_orcamentario e segundo caminho em num_tr…
Mateushqms May 5, 2026
09f6abe
fix: fechamento conn postgres
davi-aguiar-vieira May 5, 2026
02fe8fa
Merge pull request #259 from GovHub-br/fix/fechamento-conn-postgres
TiagoSBittencourt May 5, 2026
a487108
feat: adiciona camada silver SICONV com extração de número de transfe…
luanaa2005 May 5, 2026
9d5a56f
Dbt bronze sgac (#262)
mat054 May 6, 2026
0274e87
feat: enhance Makefile for local Airflow setup (#260)
lcsgborges May 6, 2026
71b5765
chore: garante fechamento de db conn nas dags
TiagoSBittencourt May 6, 2026
5a789f7
fix: substitui source por ref nos models da camada silver siconv
luanaa2005 May 6, 2026
ba7a35c
Merge pull request #263 from GovHub-br/fix/vazamento-conn-siconv
luanaa2005 May 6, 2026
39457f5
refactor: enriquece o resumo_orcamentario com dados dos programas
Mateushqms May 7, 2026
826d9c2
Merge pull request #261 from GovHub-br/feat/camada-silver-siconv
TiagoSBittencourt May 7, 2026
130abc1
feat: Implementa extração via FTP, flattening de planilhas dinâmicas …
HladczukLe May 7, 2026
0480a45
Merge pull request #266 from GovHub-br/feat/resumo-orcamentario-ted
TiagoSBittencourt May 11, 2026
06948bb
feat: silver chamada publica
davi-aguiar-vieira May 12, 2026
04ab821
Merge pull request #272 from GovHub-br/feat/chamada-publica
mat054 May 12, 2026
bb093ea
feat: adiciona colunas fornecedor_tipo e fornecedor_nome nos modelos …
mclarasenaa May 14, 2026
a04252c
fix: sources realocado corretamente
TiagoSBittencourt May 18, 2026
94db1de
Merge pull request #280 from GovHub-br/fix/cosmos-typo-source
Mateushqms May 18, 2026
9cbcf71
docs: adionando o guia de contribuição no repositório.
rmatuda May 19, 2026
57ce77e
docs: adionando a seção FAQ.
rmatuda May 19, 2026
404b6ae
feat: adiciona dbt_project
luanaa2005 May 19, 2026
b750a3d
fix: correção do database
luanaa2005 May 19, 2026
880f7dc
feat: adiciona novas features ingestão emendas
TiagoSBittencourt May 19, 2026
cefb9f7
feat: features de emendas passadas nas camandas
TiagoSBittencourt May 19, 2026
0c359bc
Merge pull request #284 from GovHub-br/feat/novas-features-emendas
Mateushqms May 19, 2026
80d99be
Merge pull request #281 from HladczukLe/doc/guia_de_contribuicao
TiagoSBittencourt May 19, 2026
015d4a9
Merge pull request #283 from GovHub-br/feat/camada-silver-siconv
TiagoSBittencourt May 19, 2026
d7b1afe
Revert "Doc/guia de contribuicao"
arthurpalhares1 May 19, 2026
bec55d6
Merge pull request #285 from GovHub-br/revert-281-doc/guia_de_contrib…
TiagoSBittencourt May 19, 2026
3f2f05c
feat: cruzamento das tabelas de proposta e convenio
alvesingrid May 19, 2026
c9d49d5
Merge pull request #286 from GovHub-br/feat/silver_proposta_convenio
TiagoSBittencourt May 20, 2026
4cfd3e7
feat(ibge): ingestão Quilombolas — alfabetização e características do…
lcsgborges May 27, 2026
9c53813
feat: Adiciona cliente MRV e testes unitários com mocks
gabrielsarcan May 27, 2026
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
The table of contents is too big for display.
Diff view
Diff view
  •  
  •  
  •  
68 changes: 68 additions & 0 deletions .github/TEMPLATES/COMMIT_TEMPLATE.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,68 @@
# Modelo de Mensagem de Commit (Conventional Commits)

Este documento serve como um guia rápido para a criação de mensagens de commit padronizadas. O uso deste formato é essencial para manter o histórico do projeto legível, facilitar a automação e gerar changelogs de forma automática.

## Estrutura Principal

Cada mensagem de commit consiste em um cabeçalho, um corpo opcional e um rodapé opcional. A estrutura é a seguinte:

```md
<tipo>[escopo opcional]: <descrição>

[corpo opcional]

[rodapé(s) opcional(is)]
```

- **tipo**: Obrigatório. Define a categoria da mudança (ex: `feat`, `fix`, `docs`).
- **escopo**: Opcional. Especifica a parte do código que foi alterada (ex: `api`, `parser`, `database`).
- **descrição**: Obrigatório. Um resumo conciso da mudança, em letras minúsculas e sem ponto final.
- **corpo**: Opcional. Fornece mais contexto, explicando o "porquê" da mudança. Separado da descrição por uma linha em branco.
- **rodapé**: Opcional. Usado para referenciar issues (ex: `Refs: #42`) ou para declarar _breaking changes_ (ex: `BREAKING CHANGE:...`).

## Tipos de Commit Recomendados

| Tipo | Descrição |
| :--------- | :----------------------------------------------------------------------------- |
| `feat` | Introduz uma nova funcionalidade ou capacidade. |
| `fix` | Corrige um bug ou erro no código. |
| `docs` | Alterações relacionadas exclusivamente à documentação. |
| `refactor` | Alterações no código que não corrigem um bug nem adicionam uma funcionalidade. |
| `perf` | Uma mudança de código que melhora o desempenho. |
| `test` | Adição ou correção de testes automatizados. |
| `build` | Mudanças que afetam o sistema de build ou dependências externas. |
| `ci` | Mudanças nos arquivos e scripts de configuração de Integração Contínua (CI). |
| `chore` | Outras mudanças que não modificam o código-fonte ou os testes. |
| `style` | Mudanças de estilo de código que não afetam a lógica (formatação, etc.). |

### Exemplos Práticos

**1. Commit de correção de bug (fix):**

`fix: corrige cálculo de offset na paginação da API`

**2. Commit de nova funcionalidade (feat) com escopo:**

```md
feat(parser): adiciona suporte para o formato de dados do TSE

Refs: #45
```

**3. Commit com corpo para mais detalhes:**

```md
perf(database): otimiza query para busca de metadados

A query anterior utilizava um JOIN desnecessário que causava lentidão
em datasets com mais de 10.000 registros. Esta mudança simplifica
a consulta e adiciona um índice na coluna de metadados.
```

**4. Commit que fecha uma issue do GitHub:**

```md
fix(ui): resolve problema de renderização de tabelas no Firefox

Closes: #78
```
38 changes: 38 additions & 0 deletions .github/actions/setup-poetry/action.yml
Original file line number Diff line number Diff line change
@@ -0,0 +1,38 @@
name: Setup Poetry
description: Install Python, cache & install deps (dev)
runs:
using: composite
steps:
- uses: actions/setup-python@v5
with:
python-version: ${{ inputs.python_version }}

- name: Cache Poetry
uses: actions/cache@v4
with:
path: |
${{ inputs.poetry_cache_dir }}
.venv
key: ${{ runner.os }}-poetry-${{ hashFiles('**/poetry.lock') }}
restore-keys: |
${{ runner.os }}-poetry-

- name: Install Poetry + deps
shell: bash
run: |
pip install poetry==${{ inputs.poetry_version }}
poetry config virtualenvs.in-project true
poetry install --no-root --with dev --no-interaction
inputs:
python_version:
description: Python version
required: true
default: "3.11"
poetry_version:
description: Poetry version
required: true
default: "1.8.5"
poetry_cache_dir:
description: Poetry cache dir
required: true
default: "~/.cache/poetry"
202 changes: 202 additions & 0 deletions .github/workflows/main.yaml
Original file line number Diff line number Diff line change
@@ -0,0 +1,202 @@
name: Python CI/CD

on:
pull_request:
branches: [main]
push:
branches: [main]
workflow_dispatch:

concurrency:
group: ${{ github.workflow }}-${{ github.ref }}
cancel-in-progress: true

permissions:
contents: read

env:
PYTHON_VERSION: "3.11"
POETRY_VERSION: "1.8.5"
POETRY_VIRTUALENVS_IN_PROJECT: "true"
POETRY_CACHE_DIR: "/home/runner/.cache/poetry"
DBT_PROJECT_DIR: "${{ github.workspace }}/airflow_lappis/dags/dbt/ipea"

IMAGE_REGISTRY_OWNER: govhub-br
IMAGE_NAME: ghcr.io/govhub-br/airflow-ipea
IMAGE_TAG_SHA: ${{ github.sha }}

jobs:
lint:
name: Lint
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4

- uses: ./.github/actions/setup-poetry
with:
python_version: ${{ env.PYTHON_VERSION }}
poetry_version: ${{ env.POETRY_VERSION }}
poetry_cache_dir: ${{ env.POETRY_CACHE_DIR }}

- name: Run lint
run: poetry run make lint-ci || true

test:
name: Test
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4

- uses: ./.github/actions/setup-poetry
with:
python_version: ${{ env.PYTHON_VERSION }}
poetry_version: ${{ env.POETRY_VERSION }}
poetry_cache_dir: ${{ env.POETRY_CACHE_DIR }}

- name: Run tests
run: >
poetry run pytest tests
--junitxml=report.xml
--cov=. --cov-report=xml:coverage.xml

- uses: actions/upload-artifact@v4
with:
name: reports
path: |
report.xml
coverage.xml

docker_build:
name: Docker build
runs-on: ubuntu-latest
needs: [lint, test]
steps:
- uses: actions/checkout@v4
- uses: docker/setup-buildx-action@v3

- name: Build
uses: docker/build-push-action@v5
with:
push: false
context: .
cache-from: type=gha
cache-to: type=gha,mode=max
tags: |
${{ env.IMAGE_NAME }}:${{ env.IMAGE_TAG_SHA }}

docker_push:
name: Docker push
runs-on: ubuntu-latest
if: github.event_name == 'push' && github.ref == 'refs/heads/main'
needs: docker_build
permissions:
contents: read
packages: write
steps:
- uses: actions/checkout@v4
- uses: docker/setup-buildx-action@v3

- name: Login GHCR
uses: docker/login-action@v3
with:
registry: ghcr.io
username: ${{ github.actor }}
password: ${{ secrets.GITHUB_TOKEN }}

- name: Build & Push
uses: docker/build-push-action@v5
with:
push: true
context: .
cache-from: type=gha
cache-to: type=gha,mode=max
tags: |
${{ env.IMAGE_NAME }}:${{ env.IMAGE_TAG_SHA }}
${{ env.IMAGE_NAME }}:latest

dbt_docs:
name: DBT Docs (deploy)
runs-on: ubuntu-latest
if: github.event_name == 'push' && github.ref == 'refs/heads/main'
needs: docker_build
permissions:
contents: read
pages: write
id-token: write
steps:
- name: Check VPN secrets
env:
CLIENT_OVPN: ${{ secrets.CLIENT_OVPN }}
run: |
if [ -z "$CLIENT_OVPN" ]; then
echo "VPN não configurada — pulando."
exit 0
fi

- uses: actions/checkout@v4

- name: Instalar deps (DBT + VPN)
run: |
sudo apt-get update
sudo apt-get -y install openvpn iputils-ping
pip install dbt-core dbt-postgres

- name: Conectar VPN
env:
CLIENT_OVPN: ${{ secrets.CLIENT_OVPN }}
VPN_P12: ${{ secrets.VPN_P12 }}
VPN_USER: ${{ secrets.VPN_USER }}
VPN_PWD: ${{ secrets.VPN_PWD }}
run: |
sudo mkdir -p /etc/openvpn
echo "$CLIENT_OVPN" | sudo tee /etc/openvpn/client.ovpn >/dev/null

echo "$VPN_USER" | sudo tee /etc/openvpn/cred.txt >/dev/null
echo "$VPN_PWD" | sudo tee -a /etc/openvpn/cred.txt >/dev/null

echo "$VPN_P12" | base64 --decode | sudo tee /etc/openvpn/auth.p12 >/dev/null
sudo chmod 600 /etc/openvpn/*

sudo rm -f /tmp/ovpn.log || true
sudo touch /tmp/ovpn.log
sudo chmod 644 /tmp/ovpn.log

sudo openvpn \
--config /etc/openvpn/client.ovpn \
--auth-user-pass /etc/openvpn/cred.txt \
--pkcs12 /etc/openvpn/auth.p12 \
--verb 3 --daemon --log /tmp/ovpn.log

timeout=60
until sudo grep -q 'Initialization Sequence Completed' /tmp/ovpn.log; do
sleep 1
(( timeout-- ))
if (( timeout == 0 )); then
echo "❌ VPN não inicializou em 60s" >&2
sudo tail -n 200 /tmp/ovpn.log || true
exit 1
fi
done

- name: Gerar DBT docs
env:
DB_DW_HOST: ${{ secrets.DB_DW_HOST }}
DB_DW_DBNAME: ${{ secrets.DB_DW_DBNAME }}
DB_DW_USER: ${{ secrets.DB_DW_USER }}
DB_DW_PASSWORD: ${{ secrets.DB_DW_PASSWORD }}
run: |
cd "${{ env.DBT_PROJECT_DIR }}"
dbt deps
dbt docs generate
mkdir -p public
mv target/* public/

- name: Finalizar VPN
if: always()
run: sudo pkill openvpn || true

- uses: actions/upload-pages-artifact@v3
with:
path: ${{ env.DBT_PROJECT_DIR }}/public

- uses: actions/deploy-pages@v4
11 changes: 9 additions & 2 deletions .gitignore
Original file line number Diff line number Diff line change
Expand Up @@ -9,6 +9,7 @@ dist/
**/*.lock
__pycache__/
.poetry/
requirements.generated.txt

# Cache directories
.cache/
Expand Down Expand Up @@ -41,8 +42,14 @@ dbt_packages/
logs/

# Jupyter
.ipynb_checkpoints/
**/*.ipynb_checkpoints/
**/*.ipynb

# System files
.DS_Store
Thumbs.db
Thumbs.db

# VPN
/connect.sh
*.ovpn
*.p12
Loading
Loading