[Exploração] Meta 3 - Diversidade, Cotas e Territórios

[CaioMelo25]

Objetivo: Explorar os dados brutos de formulários da LPG/PNAB no banco para validar a disponibilidade e qualidade dos dados de autodeclaração e localização dos proponentes. O objetivo da task é investigar as colunas e validar (dar check) se temos os dados necessários para auditar as ações afirmativas.

Checklist de Validação de Perguntas:

• Temos os dados e colunas para responder: "Do total de recursos efetivamente pagos anualmente, qual o percentual destinado a agentes culturais de territórios vulnerabilizados, pessoas negras, povos indígenas e pessoas com deficiência?"
• Temos os dados e colunas para responder: "Os percentuais mínimos previstos nas cotas e reservas de recursos (25% negras, 10% indígenas, 5% PCD e 20% territórios vulnerabilizados) estão sendo alcançados, superados ou descumpridos na prática?"

[ananunesv]

Issue 1 — Diagnóstico de viabilidade · Meta 3 (LPG / PNAB)

Schema: transferegov_fundo_a_fundo · Fontes: tabelas raw / base (a view vw_contemplados está fora de escopo — usamos as raws)

---

1. Objetivo

Explorar os dados brutos dos formulários da LPG/PNAB no banco para validar a disponibilidade e a qualidade dos dados de autodeclaração e de localização dos proponentes. A task investiga as colunas existentes e dá check se há dados suficientes para auditar as ações afirmativas — ou seja, se é possível responder às duas perguntas do checklist:

1. Do total de recursos efetivamente pagos anualmente, qual o percentual destinado a agentes culturais de territórios vulnerabilizados, pessoas negras, povos indígenas e pessoas com deficiência?
2. Os percentuais mínimos das cotas (25% negras, 10% indígenas, 5% PCD e 20% territórios vulnerabilizados) estão sendo alcançados, superados ou descumpridos na prática?

O resultado desta issue é o diagnóstico de viabilidade, não o cálculo final do percentual. O cálculo é entregue na issue 2, já com o escopo corrigido aqui.

---

2. Origem dos dados — três blocos no schema transferegov_fundo_a_fundo

Os dados vêm dos microdados dos formulários de inscrição e dos registros de pagamento da LPG/PNAB. Conforme o diagrama, organizam-se em três blocos, ligados por chaves de junção (não por uma única chave): CPF/CNPJ entre perfil e contemplados, e nome do edital / nome_programa entre contemplados e editais.

Bloco A — Perfil / Inscritos (autodeclaração) · verde

Fonte da raça/cor/etnia, PCD e localização (cidade · cep).

Tabela (raw/base)	Política	Chave	Demografia
lpg_dados_pessoa_fisica (+ _audiovisual, _multicultur)	LPG	nº do cpf	raça/cor/etnia · é pcd? · cidade · cep
lpg_dados_pessoa_juridica (+ _audiovisu, _multicult)	LPG	nº do cnpj	raça (corpo diretivo) · pcd no corpo diretivo? · cidade · cep
lpg_dados_coletivos (+ lpg_dados_grupo_coletivo, _multicultu, lpg_dados_grupos_coletivos)	LPG	nº cpf do representante	raça (maioria do grupo) · pcd no grupo? · cep
pnab_pessoas	PNAB	nº do cpf	raça/cor/etnia (só fase 2) · é pcd? · cidade/uf · cep
pnab_organizacoes	PNAB	nº do cnpj	raça do representante (só fase 2) · é pcd?

Bloco B — Contemplados / Pagamento · azul

Fonte do valor efetivamente pago e de quem foi contemplado (CPF/CNPJ + nome do edital).

Tabela (raw/base)	Política	Chave	Valor
lpg_contemplados	LPG	cpf ou cnpj (pos 5)	valor pago
raw_tabelas_anexos_lpg	LPG	cpf ou cnpj (pos 4)	valor pago
raw_pnab_lista_contemplados_geral	PNAB	cpf (anonimizado) ⚠ · cnpj	valor pago ao contemplado
raw_pnab_lista_contemplados_pncv	PNAB	cpf (anonimizado) ⚠	valor pago ao contemplado

⚠ Nas duas tabelas de contemplados da PNAB o CPF está anonimizado, o que impede casar o pagamento ao perfil pelo CPF (ver Veredicto).

Bloco C — Editais / Programas · laranja

Contexto do pagamento: edital, valor total e programa de origem (para particionar por ano/política).

Tabela (raw/base)	Chave	Campos
lpg_editais	nome do edital	valor total do edital
raw_programas	nome_programa (origem) · cnpj/cpf (pos 7)	particiona por programa

Base externa de território (a jusante)

• fcu_setores_2022 (IBGE — Censo 2022, FCU; reside no schema transferegov_fundo_a_fundo) — classifica território vulnerabilizado a partir de cidade / cep das tabelas de perfil. Não aparece neste recorte do diagrama; é o passo seguinte do cruzamento territorial.

---

3. Fluxo de cruzamento (correto, conforme o diagrama)

A demografia mora no Perfil; o valor mora nos Contemplados. O fluxo anexa o perfil a cada registro pago e, depois, amarra o pagamento ao edital/programa:

PERFIL / INSCRITOS  ──(cpf ou cnpj → nº do cpf/cnpj)──▶  CONTEMPLADOS  ──(nome → nome)──▶  EDITAIS / PROGRAMAS
   (raça · PCD · cidade/cep)                              (valor pago)        (valor total · ano · nome_programa)
            │
            └──(cidade · cep)──▶  fcu_setores_2022  (território vulnerabilizado — passo a jusante)

flowchart LR
  subgraph A["Perfil / Inscritos (autodeclaração)"]
    PF[lpg_dados_pessoa_fisica]
    PJ[lpg_dados_pessoa_juridica]
    COL[lpg_dados_coletivos]
    PNP[pnab_pessoas]
    PNO[pnab_organizacoes]
  end
  subgraph B["Contemplados / Pagamento"]
    LC[lpg_contemplados]
    RA[raw_tabelas_anexos_lpg]
    RG["raw_pnab_lista_contemplados_geral ⚠ cpf anon."]
    RP["raw_pnab_lista_contemplados_pncv ⚠ cpf anon."]
  end
  subgraph C["Editais / Programas"]
    LE[lpg_editais]
    RPG[raw_programas]
  end

  PF  -- "cpf ou cnpj → nº do cpf"  --> LC
  PJ  -- "cpf ou cnpj → nº do cnpj" --> RA
  COL -- "cpf ou cnpj → nº do cpf"  --> RA
  PNP -- "cpf ou cnpj → nº do cpf"  --> RG
  PNO -- "cpf ou cnpj → nº do cnpj" --> RP

  LC -- "nome → nome" --> LE
  RA -- "nome → nome" --> RPG
  LE -. "nome_programa" .- RPG

Loading

Junções (chaves):

1. Perfil ↔ Contemplados — cpf ou cnpj → nº do cpf / nº do cnpj (CPF/CNPJ normalizado). É a ponte que abre a demografia sobre cada valor pago. LPG ↔ LPG e PNAB ↔ PNAB.
2. Contemplados ↔ Editais — nome do edital → nome do edital (nome → nome), ligando o pagamento ao edital e ao seu valor total do edital.
3. Editais ↔ Programas — nome_programa, particionando por programa de origem.
4. Perfil → Território — cidade / cep cruzados com fcu_setores_2022 (passo a jusante; marcado como → território nas tabelas de perfil).

---

4. Mapeamento de colunas

• CPF/CNPJ — chave para correlacionar inscritos × contemplados. Aparece com várias grafias (cpf ou cnpj, nº do cpf/cnpj, nº do cpf, nº do cpf do representante, cpf (anonimizado), cnpj/cpf).
• Cor, raça e etnia — percentual de etnia do contemplado (cobre negras e indígenas; indígena é um valor dentro da coluna de raça, não coluna própria).
• É PCD — identifica pessoas com deficiência.
• Valor — quanto foi repassado a cada grupo em relação ao total pago no ano.
• Nº do edital / nome do edital — a qual edital o valor pertence (junção com lpg_editais).
• Cidade · cep (tabelas de inscritos) — cruzada com fcu_setores_2022 para classificar território vulnerabilizado.

---

5. Tratamento e higienização (base desta issue)

O preenchimento descentralizado gerou variações de texto, nulos e ruído estrutural. As regras mínimas aplicadas para a investigação de viabilidade:

1. Limpeza de caracteres — normalização de strings.
2. Unificação de colunas com variações de grafia para o mesmo conceito.
3. Tratar NULL e 'nan' como ausência — mantendo apenas respostas válidas.

Estas regras são a higienização de base, suficiente para o diagnóstico. Para respostas fidedignas (issue 2) é pré-requisito um tratamento mais profundo: normalização consistente dos valores de autodeclaração, reconciliação de tabelas com cabeçalhos não parseados/duplicados (usar a posição canônica da coluna de CPF/CNPJ), parsing do valor pago em formatos mistos (1.500,00 BR · 14084.18 US · strings de fórmula) e padronização das chaves CPF/CNPJ (regexp_replace removendo pontuação) em todas as fontes antes do cruzamento.

---

6. Veredicto

É viável. Há dados e colunas para responder validamente às duas perguntas do checklist. Respostas fidedignas, porém, dependem da limpeza e padronização mais aprofundadas (issue 2).

LPG vs. PNAB:

• LPG ✔ — responde os três grupos (negras/indígenas via raça, PCD) + território (cidade/cep → fcu_setores_2022). A ponte CPF/CNPJ entre perfil e contemplados funciona.
• PNAB ◑ parcial — PCD e território disponíveis; raça/etnia ainda não concludível. As tabelas de contemplados da PNAB (raw_pnab_lista_contemplados_geral / _pncv) trazem o CPF anonimizado, o que quebra a ponte de demografia ponderada por valor com pnab_pessoas / pnab_organizacoes. Resolver esse elo (hash/chave de ligação) é fase 2.

Notas de escopo desta revisão: usar apenas tabelas raw/base — a vw_contemplados fica de fora. O fluxo correto liga Perfil → Contemplados por CPF/CNPJ e Contemplados → Editais/Programas por nome do edital / nome_programa; território é passo a jusante via cidade/cep → fcu_setores_2022.