Skip to content

Adiciona investigação 08: duplicidade aproximada no catálogo - #22

Merged
ThomasTDS merged 2 commits into
mainfrom
investigacao/08-duplicidade-aproximada
Oct 19, 2026
Merged

ThomasTDS merged 2 commits into
mainfrom
investigacao/08-duplicidade-aproximada

Conversation

@ThomasTDS

Copy link
Copy Markdown
Owner

O que muda

Novo defeito (sql/03_seed_quebrado.sql): o produto 9, "Consutoria avulsa - hora", é um cadastro duplicado do produto 5 ("Consultoria Avulsa (hora)"), com erro de digitação no nome e o mesmo preço. A venda do pedido 13 foi lançada nele.

sql/01_schema.sql: ativa a extensão pg_trgm (similaridade por trigramas, módulo contrib do PostgreSQL).

investigacoes/08-duplicidade-aproximada/, no formato das anteriores:

  • Sintoma: um produto desconhecido no relatório de vendas, e vendas de consultoria abaixo do esperado.
  • Nenhuma comparação exata liga os dois produtos, nem ignorando maiúsculas e pontuação. A similaridade dá 0.808.
  • O limite foi escolhido pelos dados: o maior par legítimo (os planos "Básico", "Profissional" e "Enterprise" Mensal) chega a 0.419. Com o limite padrão da extensão (0.3), haveria três falsos positivos. A detecção usa 0.6.
  • Impacto: R$ 450,00 de consultoria divididos em R$ 300,00 e R$ 150,00, e a categoria dividida entre "Serviço" e "Serviço", somando o defeito da investigação 07.
  • Correção proposta (não executada), em camadas: unificar os cadastros; índice único no nome normalizado; sugestão "você quis dizer...?" por similaridade no cadastro; e busca tolerante na tela de venda, que é a causa raiz.

Investigação 07: o passo 1, que lista o catálogo, ganhou a linha do produto 9. O texto de impacto registra que a categoria dividida em duas, que a 07 apontava como risco, aconteceu.

READMEs (português e inglês), diagrama e comentários: 8 defeitos.

Testes feitos

  • Correção, numa cópia descartável: o produto 5 ficou com os 3 pedidos e R$ 450,00. O índice bloqueia "consultoria avulsa - HORA" e "consultoria avulsa hora". O limite dele também foi testado: o nome com erro de digitação passa, e por isso a correção inclui a sugestão por similaridade, que devolve o produto 5 com 0.808.
  • Normalização ajustada no teste: a primeira versão transformava letras acentuadas em espaço. A versão final remove só pontuação e espaços.
  • Teste negativo: com o limite em 0.9, a detecção acha 0 em vez de 1, e a validação falha com código 1.
  • Regressão dos relatórios: só o relatório 07 mudou, como previsto. Os relatórios 01 a 06 continuam iguais à referência.

Como validar

npm run validate     # 21 checks
npm run relatorios   # 8 relatórios

Novo defeito na massa quebrada: o produto 9, "Consutoria avulsa - hora",
e um cadastro duplicado do produto 5 com erro de digitacao no nome, e a
venda do pedido 13 foi lancada nele.

Relatorio, exploracao.sql e deteccao.sql no formato das anteriores. A
deteccao usa similaridade por trigramas (extensao pg_trgm, ativada no
schema) com limite de 0,6, escolhido pelos dados: o limite padrao da
extensao (0,3) marcaria produtos legitimos como duplicados.

O relatorio 07 ganha a linha do produto 9 e registra que a categoria
dividida em duas, que ele apontava como risco, aconteceu. READMEs (dois
idiomas), diagrama e comentarios atualizados para 8 defeitos; validacao
com 21 checks.
A similaridade da pg_trgm depende do locale do banco para caracteres
fora do ASCII: o par de nomes com texto quebrado da investigacao 07 dava
0,297 no Windows e 0,286 no Linux da CI, e o teste de regressao dos
relatorios falhou. O passo 3 passa a listar so os pares acima do limite
padrao da extensao (0,3), que sao os da discussao de falsos positivos e
dao o mesmo valor nos dois ambientes. O relatorio explica a dependencia
do locale.
@ThomasTDS

Copy link
Copy Markdown
Owner Author

Ajuste depois da primeira execução da CI

O teste de regressão dos relatórios falhou só no job embarcado (Linux), na consulta 3 da investigação 08. O par "Módulo de Relatórios" × "Módulo de Integrações" dava 0.297 no Windows e 0.286 no Linux.

Causa: a pg_trgm decide o que conta como "letra" com base no locale do banco, e caracteres fora do ASCII (o texto quebrado da investigação 07) são tratados de forma diferente em cada ambiente.

Correção (segundo commit): o passo 3 passou a listar só os pares acima do limite padrão da extensão (0.3), que são os usados na discussão de falsos positivos. Os valores que sustentam a conclusão (0.808, 0.419 e 0.371) são iguais nos dois ambientes. O relatório ganhou um parágrafo explicando a dependência do locale.

A CI agora passa nos dois jobs.

@ThomasTDS
ThomasTDS merged commit 77f137a into main Oct 19, 2026
2 checks passed
@ThomasTDS
ThomasTDS deleted the investigacao/08-duplicidade-aproximada branch October 19, 2026 17:35
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant