Skip to content

Adiciona investigação 07: texto com codificação quebrada (mojibake) - #21

Merged
ThomasTDS merged 1 commit into
mainfrom
investigacao/07-codificacao-quebrada
Oct 19, 2026
Merged

ThomasTDS merged 1 commit into
mainfrom
investigacao/07-codificacao-quebrada

Conversation

@ThomasTDS

Copy link
Copy Markdown
Owner

O que muda

Novo defeito (sql/03_seed_quebrado.sql): a sincronização do catálogo com o ERP regrava o nome dos produtos 6, 7 e 8 e a categoria dos produtos 4 e 5 lendo o texto UTF-8 como Windows-1252. "Módulo de Relatórios" vira "Módulo de Relatórios", e "Serviço" vira "Serviço".

  • O seed reproduz o próprio mecanismo do erro (convert_from(convert_to(nome, 'UTF8'), 'WIN1252')), em vez de digitar o texto quebrado à mão.
  • São só UPDATEs, sem linhas novas. Por isso, nenhum relatório das investigações 01 a 06 muda, e o teste de regressão confirmou isso.

investigacoes/07-codificacao-quebrada/, no formato das anteriores:

  • Sintoma: um cliente envia o print de um e-mail de confirmação com o nome do produto quebrado.
  • O "Plano Básico Mensal", que também tem acento, está correto, e os bytes gravados mostram que o defeito está no dado, e não na codificação do banco ou da exibição.
  • Prova do diagnóstico: a operação inversa devolve o texto original exatamente, o que só acontece se a troca foi "UTF-8 lido como Windows-1252".
  • A detecção varre todas as colunas de texto do banco. Casos de borda testados: "SÃO PAULO", "IRMÃ," e "CORAÇÃO" não são marcados; "João" e "ÉRICA" são.
  • Correção proposta (não executada): corrigir o importador, reverter o texto com o filtro da detecção e criar uma CHECK contra o padrão.

READMEs (português e inglês), diagrama e comentários do schema e do seed: 7 defeitos.

Testes feitos

  • Correção, numa cópia descartável: os 5 textos voltaram exatamente ao original, e uma nova gravação quebrada passou a ser bloqueada pela CHECK. Sem o filtro, a reversão aplicada a um texto correto falha (invalid byte sequence), por isso o filtro é obrigatório.
  • Teste negativo: sem a faixa de caracteres das minúsculas acentuadas, a detecção acha 0 em vez de 5, e a validação falha com código 1.
  • Regressão dos relatórios: os 6 relatórios anteriores continuam iguais à referência.

Como validar

npm run validate     # 19 checks
npm run relatorios   # 7 relatórios

Ponto de atenção: o banco embarcado no Windows usa WIN1252 e o da CI usa UTF8. As funções e a regex trabalham com caracteres, então a referência gerada no Windows deve bater na CI. A execução deste PR confirma.

Novo defeito na massa quebrada: a sincronizacao do catalogo com o ERP
regrava o nome de 3 produtos e a categoria de outros 2 lendo o texto
UTF-8 como Windows-1252. O seed reproduz o proprio mecanismo do erro
com convert_from(convert_to(...)). Nenhuma linha nova e criada, entao
os relatorios das investigacoes 01 a 06 nao mudam.

Relatorio, exploracao.sql e deteccao.sql no formato das anteriores. A
deteccao procura o padrao tipico do mojibake em todas as colunas de
texto do banco; o relatorio prova o diagnostico desfazendo a troca, que
devolve o texto original exatamente.

READMEs (dois idiomas), diagrama e comentarios atualizados para 7
defeitos; validacao com 19 checks.
@ThomasTDS
ThomasTDS merged commit 648f395 into main Oct 19, 2026
2 checks passed
@ThomasTDS
ThomasTDS deleted the investigacao/07-codificacao-quebrada branch October 19, 2026 17:21
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant