From d16d8792d6d4b074afd78a9081f3fba66384493e Mon Sep 17 00:00:00 2001 From: ThomasTDS Date: Mon, 19 Oct 2026 14:44:13 -0300 Subject: [PATCH] Adiciona investigacao 09: fuso horario misturado na mesma coluna Novo defeito na massa quebrada: dois pedidos feitos pelo app na noite de 31/01 (horario de Brasilia) gravados em UTC, ja em 01/02, enquanto o gateway grava o pagamento em hora local. O pagamento parece ter sido feito 2h55 antes do pedido. Relatorio, exploracao.sql e deteccao.sql no formato das anteriores. A deteccao procura pagamentos que voltam ao padrao normal quando se descontam as 3 horas do fuso. O relatorio contrasta com a investigacao 04, em que o mesmo sintoma tem outra causa. Efeitos em outras partes, todos apontados pelo teste de regressao: - investigacao 04: deteccao com 3 casos (2 sao desta), estatisticas e textos atualizados; - investigacoes 02, 03 e 08: totais, matriz de status e ranking; - READMEs (dois idiomas), diagrama e comentarios com 9 defeitos; - validacao com 23 checks. --- README.en.md | 17 +- README.md | 17 +- investigacoes/02-fk-orfa/README.md | 6 +- .../02-fk-orfa/resultado-esperado.json | 2 +- .../03-status-inconsistente/README.md | 4 +- .../resultado-esperado.json | 4 +- investigacoes/04-data-invalida/README.md | 16 +- .../04-data-invalida/resultado-esperado.json | 8 +- .../08-duplicidade-aproximada/README.md | 4 +- .../resultado-esperado.json | 4 +- investigacoes/09-fuso-horario/README.md | 217 ++++++++++++++++++ investigacoes/09-fuso-horario/deteccao.sql | 28 +++ investigacoes/09-fuso-horario/exploracao.sql | 80 +++++++ .../09-fuso-horario/resultado-esperado.json | 59 +++++ scripts/validate.js | 11 +- sql/01_schema.sql | 2 +- sql/03_seed_quebrado.sql | 29 ++- validacoes/README.md | 2 +- 18 files changed, 472 insertions(+), 38 deletions(-) create mode 100644 investigacoes/09-fuso-horario/README.md create mode 100644 investigacoes/09-fuso-horario/deteccao.sql create mode 100644 investigacoes/09-fuso-horario/exploracao.sql create mode 100644 investigacoes/09-fuso-horario/resultado-esperado.json diff --git a/README.en.md b/README.en.md index 51ad975..12f106c 100644 --- a/README.en.md +++ b/README.en.md @@ -8,7 +8,7 @@ ## Description -This repository simulates a sales CRM/ERP database with real-world data defects (duplicate customers, orphaned foreign keys, inconsistent statuses, invalid dates, duplicate payments, fake values in required fields, text with broken encoding and near-duplicates in the catalog) and documents the SQL investigations that find each one of them. It uses the same method applied when investigating production bugs: symptom → hypotheses → queries and evidence → root cause → impact → proposed fix. +This repository simulates a sales CRM/ERP database with real-world data defects (duplicate customers, orphaned foreign keys, inconsistent statuses, invalid dates, duplicate payments, fake values in required fields, text with broken encoding, near-duplicates in the catalog and mixed time zones in dates) and documents the SQL investigations that find each one of them. It uses the same method applied when investigating production bugs: symptom → hypotheses → queries and evidence → root cause → impact → proposed fix. This is not a SQL syntax exercise. The goal is to show how to use SQL to **find real defects** in a database whose data is already corrupted, the way it would happen while investigating a bug reported in production. @@ -62,7 +62,7 @@ erDiagram int id PK int cliente_id FK "NOT VALID in the broken dataset (inv. 02)" int vendedor_id FK "optional" - timestamp data_pedido + timestamp data_pedido "no time zone (inv. 09)" varchar status "no CHECK (inv. 03)" numeric valor_total "= sum of items (validacoes/)" } @@ -79,12 +79,12 @@ erDiagram int id PK "only identifier: no gateway transaction id (inv. 05)" int pedido_id FK numeric valor - timestamp data_pagamento "optional, not validated (inv. 04)" + timestamp data_pagamento "optional, not validated (inv. 04), no time zone (inv. 09)" varchar status "no CHECK (inv. 03)" } ``` -The **inv. 01** to **inv. 08** notes mark the schema characteristic that is the root cause of each [investigated defect](#the-8-investigated-defects). For example, the missing `UNIQUE` on `email` and `documento` is what allows the duplicate customers of investigation 01. +The **inv. 01** to **inv. 09** notes mark the schema characteristic that is the root cause of each [investigated defect](#the-9-investigated-defects). For example, the missing `UNIQUE` on `email` and `documento` is what allows the duplicate customers of investigation 01. --- @@ -106,7 +106,8 @@ sql-defect-investigation/ │ ├── 05-pagamento-duplicado/ # same structure │ ├── 06-dados-de-mentira/ # same structure │ ├── 07-codificacao-quebrada/ # same structure -│ └── 08-duplicidade-aproximada/ # same structure +│ ├── 08-duplicidade-aproximada/ # same structure +│ └── 09-fuso-horario/ # same structure ├── validacoes/ # value consistency rules (total, payment, catalog) ├── sql/ │ ├── 01_schema.sql # DDL: tables, FKs, constraints @@ -177,7 +178,7 @@ Dependencies are kept up to date by **Dependabot** ([`.github/dependabot.yml`](. --- -## The 8 investigated defects +## The 9 investigated defects | # | Defect | Simulated real-world scenario | Investigation | |---|--------|-------------------------------|---------------| @@ -189,6 +190,7 @@ Dependencies are kept up to date by **Dependabot** ([`.github/dependabot.yml`](. | 6 | Fake values in required fields | In phone sales sign-ups, email and CPF (Brazilian taxpayer ID) are required, and the agent typed filler values when the customer did not provide them | [Report](investigacoes/06-dados-de-mentira/README.md) | | 7 | Text with broken encoding (mojibake) | The catalog sync with the ERP read a UTF-8 file as Windows-1252 | [Report](investigacoes/07-codificacao-quebrada/README.md) | | 8 | Near-duplicate in the catalog | The sales screen search is exact, did not find the product, and the sales rep created another one with a typo in the name | [Report](investigacoes/08-duplicidade-aproximada/README.md) | +| 9 | Mixed time zones in dates | The mobile app stores the order date in UTC, while the website and the payment gateway store Brasília time, in a column that does not keep the time zone | [Report](investigacoes/09-fuso-horario/README.md) | The reports are in Portuguese. @@ -204,6 +206,7 @@ The reports are in Portuguese. | 6 | Three sign-ups rejected by the credit check: two with the email `naotem@naotem.com` ("don't have one") and fake CPFs (which **pass** the check-digit test), and one with two CPF digits swapped | `NOT NULL` only ensures the field is not empty: nothing validates its content, and the form offers no "not provided" option | | 7 | Products named like "Módulo de Relatórios" in the emails of 5 orders, while "Plano Básico Mensal" is still correct: the defect is in the data, not in how it is displayed | The ERP sync reads the UTF-8 file as Windows-1252; the reverse operation restores the original text exactly, which proves the diagnosis | | 8 | "Consultoria Avulsa (hora)" and "Consutoria avulsa - hora" are the same service, with its sales split between the two. No exact comparison links them, but text similarity (`pg_trgm`) gives 0.808, and the extension's default threshold (0.3) would flag legitimate plans as duplicates | `produtos.nome` has no uniqueness constraint, and the exact search on the sales screen pushes the rep into creating the product again | +| 9 | Two orders placed through the app at 10:30 and 11:10 pm on Jan 31 show up in February, with the payment 2h55 "before" the order. Removing the 3-hour offset puts the payment back in the normal pattern (5 minutes later). January is R$ 149.80 below the real figure | The date columns are `timestamp without time zone` and do not keep the time zone, so UTC and Brasília time mix without the database noticing | Each report ends with a proposed fix, tested on a disposable copy of the database but **not applied**: as in a real investigation, QA delivers evidence and a recommendation, and the decision to change the data belongs to the responsible team. @@ -221,7 +224,7 @@ Change the folder to run the other investigations. Each defect is implemented and commented in `sql/03_seed_quebrado.sql`. Each investigation lives in `investigacoes/`, with a full report and the detection query (`deteccao.sql`), which the CI runs against both datasets. That way, what is documented is exactly what is tested. -Besides the 8 defects, the validation also checks value consistency rules (order total = sum of its items, approved payments = order total, and item price equal to the catalog price in the control dataset). The rules, and the reason for each one, are in [`validacoes/`](validacoes/README.md) (in Portuguese). +Besides the 9 defects, the validation also checks value consistency rules (order total = sum of its items, approved payments = order total, and item price equal to the catalog price in the control dataset). The rules, and the reason for each one, are in [`validacoes/`](validacoes/README.md) (in Portuguese). ### When the data changes diff --git a/README.md b/README.md index 5026e67..4e24fb3 100644 --- a/README.md +++ b/README.md @@ -8,7 +8,7 @@ ## Descrição -Este repositório simula um banco de dados de CRM/ERP de vendas com defeitos de dados reais — clientes duplicados, foreign keys órfãs, status inconsistentes, datas inválidas, pagamentos em duplicidade, valores de mentira em campos obrigatórios, texto com codificação quebrada e duplicidade aproximada no catálogo — e documenta as investigações SQL que encontram cada um deles, com a mesma metodologia usada em investigação de bugs de produção: sintoma → hipóteses → queries e evidências → causa raiz → impacto → correção proposta. +Este repositório simula um banco de dados de CRM/ERP de vendas com defeitos de dados reais — clientes duplicados, foreign keys órfãs, status inconsistentes, datas inválidas, pagamentos em duplicidade, valores de mentira em campos obrigatórios, texto com codificação quebrada, duplicidade aproximada no catálogo e fuso horário misturado nas datas — e documenta as investigações SQL que encontram cada um deles, com a mesma metodologia usada em investigação de bugs de produção: sintoma → hipóteses → queries e evidências → causa raiz → impacto → correção proposta. Não é um exercício de sintaxe SQL: o objetivo é demonstrar a habilidade de usar SQL para **encontrar defeito real** num banco com dados já corrompidos, do jeito que aconteceria investigando um bug relatado em produção. @@ -58,7 +58,7 @@ erDiagram int id PK int cliente_id FK "NOT VALID na massa quebrada (inv. 02)" int vendedor_id FK "opcional" - timestamp data_pedido + timestamp data_pedido "sem fuso (inv. 09)" varchar status "sem CHECK (inv. 03)" numeric valor_total "= soma dos itens (validacoes/)" } @@ -75,12 +75,12 @@ erDiagram int id PK "único identificador: sem id da transação do gateway (inv. 05)" int pedido_id FK numeric valor - timestamp data_pagamento "opcional, sem validação (inv. 04)" + timestamp data_pagamento "opcional, sem validação (inv. 04), sem fuso (inv. 09)" varchar status "sem CHECK (inv. 03)" } ``` -As anotações **inv. 01** a **inv. 08** marcam a característica do schema que é a causa raiz de cada [defeito investigado](#os-8-defeitos-investigados). Por exemplo, a falta de `UNIQUE` em `email` e `documento` é o que permite os clientes duplicados da investigação 01. +As anotações **inv. 01** a **inv. 09** marcam a característica do schema que é a causa raiz de cada [defeito investigado](#os-9-defeitos-investigados). Por exemplo, a falta de `UNIQUE` em `email` e `documento` é o que permite os clientes duplicados da investigação 01. --- @@ -102,7 +102,8 @@ sql-defect-investigation/ │ ├── 05-pagamento-duplicado/ # mesma estrutura │ ├── 06-dados-de-mentira/ # mesma estrutura │ ├── 07-codificacao-quebrada/ # mesma estrutura -│ └── 08-duplicidade-aproximada/ # mesma estrutura +│ ├── 08-duplicidade-aproximada/ # mesma estrutura +│ └── 09-fuso-horario/ # mesma estrutura ├── validacoes/ # regras de consistência de valores (total, pagamento, catálogo) ├── sql/ │ ├── 01_schema.sql # DDL: tabelas, FKs, constraints @@ -173,7 +174,7 @@ As dependências são mantidas pelo **Dependabot** ([`.github/dependabot.yml`](. --- -## Os 8 defeitos investigados +## Os 9 defeitos investigados | # | Defeito | Cenário real simulado | Investigação | |---|---------|------------------------|--------------| @@ -185,6 +186,7 @@ As dependências são mantidas pelo **Dependabot** ([`.github/dependabot.yml`](. | 6 | Valores de mentira em campos obrigatórios | No cadastro por televendas, e-mail e CPF são obrigatórios, e o atendente digitou valores de preenchimento quando o cliente não informou | [Relatório](investigacoes/06-dados-de-mentira/README.md) | | 7 | Texto com codificação quebrada | A sincronização do catálogo com o ERP leu um arquivo UTF-8 como Windows-1252 | [Relatório](investigacoes/07-codificacao-quebrada/README.md) | | 8 | Duplicidade aproximada no catálogo | A busca da tela de venda é exata, não achou o produto, e o vendedor cadastrou outro com o nome digitado errado | [Relatório](investigacoes/08-duplicidade-aproximada/README.md) | +| 9 | Fuso horário misturado nas datas | O app grava a data do pedido em UTC, enquanto o site e o gateway gravam no horário de Brasília, numa coluna que não guarda o fuso | [Relatório](investigacoes/09-fuso-horario/README.md) | ### Principais achados @@ -198,6 +200,7 @@ As dependências são mantidas pelo **Dependabot** ([`.github/dependabot.yml`](. | 6 | Três cadastros barrados na análise de crédito: dois com o e-mail `naotem@naotem.com` e CPFs de mentira (que **passam** no dígito verificador) e um com dois dígitos do CPF trocados | `NOT NULL` só garante que o campo não está vazio: nada valida o conteúdo, e o formulário não oferece "não informado" | | 7 | Produtos com nomes como "Módulo de Relatórios" em e-mails de 5 pedidos, enquanto o "Plano Básico Mensal" continua certo: o defeito está no dado, não na exibição | A sincronização com o ERP lê o arquivo UTF-8 como Windows-1252, e a operação inversa devolve o texto original exatamente, o que prova o diagnóstico | | 8 | "Consultoria Avulsa (hora)" e "Consutoria avulsa - hora" são o mesmo serviço, com as vendas divididas entre os dois. Nenhuma comparação exata os liga, mas a similaridade de texto (`pg_trgm`) dá 0.808, e o limite padrão da extensão (0.3) marcaria planos legítimos como duplicados | `produtos.nome` não tem nenhuma restrição de unicidade, e a busca exata da tela de venda empurra o vendedor a cadastrar de novo | +| 9 | Dois pedidos feitos pelo app às 22:30 e 23:10 de 31/01 aparecem em fevereiro, com o pagamento 2h55 "antes" do pedido. Descontadas as 3 horas do fuso, o pagamento volta ao padrão normal (5 minutos depois). Janeiro fica R$ 149,80 abaixo do real | As colunas de data são `timestamp without time zone` e não guardam o fuso, então UTC e horário de Brasília se misturam sem o banco perceber | Cada relatório termina com uma correção proposta, testada numa cópia descartável do banco, mas **não executada**: como numa investigação real, o QA entrega evidência e recomendação, e a decisão de mexer nos dados é do time responsável. @@ -215,7 +218,7 @@ Basta trocar a pasta para rodar as outras investigações. Cada defeito está implementado e comentado em `sql/03_seed_quebrado.sql`. Cada investigação fica em `investigacoes/`, com um relatório completo e a query de detecção (`deteccao.sql`), que a CI executa contra as duas massas de dados. Assim, o que está documentado é exatamente o que é testado. -Além dos 8 defeitos, a validação confere regras de consistência de valores (total do pedido = soma dos itens, pagamentos aprovados = total do pedido, e o preço do item igual ao do catálogo na massa de controle). As regras e o motivo de cada uma estão em [`validacoes/`](validacoes/README.md). +Além dos 9 defeitos, a validação confere regras de consistência de valores (total do pedido = soma dos itens, pagamentos aprovados = total do pedido, e o preço do item igual ao do catálogo na massa de controle). As regras e o motivo de cada uma estão em [`validacoes/`](validacoes/README.md). ### Quando a massa de dados muda diff --git a/investigacoes/02-fk-orfa/README.md b/investigacoes/02-fk-orfa/README.md index 5ba60ed..feb52c0 100644 --- a/investigacoes/02-fk-orfa/README.md +++ b/investigacoes/02-fk-orfa/README.md @@ -17,7 +17,7 @@ Arquivos desta investigação: ## 1. Sintoma relatado -> Chamado do financeiro: o relatório "Vendas por cliente" fecha em **R$ 2.069,00**, mas o total de pedidos registrados no sistema é **R$ 2.168,90**. A diferença é de **R$ 99,90**. +> Chamado do financeiro: o relatório "Vendas por cliente" fecha em **R$ 2.218,80**, mas o total de pedidos registrados no sistema é **R$ 2.318,70**. A diferença é de **R$ 99,90**. Dois relatórios que deveriam somar a mesma coisa e não batem. Antes de olhar dado, a primeira pergunta é: o que um relatório faz que o outro não faz? @@ -46,7 +46,7 @@ SELECT | qtd_pedidos_tabela | total_tabela | qtd_pedidos_relatorio | total_relatorio | |---|---|---|---| -| 13 | 2168.90 | 12 | 2069.00 | +| 15 | 2318.70 | 14 | 2218.80 | **Achado:** **H1 descartada.** Sem nenhum filtro, a divergência continua: o `JOIN` sozinho faz **1 pedido** e **R$ 99,90** sumirem. Um `JOIN` comum (`INNER JOIN`) só devolve as linhas que encontram correspondência dos dois lados, então algum pedido não tem cliente. @@ -169,7 +169,7 @@ O banco não tem trilha de auditoria. Por isso, não é possível saber **quem** ## 6. Correção proposta -> **Não executada.** Fica como recomendação. O caminho B, seguido do `VALIDATE`, foi testado numa cópia descartável do banco: depois dele, a FK fica `validada = true`, a detecção retorna 0 órfãos e os dois totais do chamado passam a bater (R$ 2.168,90 nos dois). +> **Não executada.** Fica como recomendação. O caminho B, seguido do `VALIDATE`, foi testado numa cópia descartável do banco: depois dele, a FK fica `validada = true`, a detecção retorna 0 órfãos e os dois totais do chamado passam a bater (R$ 2.318,70 nos dois). ### 6.1 Tratar o pedido órfão: decisão do negócio diff --git a/investigacoes/02-fk-orfa/resultado-esperado.json b/investigacoes/02-fk-orfa/resultado-esperado.json index 7d626fe..e47d3a9 100644 --- a/investigacoes/02-fk-orfa/resultado-esperado.json +++ b/investigacoes/02-fk-orfa/resultado-esperado.json @@ -3,7 +3,7 @@ "consulta": 1, "colunas": ["qtd_pedidos_tabela","total_tabela","qtd_pedidos_relatorio","total_relatorio"], "linhas": [ - ["13","2168.90","12","2069.00"] + ["15","2318.70","14","2218.80"] ] }, { diff --git a/investigacoes/03-status-inconsistente/README.md b/investigacoes/03-status-inconsistente/README.md index 9ea4a2d..c554b56 100644 --- a/investigacoes/03-status-inconsistente/README.md +++ b/investigacoes/03-status-inconsistente/README.md @@ -85,9 +85,9 @@ GROUP BY status_pedido, situacao_pagamento; |---|---|---|---|---| | cancelado | **aprovado** | 1 | 12 | ❌ | | cancelado | estornado | 1 | 4 | ✅ | -| confirmado | aprovado | 3 | 3, 7, 13 | ✅ | +| confirmado | aprovado | 4 | 3, 7, 13, 15 | ✅ | | confirmado | **sem pagamento** | 1 | 10 | ❌ | -| entregue | aprovado | 4 | 1, 2, 5, 8 | ✅ | +| entregue | aprovado | 5 | 1, 2, 5, 8, 14 | ✅ | | entregue | **pendente** | 1 | 11 | ❌ | | pendente | sem pagamento | 2 | 6, 9 | ✅ | diff --git a/investigacoes/03-status-inconsistente/resultado-esperado.json b/investigacoes/03-status-inconsistente/resultado-esperado.json index 9649d31..86eafd9 100644 --- a/investigacoes/03-status-inconsistente/resultado-esperado.json +++ b/investigacoes/03-status-inconsistente/resultado-esperado.json @@ -13,9 +13,9 @@ "linhas": [ ["cancelado","aprovado","1","12"], ["cancelado","estornado","1","4"], - ["confirmado","aprovado","3","3, 7, 13"], + ["confirmado","aprovado","4","3, 7, 13, 15"], ["confirmado","sem pagamento","1","10"], - ["entregue","aprovado","4","1, 2, 5, 8"], + ["entregue","aprovado","5","1, 2, 5, 8, 14"], ["entregue","pendente","1","11"], ["pendente","sem pagamento","2","6, 9"] ] diff --git a/investigacoes/04-data-invalida/README.md b/investigacoes/04-data-invalida/README.md index 437c11d..4a3aee3 100644 --- a/investigacoes/04-data-invalida/README.md +++ b/investigacoes/04-data-invalida/README.md @@ -47,9 +47,9 @@ WHERE pg.status = 'aprovado'; | qtd_pagamentos_aprovados | menor_tempo | maior_tempo | tempo_medio | |---|---|---|---| -| 9 | **-2 days** | 00:10:04 | **-05:13:52.9** | +| 11 | **-2 days** | 00:10:04 | **-04:48:37.8** | -**Achado:** **H1 descartada.** O banco reproduz o número do painel: o tempo médio passa de -5 horas. O painel está calculando certo, e o problema está nos dados. O `menor_tempo` de **-2 dias** já mostra que existe pelo menos um pagamento aprovado dois dias antes do pedido. +**Achado:** **H1 descartada.** O banco reproduz o número do painel: o tempo médio é de quase -5 horas. O painel está calculando certo, e o problema está nos dados. O `menor_tempo` de **-2 dias** já mostra que existe pelo menos um pagamento aprovado dois dias antes do pedido. ### Passo 2: o tempo de cada pagamento @@ -65,6 +65,8 @@ ORDER BY tempo_ate_aprovacao, pg.id; | pagamento_id | pedido_id | data_pedido | data_pagamento | tempo_ate_aprovacao | |---|---|---|---|---| | **10** | **13** | **2026-02-10 10:00:00** | **2026-02-08 10:00:00** | **-2 days** | +| 12 | 14 | 2026-02-01 01:30:00 | 2026-01-31 22:35:00 | -02:55:00 | +| 13 | 15 | 2026-02-01 02:10:00 | 2026-01-31 23:15:00 | -02:55:00 | | 1 | 1 | 2026-01-11 10:00:00 | 2026-01-11 10:05:00 | 00:05:00 | | 5 | 5 | 2026-01-21 10:45:00 | 2026-01-21 10:50:00 | 00:05:00 | | 6 | 7 | 2026-01-29 15:30:00 | 2026-01-29 15:35:00 | 00:05:00 | @@ -74,7 +76,7 @@ ORDER BY tempo_ate_aprovacao, pg.id; | 3 | 3 | 2026-01-16 11:30:00 | 2026-01-16 11:40:00 | 00:10:00 | | 11 | 2 | 2026-01-13 15:00:00 | 2026-01-13 15:10:04 | 00:10:04 | -**Achado:** **H2 confirmada.** Um único pagamento (`10`) explica todo o desvio. Sem ele, o tempo médio volta para **6min53s**, coerente com o processo. Os outros oito seguem um padrão claro: são aprovados **5 a 10 minutos depois** do pedido. +**Achado:** **H2 confirmada.** O pagamento `10`, com **-2 dias**, explica quase todo o desvio. Há outros dois negativos, os pagamentos `12` e `13`, com **-2h55** cada. Eles têm outro padrão: o pagamento fica exatamente 3 horas menos 5 minutos antes do pedido, e os pedidos são do app e de madrugada. É um defeito diferente, de fuso horário, investigado à parte na [investigação 09](../09-fuso-horario/README.md). Sem os três, o tempo médio volta para **6min53s**, coerente com o processo. Os outros oito seguem um padrão claro: são aprovados **5 a 10 minutos depois** do pedido. O pagamento `11` chama atenção por outro motivo: ele é do mesmo pedido `2` que o pagamento `2`, tem o mesmo valor e veio 4 segundos depois. É uma duplicidade, investigada à parte na [investigação 05](../05-pagamento-duplicado/README.md). Como o tempo dele é normal, ele não muda a conclusão desta investigação. @@ -116,8 +118,10 @@ A query completa está em [`deteccao.sql`](deteccao.sql). | tabela | registro_id | motivo | data_registro | data_referencia | |---|---|---|---|---| | pagamentos | 10 | pagamento anterior ao pedido | 2026-02-08 10:00:00 | 2026-02-10 10:00:00 | +| pagamentos | 12 | pagamento anterior ao pedido | 2026-01-31 22:35:00 | 2026-02-01 01:30:00 | +| pagamentos | 13 | pagamento anterior ao pedido | 2026-01-31 23:15:00 | 2026-02-01 02:10:00 | -**Achado:** é o único registro com data implausível no banco. +**Achado:** a detecção encontra 3 registros, mas eles têm duas causas. O pagamento `10` é o caso desta investigação. Os pagamentos `12` e `13` são os do passo 2, com -2h55: pedidos do app gravados em UTC, defeito da [investigação 09](../09-fuso-horario/README.md). Esta detecção diz **que** a data é implausível, e não **por quê**, e o tamanho da diferença é o que separa as causas. Não há outros registros com data implausível no banco. ### Passo 5: causa raiz — o que o banco registra sobre o lançamento? @@ -164,13 +168,13 @@ Triggers: **nenhuma.** ## 5. Impacto -- **Indicadores:** o "tempo médio até aprovação" sai negativo (-5h14min no lugar de 6min53s). Qualquer indicador por período também atribui R$ 150,00 ao dia 08/02, quando o pedido nem existia. +- **Indicadores:** o "tempo médio até aprovação" sai negativo (cerca de -4h49min no lugar de 6min53s, somando o efeito dos pagamentos da investigação 09). Qualquer indicador por período também atribui R$ 150,00 ao dia 08/02, quando o pedido nem existia. - **Conciliação:** um cruzamento com o extrato do gateway por data não vai encontrar esse pagamento no dia 08/02, e vai gerar uma divergência falsa nos dois dias. - **Cliente:** nenhum, já que o pagamento foi feito e o pedido está correto. ## 6. Correção proposta -> **Não executada.** O trigger da seção 6.2 foi testado numa cópia descartável do banco. Com a data do pagamento corrigida, ele é criado sem erro e a detecção passa a retornar 0 linhas. Uma nova tentativa de lançar um pagamento datado antes do pedido é bloqueada, e uma com data no futuro também. +> **Não executada.** O trigger da seção 6.2 foi testado numa cópia descartável do banco. Com a data do pagamento corrigida, ele é criado sem erro e a detecção deixa de listar o pagamento 10. Os pagamentos 12 e 13 só saem com a correção da [investigação 09](../09-fuso-horario/README.md). Uma nova tentativa de lançar um pagamento datado antes do pedido é bloqueada, e uma com data no futuro também. ### 6.1 Corrigir o registro diff --git a/investigacoes/04-data-invalida/resultado-esperado.json b/investigacoes/04-data-invalida/resultado-esperado.json index f9ad366..d992504 100644 --- a/investigacoes/04-data-invalida/resultado-esperado.json +++ b/investigacoes/04-data-invalida/resultado-esperado.json @@ -3,7 +3,7 @@ "consulta": 1, "colunas": ["qtd_pagamentos_aprovados","menor_tempo","maior_tempo","tempo_medio"], "linhas": [ - ["9","-2 days","00:10:04","-05:13:52.888889"] + ["11","-2 days","00:10:04","-04:48:37.818182"] ] }, { @@ -11,6 +11,8 @@ "colunas": ["pagamento_id","pedido_id","data_pedido","data_pagamento","tempo_ate_aprovacao"], "linhas": [ ["10","13","2026-02-10 10:00:00","2026-02-08 10:00:00","-2 days"], + ["12","14","2026-02-01 01:30:00","2026-01-31 22:35:00","-02:55:00"], + ["13","15","2026-02-01 02:10:00","2026-01-31 23:15:00","-02:55:00"], ["1","1","2026-01-11 10:00:00","2026-01-11 10:05:00","00:05:00"], ["5","5","2026-01-21 10:45:00","2026-01-21 10:50:00","00:05:00"], ["6","7","2026-01-29 15:30:00","2026-01-29 15:35:00","00:05:00"], @@ -32,7 +34,9 @@ "consulta": 4, "colunas": ["tabela","registro_id","motivo","data_registro","data_referencia"], "linhas": [ - ["pagamentos","10","pagamento anterior ao pedido","2026-02-08 10:00:00","2026-02-10 10:00:00"] + ["pagamentos","10","pagamento anterior ao pedido","2026-02-08 10:00:00","2026-02-10 10:00:00"], + ["pagamentos","12","pagamento anterior ao pedido","2026-01-31 22:35:00","2026-02-01 01:30:00"], + ["pagamentos","13","pagamento anterior ao pedido","2026-01-31 23:15:00","2026-02-01 02:10:00"] ] }, { diff --git a/investigacoes/08-duplicidade-aproximada/README.md b/investigacoes/08-duplicidade-aproximada/README.md index 38b7c98..4be6f08 100644 --- a/investigacoes/08-duplicidade-aproximada/README.md +++ b/investigacoes/08-duplicidade-aproximada/README.md @@ -46,10 +46,10 @@ ORDER BY receita DESC, pr.id; | 3 | Plano Enterprise Mensal | 2 | 499.80 | | **5** | **Consultoria Avulsa (hora)** | 2 | **300.00** | | 6 | Módulo de Relatórios | 3 | 239.70 | +| 2 | Plano Profissional Mensal | 2 | 199.80 | | **9** | **Consutoria avulsa - hora** | 1 | **150.00** | +| 1 | Plano Básico Mensal | 3 | 149.70 | | 7 | Módulo de Integrações | 1 | 119.90 | -| 2 | Plano Profissional Mensal | 1 | 99.90 | -| 1 | Plano Básico Mensal | 2 | 99.80 | | 8 | Suporte Prioritário | 1 | 59.90 | **Achado:** o produto `9` tem o **mesmo preço** do `5` (R$ 150,00 por hora) e um nome quase igual, com um erro de digitação ("Consutoria"). Tudo indica que é o mesmo serviço, o que **descarta H1**. A confirmação final é do time comercial, mas um serviço diferente teria outro nome, e não o mesmo nome escrito errado. Os nomes quebrados ("Módulo"...) são outro defeito, da [investigação 07](../07-codificacao-quebrada/README.md). diff --git a/investigacoes/08-duplicidade-aproximada/resultado-esperado.json b/investigacoes/08-duplicidade-aproximada/resultado-esperado.json index 1e3ed91..4dc7ab8 100644 --- a/investigacoes/08-duplicidade-aproximada/resultado-esperado.json +++ b/investigacoes/08-duplicidade-aproximada/resultado-esperado.json @@ -7,10 +7,10 @@ ["3","Plano Enterprise Mensal","2","499.80"], ["5","Consultoria Avulsa (hora)","2","300.00"], ["6","Módulo de Relatórios","3","239.70"], + ["2","Plano Profissional Mensal","2","199.80"], ["9","Consutoria avulsa - hora","1","150.00"], + ["1","Plano Básico Mensal","3","149.70"], ["7","Módulo de Integrações","1","119.90"], - ["2","Plano Profissional Mensal","1","99.90"], - ["1","Plano Básico Mensal","2","99.80"], ["8","Suporte Prioritário","1","59.90"] ] }, diff --git a/investigacoes/09-fuso-horario/README.md b/investigacoes/09-fuso-horario/README.md new file mode 100644 index 0000000..7b2fe2f --- /dev/null +++ b/investigacoes/09-fuso-horario/README.md @@ -0,0 +1,217 @@ +# Investigação 09 — Fuso horário misturado na mesma coluna + +| | | +|---|---| +| **Defeito** | Pedidos do app gravados em UTC numa coluna em que o resto do sistema grava horário de Brasília | +| **Registros afetados** | 2 pedidos: `14` e `15`, feitos na noite de 31/01 e registrados como 01/02 | +| **Causa raiz** | As colunas de data são `timestamp without time zone`: guardam só "dia e hora", sem dizer de que fuso. O app grava em UTC, e o site e o gateway, em horário de Brasília | +| **Severidade** | Alta: vendas atribuídas ao dia e ao mês errados, o que afeta fechamento mensal, metas e comissões | +| **Status** | Diagnóstico concluído, com correção proposta e **não executada** | + +Arquivos desta investigação: + +- [`exploracao.sql`](exploracao.sql): as queries na ordem em que foram usadas, numeradas conforme os passos abaixo. +- [`deteccao.sql`](deteccao.sql): a query final de detecção, que procura pedidos cujo pagamento só fica no padrão normal quando se descontam as 3 horas do fuso. É a mesma query que a CI executa. + +--- + +## 1. Sintoma relatado + +> Chamado do financeiro: no fechamento de janeiro, o relatório de **vendas** (pela data do pedido) e o de **recebimentos** (pela data do pagamento) não batem. Há pagamentos de 31/01 cujos pedidos aparecem em fevereiro. + +## 2. Hipóteses iniciais + +| # | Hipótese | Como confirmar ou descartar | +|---|---|---| +| H1 | Pedidos de fim de mês pagos no mês seguinte (diferença normal entre vendas e recebimentos) | O pagamento viria **depois** do pedido | +| H2 | Datas digitadas erradas, como na [investigação 04](../04-data-invalida/README.md) | Diferenças arbitrárias, sem padrão | +| H3 | Fuso horário: parte das datas gravada em UTC, e parte em horário de Brasília | Diferença de exatamente 3 horas (o fuso), mais o tempo normal de aprovação | + +## 3. Investigação + +### Passo 1: pedidos e pagamentos em meses diferentes + +```sql +SELECT p.id AS pedido_id, p.data_pedido, pg.data_pagamento, + to_char(p.data_pedido, 'YYYY-MM') AS mes_do_pedido, + to_char(pg.data_pagamento, 'YYYY-MM') AS mes_do_pagamento, + p.valor_total +FROM pedidos p +JOIN pagamentos pg ON pg.pedido_id = p.id AND pg.status = 'aprovado' +WHERE to_char(p.data_pedido, 'YYYY-MM') <> to_char(pg.data_pagamento, 'YYYY-MM'); +``` + +| pedido_id | data_pedido | data_pagamento | mes_do_pedido | mes_do_pagamento | valor_total | +|---|---|---|---|---|---| +| 14 | 2026-02-01 01:30:00 | 2026-01-31 22:35:00 | 2026-02 | 2026-01 | 99.90 | +| 15 | 2026-02-01 02:10:00 | 2026-01-31 23:15:00 | 2026-02 | 2026-01 | 49.90 | + +**Achado:** **H1 descartada.** Os pagamentos não vieram depois, e sim **antes** dos pedidos: o pagamento é de 31/01 e o pedido, de 01/02. Pela ordem natural dos eventos, isso é impossível. + +### Passo 2: os dois pedidos e o horário de todos + +```sql +SELECT p.id AS pedido_id, c.nome AS cliente, p.vendedor_id, p.data_pedido, p.status, p.valor_total +FROM pedidos p +JOIN clientes c ON c.id = p.cliente_id +WHERE p.id IN (14, 15); + +SELECT COUNT(*) FILTER (WHERE extract(hour FROM data_pedido) BETWEEN 8 AND 20) AS pedidos_entre_8h_e_20h, + COUNT(*) FILTER (WHERE extract(hour FROM data_pedido) NOT BETWEEN 8 AND 20) AS pedidos_fora_desse_horario, + string_agg(id::text, ', ' ORDER BY id) FILTER (WHERE extract(hour FROM data_pedido) NOT BETWEEN 8 AND 20) AS quais +FROM pedidos; +``` + +| pedido_id | cliente | vendedor_id | data_pedido | status | valor_total | +|---|---|---|---|---|---| +| 14 | Gabriela Dias Ramos | *(null)* | 2026-02-01 01:30:00 | entregue | 99.90 | +| 15 | Diego Alves Pereira | *(null)* | 2026-02-01 02:10:00 | confirmado | 49.90 | + +| pedidos_entre_8h_e_20h | pedidos_fora_desse_horario | quais | +|---|---|---| +| 13 | 2 | 14, 15 | + +**Achados:** + +- Os dois pedidos **não têm vendedor**, porque foram feitos pelo **app**, que não passa por vendedor. São os únicos sem vendedor. +- São também os **únicos fora do horário comercial**: 01:30 e 02:10 da madrugada. Todos os outros 13 pedidos estão entre 8h e 20h. Um pedido de madrugada não é impossível, mas dois, os dois do app, e os dois com o pagamento "antes" do pedido, é um padrão. + +### Passo 3: a diferença, antes e depois de descontar o fuso + +Se o app grava em UTC e o gateway grava em horário de Brasília (UTC-3), descontar 3 horas da data do pedido deve colocar o pagamento de volta no padrão normal, que é de 5 a 10 minutos depois do pedido. Para todos os pagamentos aprovados anteriores ao pedido: + +```sql +SELECT p.id AS pedido_id, + pg.data_pagamento - p.data_pedido AS diferenca_gravada, + pg.data_pagamento - (p.data_pedido - interval '3 hours') AS diferenca_corrigida +FROM pedidos p +JOIN pagamentos pg ON pg.pedido_id = p.id AND pg.status = 'aprovado' +WHERE pg.data_pagamento < p.data_pedido; +``` + +| pedido_id | diferenca_gravada | diferenca_corrigida | +|---|---|---| +| 13 | -2 days | -1 days -21:00:00 | +| **14** | **-02:55:00** | **00:05:00** | +| **15** | **-02:55:00** | **00:05:00** | + +**Achados:** + +- **H3 confirmada para os pedidos 14 e 15.** A diferença gravada é de **-2h55**, ou seja, as 3 horas do fuso menos os 5 minutos de aprovação. Descontado o fuso, o pagamento cai **exatamente 5 minutos depois** do pedido, o mesmo padrão de todos os outros pagamentos. +- **H2 descartada** para eles: uma data digitada errada não daria a mesma diferença, ao minuto, em dois pedidos diferentes. +- **O contraste com a investigação 04.** O pedido 13 é o pagamento datado errado da [investigação 04](../04-data-invalida/README.md). Descontar o fuso **não** o explica: continua quase 2 dias antes do pedido. Lá, a hipótese de fuso foi descartada justamente porque a diferença era de dias inteiros. Aqui, ela é a causa. O mesmo sintoma ("pagamento antes do pedido") tem duas causas diferentes, e é o tamanho da diferença que as separa. + +### Passo 4: a detecção final — é isolado? + +A query de [`deteccao.sql`](deteccao.sql) procura pedidos cujo pagamento está antes do pedido **e** volta ao padrão normal (0 a 30 minutos depois) quando se descontam as 3 horas do fuso. + +| pedido_id | data_pedido_gravada | data_pagamento | diferenca_gravada | data_pedido_em_brasilia | diferenca_corrigida | +|---|---|---|---|---|---| +| 14 | 2026-02-01 01:30:00 | 2026-01-31 22:35:00 | -02:55:00 | 2026-01-31 22:30:00 | 00:05:00 | +| 15 | 2026-02-01 02:10:00 | 2026-01-31 23:15:00 | -02:55:00 | 2026-01-31 23:10:00 | 00:05:00 | + +**Achado:** são só os dois pedidos do app. Com o fuso descontado, eles foram feitos em **31/01 às 22:30 e 23:10**, ainda em janeiro. + +Esta detecção depende do pagamento: um pedido do app em UTC **sem** pagamento aprovado (pendente, por exemplo) não seria encontrado por ela. Para esses, o sinal que sobra é o do passo 2 (pedido sem vendedor e de madrugada), que é um indício, mas não uma prova. + +### Passo 5: causa raiz — o tipo das colunas de data + +```sql +SELECT table_name, column_name, data_type +FROM information_schema.columns +WHERE table_name IN ('clientes', 'pedidos', 'pagamentos') AND data_type LIKE 'timestamp%'; +``` + +| table_name | column_name | data_type | +|---|---|---| +| clientes | data_cadastro | timestamp without time zone | +| pagamentos | data_pagamento | timestamp without time zone | +| pedidos | data_pedido | timestamp without time zone | + +**Achado:** as três colunas de data são `timestamp without time zone`. Esse tipo guarda "2026-02-01 01:30" e mais nada: não diz se é horário de Brasília, UTC ou qualquer outro. Enquanto um único sistema gravava (o site, em horário de Brasília), funcionava. Quando o app passou a gravar em UTC, os dois fusos se misturaram na mesma coluna, e o banco não tem como distinguir um do outro. + +### Passo 6: impacto — as vendas de janeiro e fevereiro + +```sql +WITH corrigido AS ( + SELECT id, valor_total, + CASE WHEN id IN (14, 15) THEN data_pedido - interval '3 hours' ELSE data_pedido END AS data_pedido + FROM pedidos +) +SELECT m.mes, + (SELECT SUM(valor_total) FROM pedidos WHERE to_char(data_pedido, 'YYYY-MM') = m.mes) AS vendas_como_estao, + (SELECT SUM(valor_total) FROM corrigido WHERE to_char(data_pedido, 'YYYY-MM') = m.mes) AS vendas_corrigidas +FROM (VALUES ('2026-01'), ('2026-02')) AS m(mes); +``` + +| mes | vendas_como_estao | vendas_corrigidas | +|---|---|---| +| 2026-01 | 1439.20 | 1589.00 | +| 2026-02 | 779.60 | 629.80 | + +**Achado:** janeiro aparece com **R$ 149,80 a menos**, e fevereiro com **R$ 149,80 a mais**. É exatamente a soma dos dois pedidos. + +## 4. Causa raiz + +1. **Integração (gatilho):** o app, lançado em janeiro, envia a data do pedido em UTC, o padrão de muitas APIs. O site e o gateway gravam em horário de Brasília. +2. **Banco (causa raiz):** as colunas de data são `timestamp without time zone`. Elas aceitam os dois formatos sem reclamar, porque não guardam o fuso, e a mistura passa a existir em silêncio. + +Todo pedido feito pelo app entre 21h e 23h59 de Brasília cai no **dia seguinte**. No último dia do mês, cai no **mês seguinte**. + +## 5. Impacto + +- **Fechamento mensal:** vendas de janeiro subestimadas em R$ 149,80, e de fevereiro superestimadas no mesmo valor. +- **Relatórios diários e comissões:** qualquer relatório por dia atribui as vendas noturnas do app ao dia seguinte. +- **Outras verificações:** os dois pagamentos "antes do pedido" também aparecem na detecção de datas implausíveis da investigação 04, que passou a encontrar 3 casos (o pagamento 10 e estes dois). Lá, o relatório explica que os novos casos são deste defeito. +- **Crescimento do problema:** cada pedido novo do app aumenta a mistura. Quanto mais tempo passa, maior a correção. + +## 6. Correção proposta + +> **Não executada.** A correção foi testada numa cópia descartável do banco. Depois dela, os pedidos 14 e 15 aparecem às 22:30 e 23:10 de 31/01 no horário de Brasília (e continuam corretos em UTC). Entre os pagamentos anteriores ao pedido, sobra só o 10, da investigação 04. O relatório mensal fecha janeiro em R$ 1.589,00, e um pedido novo enviado pelo app em UTC é gravado e lido corretamente. + +### 6.1 Corrigir os pedidos do app + +```sql +UPDATE pedidos +SET data_pedido = (data_pedido AT TIME ZONE 'UTC') AT TIME ZONE 'America/Sao_Paulo' +WHERE id IN (14, 15); +``` + +A expressão lê o valor como UTC e o converte para o horário de Brasília, em vez de simplesmente subtrair 3 horas. Isso deixa a conversão correta mesmo se um dia houver horário de verão de novo. Os ids vêm da detecção. Antes de rodar, confirmar no log do app quais pedidos vieram por ele. + +### 6.2 Fazer as colunas guardarem o fuso + +```sql +ALTER TABLE pedidos ALTER COLUMN data_pedido TYPE timestamptz USING data_pedido AT TIME ZONE 'America/Sao_Paulo'; +ALTER TABLE pagamentos ALTER COLUMN data_pagamento TYPE timestamptz USING data_pagamento AT TIME ZONE 'America/Sao_Paulo'; +ALTER TABLE clientes ALTER COLUMN data_cadastro TYPE timestamptz USING data_cadastro AT TIME ZONE 'America/Sao_Paulo'; +``` + +- **`timestamptz` guarda o instante**, e não "dia e hora soltos". Um valor enviado como `2026-02-01 02:50:00+00` (UTC) e outro enviado como `2026-01-31 23:50:00-03` (Brasília) viram **o mesmo instante**. A mistura deixa de ser possível. +- O `USING ... AT TIME ZONE 'America/Sao_Paulo'` diz ao banco como interpretar os valores antigos, que (depois da 6.1) estão todos no horário de Brasília. +- **Ordem:** a 6.1 precisa vir antes. Senão, os dois pedidos do app seriam interpretados como horário de Brasília e ficariam 3 horas errados para sempre. +- **Bloqueio:** o `ALTER COLUMN ... TYPE` reescreve a tabela inteira e bloqueia leituras e escritas enquanto roda. Numa base grande, precisa de janela de manutenção. + +### 6.3 Relatórios sempre com o fuso explícito + +```sql +SELECT to_char(data_pedido AT TIME ZONE 'America/Sao_Paulo', 'YYYY-MM') AS mes, SUM(valor_total) AS vendas +FROM pedidos +GROUP BY 1; +``` + +Com `timestamptz`, "que dia foi" depende de qual fuso se usa para perguntar. Os relatórios devem dizer **explicitamente** que o dia de negócio é o de Brasília, e não depender da configuração do servidor. + +### 6.4 Na integração + +O app pode continuar enviando em UTC, desde que mande **com o fuso** (`...Z` ou `+00:00`), e não "dia e hora soltos". Com a coluna `timestamptz`, o banco faz a conversão. + +- **Monitoramento:** até a 6.2 ser aplicada, rodar o [`deteccao.sql`](deteccao.sql) no fechamento de cada mês. + +## 7. Como reproduzir + +Com o banco no ar (`docker compose up -d --wait`, ver o [README principal](../../README.md)): + +```bash +docker compose exec -T postgres psql -U postgres -d defect_investigation < investigacoes/09-fuso-horario/exploracao.sql +``` diff --git a/investigacoes/09-fuso-horario/deteccao.sql b/investigacoes/09-fuso-horario/deteccao.sql new file mode 100644 index 0000000..023c339 --- /dev/null +++ b/investigacoes/09-fuso-horario/deteccao.sql @@ -0,0 +1,28 @@ +-- Detecção: pedidos com data gravada em UTC numa coluna que, no resto do +-- sistema, guarda horário de Brasília (UTC-3). +-- +-- O sinal vem do pagamento, que o gateway grava em hora local. No padrão +-- normal, ele é aprovado de 0 a 30 minutos DEPOIS do pedido. Num pedido +-- gravado em UTC, o pagamento parece ter sido feito cerca de 3 horas +-- ANTES. A query desconta as 3 horas do fuso da data do pedido e procura +-- os pagamentos que, com esse desconto, voltam ao padrão normal. +-- +-- O Brasil não tem horário de verão desde 2019, então a diferença entre +-- UTC e Brasília é sempre de 3 horas no período dos dados. +-- +-- Cada linha é um pedido com fuso suspeito. Resultado esperado: zero +-- linhas. + +SELECT + p.id AS pedido_id, + p.data_pedido AS data_pedido_gravada, + pg.data_pagamento, + pg.data_pagamento - p.data_pedido AS diferenca_gravada, + p.data_pedido - interval '3 hours' AS data_pedido_em_brasilia, + pg.data_pagamento - (p.data_pedido - interval '3 hours') AS diferenca_corrigida +FROM pedidos p +JOIN pagamentos pg ON pg.pedido_id = p.id AND pg.status = 'aprovado' +WHERE pg.data_pagamento < p.data_pedido + AND pg.data_pagamento - (p.data_pedido - interval '3 hours') + BETWEEN interval '0 minutes' AND interval '30 minutes' +ORDER BY p.id; diff --git a/investigacoes/09-fuso-horario/exploracao.sql b/investigacoes/09-fuso-horario/exploracao.sql new file mode 100644 index 0000000..542e54e --- /dev/null +++ b/investigacoes/09-fuso-horario/exploracao.sql @@ -0,0 +1,80 @@ +-- Investigação 09 — Fuso horário misturado na mesma coluna +-- Queries na ordem em que foram usadas na investigação. A numeração bate +-- com os passos do README.md desta pasta. + +-- Passo 1: pedidos cujo pagamento aprovado caiu em outro mês — é por +-- causa deles que vendas de janeiro (por data do pedido) e recebimentos +-- de janeiro (por data do pagamento) não batem. +SELECT + p.id AS pedido_id, + p.data_pedido, + pg.data_pagamento, + to_char(p.data_pedido, 'YYYY-MM') AS mes_do_pedido, + to_char(pg.data_pagamento, 'YYYY-MM') AS mes_do_pagamento, + p.valor_total +FROM pedidos p +JOIN pagamentos pg ON pg.pedido_id = p.id AND pg.status = 'aprovado' +WHERE to_char(p.data_pedido, 'YYYY-MM') <> to_char(pg.data_pagamento, 'YYYY-MM') +ORDER BY p.id; + +-- Passo 2: o detalhe dos dois pedidos e o horário de todos os pedidos. +SELECT p.id AS pedido_id, c.nome AS cliente, p.vendedor_id, p.data_pedido, p.status, p.valor_total +FROM pedidos p +JOIN clientes c ON c.id = p.cliente_id +WHERE p.id IN (14, 15) +ORDER BY p.id; + +SELECT + COUNT(*) FILTER (WHERE extract(hour FROM data_pedido) BETWEEN 8 AND 20) AS pedidos_entre_8h_e_20h, + COUNT(*) FILTER (WHERE extract(hour FROM data_pedido) NOT BETWEEN 8 AND 20) AS pedidos_fora_desse_horario, + string_agg(id::text, ', ' ORDER BY id) FILTER (WHERE extract(hour FROM data_pedido) NOT BETWEEN 8 AND 20) AS quais +FROM pedidos; + +-- Passo 3: o intervalo entre pedido e pagamento, antes e depois de +-- descontar as 3 horas do fuso. +SELECT + p.id AS pedido_id, + pg.data_pagamento - p.data_pedido AS diferenca_gravada, + pg.data_pagamento - (p.data_pedido - interval '3 hours') AS diferenca_corrigida +FROM pedidos p +JOIN pagamentos pg ON pg.pedido_id = p.id AND pg.status = 'aprovado' +WHERE pg.data_pagamento < p.data_pedido +ORDER BY p.id; + +-- Passo 4: detecção final (mesma query de deteccao.sql). +SELECT + p.id AS pedido_id, + p.data_pedido AS data_pedido_gravada, + pg.data_pagamento, + pg.data_pagamento - p.data_pedido AS diferenca_gravada, + p.data_pedido - interval '3 hours' AS data_pedido_em_brasilia, + pg.data_pagamento - (p.data_pedido - interval '3 hours') AS diferenca_corrigida +FROM pedidos p +JOIN pagamentos pg ON pg.pedido_id = p.id AND pg.status = 'aprovado' +WHERE pg.data_pagamento < p.data_pedido + AND pg.data_pagamento - (p.data_pedido - interval '3 hours') + BETWEEN interval '0 minutes' AND interval '30 minutes' +ORDER BY p.id; + +-- Passo 5: causa raiz — o tipo das colunas de data. +SELECT table_name, column_name, data_type +FROM information_schema.columns +WHERE table_name IN ('clientes', 'pedidos', 'pagamentos') + AND data_type LIKE 'timestamp%' +ORDER BY table_name, column_name; + +-- Passo 6: impacto — vendas por mês (pela data do pedido), como estão e +-- com a data dos dois pedidos corrigida para Brasília. +WITH corrigido AS ( + SELECT + id, + valor_total, + CASE WHEN id IN (14, 15) THEN data_pedido - interval '3 hours' ELSE data_pedido END AS data_pedido + FROM pedidos +) +SELECT + m.mes, + (SELECT SUM(valor_total) FROM pedidos WHERE to_char(data_pedido, 'YYYY-MM') = m.mes) AS vendas_como_estao, + (SELECT SUM(valor_total) FROM corrigido WHERE to_char(data_pedido, 'YYYY-MM') = m.mes) AS vendas_corrigidas +FROM (VALUES ('2026-01'), ('2026-02')) AS m(mes) +ORDER BY m.mes; diff --git a/investigacoes/09-fuso-horario/resultado-esperado.json b/investigacoes/09-fuso-horario/resultado-esperado.json new file mode 100644 index 0000000..895e76f --- /dev/null +++ b/investigacoes/09-fuso-horario/resultado-esperado.json @@ -0,0 +1,59 @@ +[ + { + "consulta": 1, + "colunas": ["pedido_id","data_pedido","data_pagamento","mes_do_pedido","mes_do_pagamento","valor_total"], + "linhas": [ + ["14","2026-02-01 01:30:00","2026-01-31 22:35:00","2026-02","2026-01","99.90"], + ["15","2026-02-01 02:10:00","2026-01-31 23:15:00","2026-02","2026-01","49.90"] + ] + }, + { + "consulta": 2, + "colunas": ["pedido_id","cliente","vendedor_id","data_pedido","status","valor_total"], + "linhas": [ + ["14","Gabriela Dias Ramos",null,"2026-02-01 01:30:00","entregue","99.90"], + ["15","Diego Alves Pereira",null,"2026-02-01 02:10:00","confirmado","49.90"] + ] + }, + { + "consulta": 3, + "colunas": ["pedidos_entre_8h_e_20h","pedidos_fora_desse_horario","quais"], + "linhas": [ + ["13","2","14, 15"] + ] + }, + { + "consulta": 4, + "colunas": ["pedido_id","diferenca_gravada","diferenca_corrigida"], + "linhas": [ + ["13","-2 days","-1 days -21:00:00"], + ["14","-02:55:00","00:05:00"], + ["15","-02:55:00","00:05:00"] + ] + }, + { + "consulta": 5, + "colunas": ["pedido_id","data_pedido_gravada","data_pagamento","diferenca_gravada","data_pedido_em_brasilia","diferenca_corrigida"], + "linhas": [ + ["14","2026-02-01 01:30:00","2026-01-31 22:35:00","-02:55:00","2026-01-31 22:30:00","00:05:00"], + ["15","2026-02-01 02:10:00","2026-01-31 23:15:00","-02:55:00","2026-01-31 23:10:00","00:05:00"] + ] + }, + { + "consulta": 6, + "colunas": ["table_name","column_name","data_type"], + "linhas": [ + ["clientes","data_cadastro","timestamp without time zone"], + ["pagamentos","data_pagamento","timestamp without time zone"], + ["pedidos","data_pedido","timestamp without time zone"] + ] + }, + { + "consulta": 7, + "colunas": ["mes","vendas_como_estao","vendas_corrigidas"], + "linhas": [ + ["2026-01","1439.20","1589.00"], + ["2026-02","779.60","629.80"] + ] + } +] diff --git a/scripts/validate.js b/scripts/validate.js index 374202a..2c0e84d 100644 --- a/scripts/validate.js +++ b/scripts/validate.js @@ -54,10 +54,13 @@ const CHECKS = [ esperadoQuebrado: 3, }, { + // 3 na massa quebrada: o pagamento 10 (investigação 04) e os pagamentos + // dos pedidos 14 e 15, que parecem anteriores ao pedido por causa do + // fuso horário (investigação 09). label: 'datas implausíveis (fora da ordem cadastro → pedido → pagamento, ou no futuro)', sql: readDeteccao('04-data-invalida'), esperadoValido: 0, - esperadoQuebrado: 1, + esperadoQuebrado: 3, }, { label: 'pagamentos aprovados registrados em duplicidade', @@ -84,6 +87,12 @@ const CHECKS = [ esperadoValido: 0, esperadoQuebrado: 1, }, + { + label: 'pedidos gravados em UTC no lugar do horário de Brasília', + sql: readDeteccao('09-fuso-horario'), + esperadoValido: 0, + esperadoQuebrado: 2, + }, { // 1 na massa quebrada: o pedido 10 tem valor_total e nenhum item. label: 'pedidos com total diferente da soma dos itens', diff --git a/sql/01_schema.sql b/sql/01_schema.sql index c955a4e..19753d9 100644 --- a/sql/01_schema.sql +++ b/sql/01_schema.sql @@ -3,7 +3,7 @@ -- bastante pra sustentar os tipos de defeito investigados neste projeto -- (duplicidade, FK órfã, status inconsistente, data inválida, pagamento em -- duplicidade, valores de mentira em campos obrigatórios, texto com --- codificação quebrada, duplicidade aproximada). +-- codificação quebrada, duplicidade aproximada, fuso horário misturado). -- Similaridade de texto por trigramas, usada para achar nomes parecidos -- (investigação 08). Vem com o PostgreSQL (módulo contrib). diff --git a/sql/03_seed_quebrado.sql b/sql/03_seed_quebrado.sql index 6a18772..069489e 100644 --- a/sql/03_seed_quebrado.sql +++ b/sql/03_seed_quebrado.sql @@ -1,4 +1,4 @@ --- Introduz, de propósito, os 8 tipos de defeito investigados neste projeto. +-- Introduz, de propósito, os 9 tipos de defeito investigados neste projeto. -- Cada bloco está comentado com o cenário real que ele simula. Execute -- depois de 01_schema.sql + 02_seed_valido.sql. @@ -135,3 +135,30 @@ VALUES ('Consutoria avulsa - hora', 150.00, 'Serviço'); UPDATE itens_pedido SET produto_id = currval('produtos_id_seq') WHERE pedido_id = 13; -- A consultoria do pedido 13 foi lançada no produto duplicado. + +-- ===================================================================== +-- DEFEITO 9: Fuso horário misturado na mesma coluna +-- Cenário real: o site grava datas no horário de Brasília (UTC-3), mas o +-- app de celular, lançado em janeiro, grava data_pedido em UTC. A coluna +-- é "timestamp without time zone", então o banco não sabe de que fuso é +-- cada valor. O gateway de pagamento continua gravando em hora local. +-- Dois pedidos feitos pelo app na noite de 31/01 (22:30 e 23:10 em +-- Brasília) ficaram gravados como 01/02 (01:30 e 02:10, em UTC). Pedido +-- pelo app não passa por vendedor, por isso vendedor_id fica vazio. +-- ===================================================================== +INSERT INTO pedidos (cliente_id, vendedor_id, data_pedido, status, valor_total) +VALUES (7, NULL, '2026-02-01 01:30:00', 'entregue', 99.90); +INSERT INTO itens_pedido (pedido_id, produto_id, quantidade, preco_unitario) +VALUES (currval('pedidos_id_seq'), 2, 1, 99.90); +INSERT INTO pagamentos (pedido_id, valor, data_pagamento, status) +VALUES (currval('pedidos_id_seq'), 99.90, '2026-01-31 22:35:00', 'aprovado'); + +INSERT INTO pedidos (cliente_id, vendedor_id, data_pedido, status, valor_total) +VALUES (4, NULL, '2026-02-01 02:10:00', 'confirmado', 49.90); +INSERT INTO itens_pedido (pedido_id, produto_id, quantidade, preco_unitario) +VALUES (currval('pedidos_id_seq'), 1, 1, 49.90); +INSERT INTO pagamentos (pedido_id, valor, data_pagamento, status) +VALUES (currval('pedidos_id_seq'), 49.90, '2026-01-31 23:15:00', 'aprovado'); +-- Nos dois, o pagamento (hora local) parece ter acontecido 2h55 ANTES do +-- pedido (UTC): são as 3 horas do fuso menos os 5 minutos normais de +-- aprovação. diff --git a/validacoes/README.md b/validacoes/README.md index 0b1fbc6..9d3b816 100644 --- a/validacoes/README.md +++ b/validacoes/README.md @@ -1,6 +1,6 @@ # Validações de consistência de valores -Regras sobre os **valores** de pedidos, itens e pagamentos que não fazem parte dos 8 defeitos investigados, mas que o `npm run validate` confere a cada execução (e a CI, a cada pull request). Cada arquivo é uma query que lista os registros que quebram a regra. +Regras sobre os **valores** de pedidos, itens e pagamentos que não fazem parte dos 9 defeitos investigados, mas que o `npm run validate` confere a cada execução (e a CI, a cada pull request). Cada arquivo é uma query que lista os registros que quebram a regra. | Arquivo | Regra | Massa válida | Massa quebrada | |---|---|---|---|