No module named 'pysus.utilities.readdbc'

[VieiraJardel]

Parece que o PySUS não contém mais o módulo utilities.readdbc. Estou tentando converter um arquivo .dbc para csv do datasus e ao tentar importar essa função surge essa mensagem de erro. Estou usando o colab.

[luabida]

Olá @VieiraJardel, poderias tentar o novo método de conversão de DBC para parquet? Após a conversão para Parquet, você pode usar o método to_dataframe(), depois consegues exportar para CSV com o pandas. Creio que a documentação dos ParquetSets ainda não tenha sido incluida

In [5]: from pysus.data.local import Data

In [6]: file = Data("/home/bida/pysus/ABMG1112.dbc")

In [7]: file # converte para Parquet
Out[7]: /home/bida/pysus/ABMG1112.parquet

In [8]: file.to_dataframe()
Out[8]:
    AP_MVM AP_CONDIC AP_GESTAO AP_CODUNI  ... AB_ANOACOM AB_PONTBAR AB_TABBARR AP_NATJUR
0   201112        PG    310620   0027049  ...       2             0          2
1   201112        PG    310620   0027049  ...                     1          3
2   201112        PG    310620   0027049  ...       05            1          3
3   201112        PG    310620   0027014  ...       04            1          4
4   201112        PG    310620   0027014  ...                     0          2
5   201112        PG    310620   0027049  ...                     1          3
6   201112        PG    310620   0027049  ...       02            1          3
7   201112        PG    310620   0027014  ...       01            1          4
8   201112        PG    310620   0027014  ...                     1          3
9   201112        PG    310620   0027014  ...                     1          4
10  201112        PG    310620   0027049  ...                     1          3
11  201112        PG    310620   0027014  ...                     1          4
12  201112        PG    310620   0027014  ...       03            1          2
13  201112        PG    310620   0027049  ...                     1          3
14  201112        PG    310620   0027014  ...                     0          3
15  201112        PG    310620   0027049  ...                     1          3
16  201112        PG    310620   0027014  ...                     1          3
17  201112        PG    310620   0027049  ...                     1          3
18  201112        PG    310620   0027049  ...       08            1          3
19  201112        PG    310620   0027014  ...                     1          4
20  201112        PG    310620   0027014  ...                     1          2
21  201112        PG    310620   0027049  ...       03            1          3
22  201112        PG    310620   0027014  ...                     1          4
23  201112        PG    310620   0027014  ...                     1          4
24  201112        PG    310620   0027049  ...       02            0          1
25  201112        PG    310620   0027049  ...                     1          3

[26 rows x 58 columns]

In [9]: file.to_dataframe().to_csv("ABMG1112.csv")

[vinmaga]

Olá, luabida!

Eu possuo alguns arquivos armazenados localmente que foram lidos com o módulo antigo utilities.readdbc utilizando um readdbc(file, encoding="cp437") com a versao pysus==0.9.4.

Essa nova versão mais atual do pysus, utilizando o módulo from pysus.data.local import Data, não está mais permitidno que eu passe o parâmetro encoding desejado. Alguma sugestão ou possibilidade de o parâmetro encoding ser aplicável novamente?

Obrigado

[luabida]

Hey @vinmaga

O pyreaddbc é outro pacote que também é mantido pelo projeto, se quiser podes continuar utilizando o mesmo pacote para leitura de DBC sem problemas

[douglasArantes]

Existe uma maneira de apenas ler em memória (DataFrame) o conteúdo do dbf, sem gerar automaticamente um .parquet e sem apagar o arquivo .dbc original?

[luabida]

@douglasArantes Atualmente com o Pysus não é possível baixar o DBF sem converter para parquet no processo. Podemos discutir a implementação da possibilidade de download sem converter para parquet com o @fccoelho

[fccoelho]

@douglasArantes, Precisamos lembrar que o DBF é um formato intermediário na extração dos dados a partir do DBC que o DataSUS disponibiliza. O DBC Original pode ser acessado no FTP do DataSUS. O formato parquet é utilizado, por ser um formato mais moderno e compactado, usando apenas cerca de 10% do espaço em disco usado pelo DBF com os mesmos dados. Os arquivos parquet também podem ser utilizados diretamente por bancos analíticos com o DuckDB.

[luabida]

This issue won't be fixed in the FTP API due to the DBCs files provided by the FTP external data storage. But it contain workarounds, the best workaround if you strict want to download files from the FTP Client in Windows OS, is to use the docker image created for PySUS, as defined in the README.md. Besides that, the v2.0 of PySUS now pulls the already parsed as parquet files from our ducklake by default, so theres no need of using strict FTP downloads anymore if you only want the data within the files.