Executando verificação de segurança...
2

🧠 Como um arquivo CSV de 150 mil linhas me fez quebrar um padrão no trabalho

No meu trabalho, faço análises repetitivas usando dados públicos.
Todo dia o mesmo ritual: pegar CNPJ → acessar site → verificar autorizações → repetir.
Até que pensei:
“Por que eu faço isso manualmente se posso resolver com Python?”
A partir daí:
descobri os CSVs no portal de dados abertos
lidei com encodings malucos
detectei separadores automaticamente
e transformei tudo em um fluxo muito mais eficiente usando o formato Parquet
Agora meu script:
✔ verifica o arquivo uma única vez
✔ converte automaticamente para Parquet
✔ faz consultas instantâneas
✔ e evita processamento desnecessário todos os dias
Meu próximo passo?
Automatizar o download semanal e deixar tudo 100% hands-free.
Audácia pura. 😄

Se você já passou por algo parecido ou tem uma solução ainda melhor, comenta aí — vou adorar trocar ideias! 👇

Carregando publicação patrocinada...
2

Eu tbm criei uma aplicação python que pega os arquivos da receita e importa para o PostgreSQL. Eu fiz o processo de forma a não travar o computador, ou seja, consigo usar enquanto processa os dados e faço todo o tratamento de dados no python.

1

Que legal valterpatrick,

Eu ainda sou aprendiz, e confesso que desde que comecei a aprender a programar foi a minha primeira aplicação realmente aplicada à minha rotina, acredite, estou orgulhoso!
E a tua ideia é maravilinda!

Meu próximo passo é atualizar os CSVs todas às segundas feiras automaticamente quando ligo o computador para trabalhar e vou querer aprender como faz tudo em segundo plano, assim como você fez.
Parabéns!

3

Acho melhor pensar em fazer uma api supabase ou python mesmo com o PostgreSQL contendo os dados de CNPJ e várias rotas.
Spoiler, o banco pode chegar a quase 100gb dependendo da forma que fizer

2