[Open Source] CNPJ Data Pipeline – 60M+ de CNPJs no seu PostgreSQL sem dor de cabeça 🚀
Você já abriu os dumps da Receita e viu 21 GB de CSV em ISO-8859-1?
Eu também. Depois de travar uma VPS de 4 GB tentando importar linha por linha, escrevi um pipeline que faz o trabalho sujo por nós — e decidi liberar o código.
O que ele entrega
- Arquitetura modular — separa download, parsing e banco; fácil estender.
- PostgreSQL de primeira classe — placeholders para MySQL/BigQuery já no código.
- Estratégia inteligente — detecta sua RAM e escolhe
memory_constrained,high_memoryoudistributed. - Incremental por design — baixa só o que mudou, não reprocessa ZIP já marcado.
- Bulk-upsert via COPY — 10 × mais rápido que INSERT tradicional em nossos testes.
- Setup sem fricção —
python setup.pycria um.envotimizado; ou roda tudo em Docker.
Benchmarks de campo
| Máquina | RAM | Tempo p/ dump completo |
|---|---|---|
| VPS 4 GB | 4 GB | ~8 h |
| Notebook Dev | 16 GB | ~2 h |
| Server 64 GB+ | 64 GB | ~1 h |
Resultado processado:
- 63+ milhões de empresas
- 66+ milhões de estabelecimentos
- 26+ milhões de sócios
- ~29GB de banco PostgreSQL
Mãos à obra
git clone https://github.com/cnpj-chat/cnpj-data-pipeline
cd cnpj-data-pipeline
# modo interativo
python setup.py
# ou direto no Docker
docker-compose --profile postgres up --build
Vai pegar um café; quando voltar, seu banco terá 63M CNPJs prontos para query.
Exemplo de query
-- Startups de software abertas em SP nos últimos 3 anos
SELECT COUNT(*)
FROM estabelecimentos e
JOIN empresas emp ON e.cnpj_basico = emp.cnpj_basico
WHERE e.uf = 'SP'
AND e.cnae_fiscal_principal LIKE '62%' -- Software
AND e.data_inicio_atividade > CURRENT_DATE - INTERVAL '3 years'
AND emp.porte IN ('01', '03'); -- ME ou EPP
Como você pode ajudar
Conte nos comentários:
- Em que hardware rodou e quanto tempo levou?
- Que insights ou pain points de mercado você resolve com esse dataset?
- Sugestões de otimização ou novos back-ends?
- Encontrou algum bug?
Feedbacks e contribuições são sempre bem-vindos ❤️
Reflexão final
Planilhas públicas só geram valor quando viram infraestrutura de consulta.
Transformar dados brutos em SQL rápido é a ponte entre burocracia e inovação; cada melhoria nesse pipeline diminui o atrito para quem resolve problemas reais com software.