Fala pessoal, fiz um post mais detalhado sobre a experiência de construir o pipeline e algumas lições aprendidas. Espero que ajude de alguma forma.

https://dev.to/caiopizzol/como-processar-7gb-de-dados-cnpj-com-python-arquitetura-e-decisoes-tecnicas-54d0