Boa! parabéns pela solução, para dica e aprendizado: da uma olhada na utilização de polars ou duckdb no lugar do pandas, vai ter ganhos consideráveis na velocidade de processamento.

E como mesmo falou também, fazer esses processamentos direto no SQL economiza algumas etapas desse processo.