Obrigado pela contribuição, para esse caso dos pequenos arquivos eu criei uma chamada ao iniciar a aplicação que verifica a quantidade de arquivos parquet na pasta e se tiver mais de 100 ele consolida tudo num arquivão só, no meu caso o problema é so a limitação de infra mesmo, pois acredito que vai ter no máximo uns 15 usuários acessando simultaneamente a maioria para leitura, a minha ideia com isso é reduzir os excel de cada setor pois muito deles tem uma inteface comum.
Vi que o DuckDB tem um comportamento similar com arquivos csv, perderia performance mas seria algo mais similar para quem ja salva tudo em excel, abrir no excel seria normal.