Depende muito de como vem os dados, por mais antigo que possa parecer, tenho analises que usam PERL e geram saidas em CSV e leem ótimas quantidades de dados, de logs variados e possui ótimas performances.....
Em resposta a Uma dúvida sobre trabalhar com dados.
1