parabens pelo post man, simples e claro, usando uma stack resumida e sem firulas.
falta mais disso no mercado, muita gente acaba acostumando a usar só soluções prontas e produtos de terceiros e esquece de aprender o básico de infraestrutura.
vi que indicaram migrar pra duckDB. Mas eu diria pra vc testar o clickhouse.
mas ai vai depender da natureza das consultas, porque clickhouse não é amigável com alterações de dados.
mas imagino que pra sua aplicação, um DB colunar atenda melhor.
fiz uma migração de um DB PostgreSQL pra clickhouse e consegui reduzir 5tb pra 300gb.
ate documentei isso aqui no tabnews na época, clickhouse tem uma compactação absurda e velocidade alta pra queries de agregação.