Executando verificação de segurança...
1

Cara, ate o momento, só identifiquei detalhes mínimos, como ter que refazer as consultas pra tirar máximo proveito do clickhouse e de como ele opera.

atualmente a API que fornece os dados do DB esta adaptada pra puxar linhas brutas, mas como o clickhouse se dá melhor com contagens, somas e agrupamentos de dados, estou precisando mudar algumas funções pra já esperar isso direto do DB. antes essas agregações eram feitas na aplicação (por conta de desempenho mesmo), mas agora vão ser feitas no DB (que é até o ideal de ser feito)

outra coisa que precisei fazer pra adaptar o clickhouse pra demanda do sistema:
criar Views materializdas que compilam os dados no momento do insert e adicionam em outras tabelas.

ja havia tentado fazer isso com timescale DB (plugin do PostgreSQL pra séries temporais) mas não tinha ficado bom e tava puxando demais das CPUs por conta do alto volume de inserts.
já no clickhouse isso não gerou quase nada de carga extra nos inserts.
fiz inserts de 1-2M de uma vez e o DB deu conta tranquilamente.

Carregando publicação patrocinada...