Executando verificação de segurança...
Em resposta a Reduzi um DB de 52gb para 4.5gb! PostgreSQL -> Clickhouse
4
chseki

Fiquei curioso sobre os detalhes da quest de tentar "fazer acontecer no PostgreSQL", recentemente no meu trampo atual saimos de Mongo para TimescaleDB com ~4TB de dados, e com queries "OLAP like" com tempo de resposta na casa dos 10/50ms (não vou mentir mas temos spikes de 200/500ms kkk), nessa quest além do que você já comentou fomos fundo nas configurações do postgres, que são bem conservadoras por default, work_mem, checkpoint_timeout, max_wal_size, fora o que ainda não descobrimos e a lista vai longe... Dependendo do padrão de write/read do seu workload, tunar essas configs faz uma diferença enorme.

Boa sorte na proxima quest com o banco de 7tb, não deixe de postar aqui o resultado xD. E Não conhecia o ClickHouse, sua experiência me chamou a atenção vou dar uma estudada!

ps: Tbm não sou expert mas minha calvice já acentuou uns 2cm trabalhando com PostgreSQL ao longo desses anos.

Carregando publicação patrocinada...
2
ethi

opa. obrigado pelo comentario.
sobre o postgres. a empresa ate contratou consultoria sobre isso. inclusive foi a forma de otimizar o DB pra suprir as necessidades atuais. mas como a demanda é crescente, o DB esta dando sinais de sobrecarga.
mexemos em tudo. otimizando o postgres.conf. particionando as tabelas com base nos dados, e isso é oque está segurando por enquanto (até bem aliás).
mas tem momentos que o DB sobrecarrega, coisa de alguns segundos mas deixa todos os acessos lentos, e isso que quero resolver. Fora tambem esse volume crescente de disco que ta complicado de lidar.
a naturesa das consultas é sempre analitica, agregações, contagens e geração de relatorios com base nos dados (milhoes em cada consulta), então procurei uma alternativa boa pra isso e achei o clickhouse.
Espero que essa migração dê frutos pra eu voltar aqui no tabnews pra expor hahaha.

1