"opa, obrigado pela dica, uso script em js pra fazer migrações entre DBs, mas o clickhouse em específico não se encaixa no padrão que usei ate então. sobre a parada, descobri que era um problema paralelo. no meu arranjo atual tenho 1 tabela principal on..."1 tabcoin · 1 comentário · ethi · 1 ano atrás
"opa, obrigado pelo comentário. gosto de aprender na prática sobre ferramentas e sistemas, imagino que seja assim que um profissional capacitado se forme, aprendendo com erros e enfrentando problemas. sobre o clickhouse, realmente é oque voce disse, pra..."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"Boa sorte irmão. Migrei pra JS e foi onde me encontrei. Espero que sua evolução seja gratificante."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"opa, obrigado pelo comentário. não cheguei a procurar mais a fundo sobre essas funcionalidades do clickhouse como o wire protocol. ate vasculhei rapidamente as docs do DB mas fiquei só na parte de tabelas e consultas. gosto mais de criar a solução pers..."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"escritas concorrentes são problema ate num DB parrudo como PostgreSQL. na empresa onde trabalho o maior DB recebe 600-700 milhões de inserts por dia. só um sistema de fila com alta taxa de ingestão de dados pra dar conta pra depois ir inserindo no DB c..."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"opa, muito obrigado 😁 to me divertindo compartilhando essa experiência com o clickhouse. fico feliz em saber que tem gente gostando."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"Muito obrigado pelo apoio haha. Tambem estou muito animado com essa saga já recebi aval do meu chefe pra seguir com a migração pra produção, então pretendo compartilhar mais oque deu certo e as dificuldades do processo."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"kkkk também me senti assim quando peguei pra trabalhar com esse DB. na epoca tava com 5tb. foi um susto ver essa quantidade de dados em um DB."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"uso um projeto de DB chamado pocketbase. e ele transforma o SQLite em um DB online com api e diversas outras funções como autenticação (com integrações com vários servicos como google, meta, Github), controle de autorização de acesso pra dados por usuá..."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"ahh sim, entendi. vi isso no clickhouse também, tem essa compatibilidade com MySQL e PostgreSQL. muito interessante. vou dar uma olhada e fazer alguma comparação"1 tabcoin · 0 comentário · ethi · 1 ano atrás
"mas o questDB seria um client do PostgreSQL? nao entendi essa lógica de usar a mesma conexão"1 tabcoin · 2 comentários · ethi · 1 ano atrás
"opa, ainda nao, seria o mesmo propósito? segui pro clickhouse por conta de um post no blog do posthog em relação a essa migração."1 tabcoin · 4 comentários · ethi · 1 ano atrás
"entendi, nesse caso o duckdb seria pra vc analisar localmente esses dados ne? ai nao me atenderia, pois preciso de um DB online em um servidor pra que as APIs consumam esses dados pra exibir em dashboards de clientes. imagino que possa ser o mesmo pra..."2 tabcoins · 1 comentário · ethi · 1 ano atrás
"tentei estudar sobre duckdb, mas nao pareceu que iria me atender. pelo oque eu entendi, o duck DB não chega a ser um DB (me corrija se eu estiver errado), me pareceu ser uma ferramenta de análises de grandes dados. e oque eu estou precisando é de um DB..."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"hahaha, realmente esperava uma queda nas consultas. e de fato inicialmente teve. tanto que o meu primeiro teste com um DB menor (57gb) as consultas gerais ficaram em media 2x mais lentas do que em comparação com o timescale DB. mas porque? estudando ma..."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"seria interessante mesmo. mas poderia me explicar melhor sobre o duck DB? ate vi algumas comparações dele com o clickhouse, mas o duck DB me pareceu um SQLite colunar, então nao sei se atenderia a demanda nesse meu caso."1 tabcoin · 3 comentários · ethi · 1 ano atrás
"eu acredito que uns 30% porque esse DB PostgreSQL foi recriado tem menos de 1 mes. o DB anterior, também PostgreSQL, tinha 5tb mas tinha um esquema diferente, recriamos o DB e modificamos o particionamento dele pra melhorar as consultas e com isso ele..."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"UAU. lendo seu comentario me interessei mais ainda sobre esse DB. me parece algo muito incrivel e pouco divulgado hahaha. gostei bastante de seus exemplos, nao tinha conhecimento dessas diferenças. em especifico sobre como deduplicar linhas. poderia me..."1 tabcoin · 3 comentários · ethi · 1 ano atrás
"Cara, ate o momento, só identifiquei detalhes mínimos, como ter que refazer as consultas pra tirar máximo proveito do clickhouse e de como ele opera. atualmente a API que fornece os dados do DB esta adaptada pra puxar linhas brutas, mas como o clickhou..."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"gosto do PostgreSQL mas não tenho apego não kkkk é só costume mesmo. agora um DB que tenho um apreço é o SQLite kkkk muito prático de usar em projetos rápidos. inclusive uso em um sistema meu como DB online. kkkk mas gosto de conhecer soluções novas, s..."2 tabcoins · 1 comentário · ethi · 1 ano atrás
"opa, obrigado pelo comentário. sobre a sua pergunta do tamanho da tabela com os índices, fiz uma analise de tamanho usando o PG hero, ele mostra os tamanhos das tabelas de dados e dos índices de forma separada, então esse tamanho é so dos dados. nao du..."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"opa, obrigado pelo comentário. estou fazendo testes no clickhouse, mas não na versão cloud, estou usando a versão opensource em um servidor próprio. sobre os dados, são dados de métricas pros clientes. temos algumas dashboards no sistema que são usadas..."1 tabcoin · 0 comentário · ethi · 1 ano atrás
"opa, obrigado pelo comentário. sobre o timescale, começamos a usar ele aqui na empresa em tabelas menores. pra tabelas com menos de 1bi de dados ele se sai incrivelmente bem. sobre os custos com clickhouse, estou usando a versão opensource instalada em..."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"opa. obrigado pelo comentario. sobre o postgres. a empresa ate contratou consultoria sobre isso. inclusive foi a forma de otimizar o DB pra suprir as necessidades atuais. mas como a demanda é crescente, o DB esta dando sinais de sobrecarga. mexemos em..."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"por algum motivo esse teu comentário me pareceu ser redigido por IA."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"uso sqlite no meu micro-saas (não demanda muitas requisições nem muitos dados) utilizo um "DB" chamado pocketbase. é um projeto que fornece um db em sqlite, um painel admin e controle de autenticação, autorização, realtime db, entre outros. me atende s..."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"contabo é pra quem quer dor de cabeça. participo de um grupo onde tem um pessoal que hospeda alguns SaaS de automação de whatsapp, então os servidores precisam estar on 24h. e geral detesta a contabo. suporte porco. servidores com variação de desempenh..."2 tabcoins · 0 comentário · ethi · 1 ano atrás
"tenho contato diario com muitos devs e donos de saas ou serviços que dependem de bons servidores, e é unânime o odio pela contabo kkkk servidores que param de funcionar do nada, suporte pobre, falta de transparência quanto a real disponibilidade de har..."4 tabcoins · 1 comentário · ethi · 1 ano atrás
"fiz algo semelhante aqui na empresa onde estou. a ingestão de dados é alta e o db não tava dando conta. então implementei o apache kafka pra receber todo esse volume de dados e depois alguns consumidores irem lendo do kafka e inserindo no db. tentei us..."1 tabcoin · 1 comentário · ethi · 2 anos atrás