Comentários · Página 1 · ethi

"uso docker em 99% dos meus projetos, inclusive implementei ele na empresa que estou atualmente, e usando o swarm que dizem estar morto e obsoleto a pelo menos 6 anos. e funciona muito bem. atualmente com 27 servidores (não todos no mesmo swarm) rodando..."

· 0 comentário · ·

"dúvida de leigo: como vc construiu o modelo? acabo usando e lidando com IA diariamente e já até rodei modelos LLM localmente, mas nunca fui atrás de como construir um modelo."

· 1 comentário · ·

"muito interessante seu comentário. realmente é uma solução robusta. vou estudar sobre essa ideia pra implementações futuras em outros DBs. sobre o insert em bulk que vc mencionou, tive que fazer algo similar no PostgreSQL antes. também deixava acumular..."

· 0 comentário · ·

"opa, obrigado pelo comentário. sobre os workers, eles enviavam paralelamente sem sincronismo, eram independentes. o PostgreSQL que lidava com os inserts pra organizar, inclusive isso foi um problema quando tentei implementar um indice de unicidade pra..."

· 2 comentários · ·

"UAU, 😁, obrigado pela honra."

· 0 comentário · ·

"muito obrigado por acompanhar 😁"

· 0 comentário · ·

"obrigado pelo apoio 😁 também foi uma surpresa pra mim testar e usar o clickhouse em produção."

· 0 comentário · ·

"opa, não conhecia esse spark, vlw pela dica, vou ja estudar sobre."

· 0 comentário · ·

"opa, muito obrigado pelas dicas. mudei de MergeTree pra replacingMergeTree porque os dados que estou manipulando possuem duplicações e quero remover isso na medida do possível. tanto que depois de migrar pra essa engine, a contagem reduziu de 44bi pra..."

· 0 comentário · ·

"opa, muito obrigado pelas dicas. irei analisar com calma se funcionam. mas o processo de mover os dados de uma tabela pra outra acabou funcionando depois que usei o clickhouse-client direto no terminal. com ele eu consegui descobrir o erro, era um prob..."

· 0 comentário · ·

"opa, obrigado pela dica, uso script em js pra fazer migrações entre DBs, mas o clickhouse em específico não se encaixa no padrão que usei ate então. sobre a parada, descobri que era um problema paralelo. no meu arranjo atual tenho 1 tabela principal on..."

· 1 comentário · ·

"opa, obrigado pelo comentário. gosto de aprender na prática sobre ferramentas e sistemas, imagino que seja assim que um profissional capacitado se forme, aprendendo com erros e enfrentando problemas. sobre o clickhouse, realmente é oque voce disse, pra..."

· 0 comentário · ·

"Boa sorte irmão. Migrei pra JS e foi onde me encontrei. Espero que sua evolução seja gratificante."

· 0 comentário · ·

"opa, obrigado pelo comentário. não cheguei a procurar mais a fundo sobre essas funcionalidades do clickhouse como o wire protocol. ate vasculhei rapidamente as docs do DB mas fiquei só na parte de tabelas e consultas. gosto mais de criar a solução pers..."

· 0 comentário · ·

"escritas concorrentes são problema ate num DB parrudo como PostgreSQL. na empresa onde trabalho o maior DB recebe 600-700 milhões de inserts por dia. só um sistema de fila com alta taxa de ingestão de dados pra dar conta pra depois ir inserindo no DB c..."

· 0 comentário · ·

"opa, muito obrigado 😁 to me divertindo compartilhando essa experiência com o clickhouse. fico feliz em saber que tem gente gostando."

· 0 comentário · ·

"Muito obrigado pelo apoio haha. Tambem estou muito animado com essa saga já recebi aval do meu chefe pra seguir com a migração pra produção, então pretendo compartilhar mais oque deu certo e as dificuldades do processo."

· 0 comentário · ·

"kkkk também me senti assim quando peguei pra trabalhar com esse DB. na epoca tava com 5tb. foi um susto ver essa quantidade de dados em um DB."

· 0 comentário · ·

"uso um projeto de DB chamado pocketbase. e ele transforma o SQLite em um DB online com api e diversas outras funções como autenticação (com integrações com vários servicos como google, meta, Github), controle de autorização de acesso pra dados por usuá..."

· 0 comentário · ·

"ahh sim, entendi. vi isso no clickhouse também, tem essa compatibilidade com MySQL e PostgreSQL. muito interessante. vou dar uma olhada e fazer alguma comparação"

· 0 comentário · ·

"mas o questDB seria um client do PostgreSQL? nao entendi essa lógica de usar a mesma conexão"

· 2 comentários · ·

"opa, ainda nao, seria o mesmo propósito? segui pro clickhouse por conta de um post no blog do posthog em relação a essa migração."

· 4 comentários · ·

"entendi, nesse caso o duckdb seria pra vc analisar localmente esses dados ne? ai nao me atenderia, pois preciso de um DB online em um servidor pra que as APIs consumam esses dados pra exibir em dashboards de clientes. imagino que possa ser o mesmo pra..."

· 1 comentário · ·

"tentei estudar sobre duckdb, mas nao pareceu que iria me atender. pelo oque eu entendi, o duck DB não chega a ser um DB (me corrija se eu estiver errado), me pareceu ser uma ferramenta de análises de grandes dados. e oque eu estou precisando é de um DB..."

· 0 comentário · ·

"hahaha, realmente esperava uma queda nas consultas. e de fato inicialmente teve. tanto que o meu primeiro teste com um DB menor (57gb) as consultas gerais ficaram em media 2x mais lentas do que em comparação com o timescale DB. mas porque? estudando ma..."

· 0 comentário · ·

"seria interessante mesmo. mas poderia me explicar melhor sobre o duck DB? ate vi algumas comparações dele com o clickhouse, mas o duck DB me pareceu um SQLite colunar, então nao sei se atenderia a demanda nesse meu caso."

· 3 comentários · ·

"eu acredito que uns 30% porque esse DB PostgreSQL foi recriado tem menos de 1 mes. o DB anterior, também PostgreSQL, tinha 5tb mas tinha um esquema diferente, recriamos o DB e modificamos o particionamento dele pra melhorar as consultas e com isso ele..."

· 0 comentário · ·

"UAU. lendo seu comentario me interessei mais ainda sobre esse DB. me parece algo muito incrivel e pouco divulgado hahaha. gostei bastante de seus exemplos, nao tinha conhecimento dessas diferenças. em especifico sobre como deduplicar linhas. poderia me..."

· 3 comentários · ·

"Cara, ate o momento, só identifiquei detalhes mínimos, como ter que refazer as consultas pra tirar máximo proveito do clickhouse e de como ele opera. atualmente a API que fornece os dados do DB esta adaptada pra puxar linhas brutas, mas como o clickhou..."

· 0 comentário · ·

"gosto do PostgreSQL mas não tenho apego não kkkk é só costume mesmo. agora um DB que tenho um apreço é o SQLite kkkk muito prático de usar em projetos rápidos. inclusive uso em um sistema meu como DB online. kkkk mas gosto de conhecer soluções novas, s..."

· 1 comentário · ·