Dúvida sincera - Compensa investir pra rodar IA localmente ?

A questão é se você vai fazer dinheiro com essa IA, quanto dinheiro será gerado e como você pretende gerar dinheiro.

Dependendo do tipo de negócio, 2 anos é pouco tempo para alavancar uma empresa.

Imagino que vá criar uma empresa de software, usando IA para gerar código. Ou talvez uma empresa de análise de dados usando IA para gerar relatórios.

Em 2 anos, você deve ter o seu produto/serviço pronto já com alguns clientes, mesmo que não dando lucro.

Outra questão é: em 2 anos esse hardware vai estar obsoleto a ponto de não entregar ou somente não vai ser o mais atual?

Eu não investiria assim, a não ser que fosse aquele dinheiro que eu não tenho compromisso com ele. Um dinheiro sobrando (que eu não tenho, mas se fosse um investidor milionário eu teria). Um dinheiro que não teria problemas em perder, porque algo assim, pode não dar em nada. O risco é grande.

Compensa investir pra rodar IA localmente ?

Somente se você tiver uma demanda gigantesca para um modelo de entrada.

Para modelos de codificação, análise ou conversação não vale a pena

Meus 2 cents,

Existem algumas empresas que estao rodando IA localmente (com clusters de placas "baratas" como RTX) para atividades especificas (p.ex. TTS), mas como um complemento ao um sistema que eles ja tenham.

Traduzindo: a empresa tem um sistema que independe de IA (p.ex. ERP, callcenter, CRM) ja funcional e estabelecido, mas agrega um modulo de IA (como o TTS) como um diferencial, e isso acaba cobrindo as despesas com o cluster.

Agora, criar um cluster e tentar vender eh um bocado complicado: tem um investimento inicial razoavel e a incerteza de conseguir clientes baseado so na venda de 'tokens'.

Teve um post recente (uns 30 dias) vendendo este tipo de acesso - mas nao vi aderencia.

O que vejo como possibilidade hoje (mas a parte complexa eh grana inicial ate conseguir tracao): um sistema onde brasileiros possam contratar GPU de alta capacidade ou modelos mais avancados (que usam GPU cara) em sistema de "time-sharing" - ou seja, voce contrata os servicos (p.ex. https://vast.ai) e seus clientes sub-contratam tempo nestes cluster.

Tentar vencer por venda de tokens nao me parece muito viavel - o openrouter tem precos muito agressivos.

Mas existe um detalhe aqui: servicos baseado em tokens tem custo variavel (dependendo da quantidade consumida) e um servicos baseado em assinatura com custo fixo previsivel pode ser um diferencial importante.

Mas juntar questoes de LGPD (p.ex. um sistema de criptografico para transmissao ou mesmo um LLM privado) pode ser interessante.

Enfim, acho que existe um nicho pronto para ser explorado, mas demanda investimento e um marketing diferenciado.

Tem de ter aparencia e comunicacao de algo "coorporativo" e estavel - o que tenho visto da uma aparencia de "coloquei minha RTX para compartilhar enquanto leio HQ no banheiro" nao passa confianca nenhuma.

Saude e Sucesso !

---

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

Escrevi um pouco sobre esse assunto em https://uaiso-serious.github.io/infra/

Ia que presta pra rodar localmente é caro. Mas rodar chatbot que chama mcp com modelos llm pequenos como granite4 por exemplo é bem interessante.

Outro cenário é stable diffusion e outros modelos de geração de imagens ou tts são divertidos.

Nao tive boas experiências com geradores de código local com o hardware "fraco" que tenho, mas uma hora vão existir modelos llm pequenos e especificos. Exemplo um llm específico para java 21 e spring boot. Seria menor do que um genérico que sabe uma penca de linguagens e caberia em um hardware fraco.

Compensa investir pra rodar IA localmente
na casa dos 50k pra mais, pra começar a ficar interessante

Considerando um teto de gastos de R$ 50 mil e assumindo que estamos falando de inferência, a resposta simples é: não compensa para uso pessoal genérico.

Com algo nessa faixa, você provavelmente compraria uma GPU com cerca de 48 GB de VRAM, que é capaz de rodar alguma coisa boa localmente, principalmente modelos quantizados na faixa de 70B/72B, mas ainda fica muito longe dos modelos open-weight mais fortes.

Para comparação, modelos como o Kimi K2.6 estão na casa de 1T+ parâmetros, ainda que sejam MoE e ativem só uma fração por token. Uma única GPU de 48 GB não é o hardware certo para esse tipo de modelo.

Então, se a ideia é comprar um hardware para realizar a inferência localmente, não faz muito sentido economicamente. Tu estaria assumindo obsolescência, energia, ruído, manutenção, setup, depreciação e a qualidade ainda continuaria MUITO abaixo dos modelos de empresas como OpenAI e Anthropic.

Agora, se a ideia é gastar R$50k+ em GPU como investimento, o mais racional seria colocar essa porra pra alugar kkk.

Uma NVIDIA L40S, que no Brasil deve ficar na faixa de R60k a R75k+, pode ser alugada por algo perto de US$1/h, variando bastante por plataforma, região, disponibilidade e outras coisas.

Em uso 24/7 a US1/h, isso daria algo como **US720/mês de receita bruta**, sem considerar o custo energético, manutenção, refrigeração e todo o resto burocrático e técnico que eu não vou listar aqui kk.