3
felipemoreira
1 min de leitura ·

Se a bolha da IA estourar, vale a pena a empresa comprar GPU para rodar modelo local?

O futuro da IA na programação: Modelos locais, custos de infraestrutura e o mercado para humanos

Fala-se muito sobre a sustentabilidade financeira das grandes empresas de tecnologia. Os custos de infraestrutura são altíssimos, os prejuízos com modelos de ponta chegam aos bilhões e a dependência de capital de risco é enorme. Ao mesmo tempo, existe o debate sobre uma possível bolha. Se essa bolha estourar e as grandes empresas quebrarem, surge a alternativa de migrar para modelos locais.

Seria financeiramente viável para uma empresa comum comprar hardware dedicado para rodar modelos de IA locais para auxiliar no desenvolvimento de software?

Alguns pontos para analisar:

  • Custo de Hardware: modelos de ponta exigem poder de processamento caro.
  • Retorno sobre o Investimento e Obsolescência: o equipamento se paga antes de ficar defasado, considerando a velocidade com que a área evolui?
  • Impacto no Mercado: se a infraestrutura local se mostrar inviável ou a bolha estourar, a demanda por programadores humanos vai subir de novo?

Como vocês veem esse equilíbrio entre custo de hardware local, dependência de APIs de terceiros e o futuro da profissão de desenvolvedor?

Carregando publicação patrocinada...
1

Se a bolha estourar, some o acesso ao modelo de ponta, mas os pesos abertos que você já baixou continuam rodando.

Só que eu acho que vale comprar mesmo sem bolha. Segurança. Código-fonte e dado de cliente que não podem sair da empresa não vão pra API de ninguém, e aqui no Japão tem empresa grande estudando modelo local justamente por isso.

Eu tenho uma RTX 4070 de 12 GB em casa pro trabalho mecânico, tipo resumo e tradução de rascunho, e deixo decisão e revisão de código no modelo pago.

Quando ela fica parada, empresto pra um serviço de GPU compartilhada, porque alguém tem que usar ela mais do que eu.

1

Não precisa comprar, tem GPU Cloud com bons preços. Em torno de U$2/hora pra uma máquina razoavelmente boa. Pra quem tá começando ainda, vale muito a pena. E a depreciação de qualquer desses hardwares tá muito alta, em virtude dos lançamentos contínuos. Qualquer placa fica obsoleta em menos de 4 anos.

Não sou especialista em finanças, mas a questão da bolha não é o alto valor especulativo, sem valor real? Porque no caso da IA, a demanda é muito alta. E se qualquer dessas empresas quebrarem, serão imediatamente compradas pelas grandes big-techs. A demanda por IA só vai aumentar; acho que ainda vai ter muito investidor ou big-tech financiando essa brincadeira. E a fofoca da vez é que a NVidia comprou HuggingFace só pro FBI/DOJ não estragar a brincadeira deles, investigando a invasão dos modelos da OpenIA.