Seria uma consultoria que configura um ecossistema de LLM self-hosted um bom modelo de negócio?

Somente se surgirem bons modelos open source

O quer sinceramente eu acho muito difícil.

Existe uma barreira muito grande hoje entre modelos open e privados, e lembro que ouvi recentemente uma publicaćão no Medium:

"Se você não paga o melhor plano você está 2 anos atrasado"

Depois disso fui fazer meu próprio teste: Paguei GPT plus e realmente a diferenća foi gritante, Pago copilot pro (agora pro +) desde o lançamento e temos que concordar que opus 4.6 e GPT 5.4 estão em outro nível.

A maior pergunta é: Os modelos open source vão chegar perto desses grandes modelos? e o custo para manter uma infra local vai compensar?

Estamos falando em milhões de investimento para uma equipe média.

Para manter LLM rodando em um desempenho aceitável não é só comprar uma 5090 e tá tudo certo, são múltiplas H100.

Só existia uma loja que vendia isso no brasil, é uma placa de 300k e está esgotada nesse momento

Montar um servidor com 8 a 12 dessas?

Só vejo um cenário onde isso compensaria: Toda a bolha da IA estourasse, investimento em IA travado, assinatura de GPT sobe de 100/mes para alguns milhares, é um cenário quase apocalíptico

E lembre, servidores tem uma vida útil de 5 a 8 anos.

só vou ficar confortável quando o cenário open source de LLMs tiver uma ferramenta suficiente pra que qualquer empresa possa utilizar seu próprio setup de LLMs, sem PRECISAR depender de terceiros.

Então eu sinceramente acredito que esse cenário seja inviável, pelo menos em curto a médio prazo.

Notícia boa no fim do túnel

Em vez de tentar ajudar as empresas a trazerem a IA na sua infraestrutura já pensou em se especializar em ajudar essas empresas a utilizarem a IA? 90% das empresas ainda não sabe que bixo é esse, acham que é só um google caro.