Meus 2 cents,
Existem algumas empresas que estao rodando IA localmente (com clusters de placas "baratas" como RTX) para atividades especificas (p.ex. TTS), mas como um complemento ao um sistema que eles ja tenham.
Traduzindo: a empresa tem um sistema que independe de IA (p.ex. ERP, callcenter, CRM) ja funcional e estabelecido, mas agrega um modulo de IA (como o TTS) como um diferencial, e isso acaba cobrindo as despesas com o cluster.
Agora, criar um cluster e tentar vender eh um bocado complicado: tem um investimento inicial razoavel e a incerteza de conseguir clientes baseado so na venda de 'tokens'.
Teve um post recente (uns 30 dias) vendendo este tipo de acesso - mas nao vi aderencia.
O que vejo como possibilidade hoje (mas a parte complexa eh grana inicial ate conseguir tracao): um sistema onde brasileiros possam contratar GPU de alta capacidade ou modelos mais avancados (que usam GPU cara) em sistema de "time-sharing" - ou seja, voce contrata os servicos (p.ex. https://vast.ai) e seus clientes sub-contratam tempo nestes cluster.
Tentar vencer por venda de tokens nao me parece muito viavel - o openrouter tem precos muito agressivos.
Mas existe um detalhe aqui: servicos baseado em tokens tem custo variavel (dependendo da quantidade consumida) e um servicos baseado em assinatura com custo fixo previsivel pode ser um diferencial importante.
Mas juntar questoes de LGPD (p.ex. um sistema de criptografico para transmissao ou mesmo um LLM privado) pode ser interessante.
Enfim, acho que existe um nicho pronto para ser explorado, mas demanda investimento e um marketing diferenciado.
Tem de ter aparencia e comunicacao de algo "coorporativo" e estavel - o que tenho visto da uma aparencia de "coloquei minha RTX para compartilhar enquanto leio HQ no banheiro" nao passa confianca nenhuma.
Saude e Sucesso !
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS