Pra gerar uma discussão: Qual a sua opinião?

Com a grande adoção de code agents e o senço comum de que estas ferramentas estão sendo subsidiadas pelas próprias empresas (ou seja, ficarão mais caras no futuro), só vou ficar confortável quando o cenário open source de LLMs tiver uma ferramenta suficiente pra que qualquer empresa possa utilizar seu próprio setup de LLMs, sem PRECISAR depender de terceiros.

Se esse cenário existir, acha que irão surgir consultorias pra instalar e configurar (finetuning, etc) os modelos self-hosted?

Meus 2 cents,

Fine-tunning eu acho que nao (eh algo bem especifico, caro e nem sempre da o resultado esperado).

Mas RAG, GPU Cloud ou mesmo modelos menores locais (para atividades especificas ligadas a agentes) - eu acredito que sim.

Usar um modelo flagship (chatGPT, gemini, claude) acaba sendo caro (tokens, tokens, tokens), entao conforme ferramentas usando LLMs se popularizam eh bem provavel que alternativas se estabelecam - e quem saber navegar no huggingface, openrouter e ommiroute provavelmente serao importantes para este segmento.

Saude e Sucesso !

Seria uma consultoria que configura um ecossistema de LLM self-hosted um bom modelo de negócio?

Pra gerar uma discussão: Qual a sua opinião? Com a grande adoção de code agents e o senço comum de que estas ferramentas estão sendo subsidiadas pelas próprias empresas (ou seja, ficarão...