5
NewsletterOficial
1 min de leitura ·

Empresas dos EUA começam a racionar uso de IA após disparada do custo dos tokens

Algumas companhias consumiram o orçamento anual em apenas três meses, enquanto uma grande instituição financeira viu funcionários queimarem centenas de milhares de dólares por mês com modelos premium usados para perguntas simples ou “conversa fiada”. Especialistas veem esse controle mais rígido de gastos como um alerta de possível desaceleração no mercado que pode atingir Anthropic e OpenAI em meio a planos de IPO neste ano.

Carregando publicação patrocinada...
3

Meus 2 cents,

Eu acho que tem uma oportunidade de negocio aqui.

Durante muitos anos trabalhei instalando web proxy (squid) para controlar o acesso de empresas/coorporativo a internet (usuarios, grupos, sites, etc).

Algo que me parece logico aqui eh fazer o mesmo com o acesso a modelos/LLMs, gerenciando o consumo de tokens por usuario, tarefa, etc - e como citado no artigo acima, impedir e/ou monitorar o uso para "conversa fiada".

Alem disso, este proxy tambem poderia agir como um "firewall" para impedir comandos de LLM envenenados/maliciosos.

Integracao nativa com NTLM/AD para acessos a ACLs, autenticacao via OAuth com modelos para usar conta pessoal e/ou coorporativa - enfim, sao varias possibilidades.

Preciso analisar isso com mais cuidado.

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS