3

Meus 2 cents,

Parabens pelo post !

Esta questao de "FinOps de IA" (primeira vez que vejo este termo usando desta maneira) eh um diferencial importante neste momento onde o custo tokens tem aumentado e creio que anda junto com a questao de testar/homologar o uso modelos locais para determinadas tarefas, ou mesmo a possibiliade de alugar Cloud GPU para rodar privado para alguns usos.

No meu caso tenho usado o OmniRoute para monitorar isso, mas tem o 9router entre outras opcoes (comparacao entre IA Gateways em https://krouter.kodelyth.com/compare)

Obrigado por compartilhar !

Saude e Sucesso !


Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

Carregando publicação patrocinada...
1

Valeu, man. E acho que você tocou justamente no ponto que virou o diferencial de contratação.
Repara que nada do que você levantou é uma habilidade só. Saber comparar custo de token, saber julgar quando modelo local dá conta da tarefa, saber quando faz sentido alugar GPU privada, monitorar tudo isso depois. Cada uma dessas decisões passa por área diferente. Infra, custo, arquitetura, produto.
E é exatamente esse perfil que anda em falta. Tem muita gente boa em cada pedaço isolado, e pouca gente que consegue sentar numa reunião e defender a escolha inteira, sabendo o que se perde em cada caminho.
Empresa que assina contrato grande de IA vai precisar de alguém pra responder por essa decisão. Não é papel de quem só integra a API, nem de quem só cuida de infra. É de quem enxerga as duas pontas e sabe o que tá trocando por quê.
Acha que o mercado esta exigente demais ou faz sentido todo e qualque profissional que se preze aprender tudo isso?