3

Meus 2 cents,

Parabens pelo post !

Eh sempre interessante acompanhar questoes reais nos projetos do dia-a-dia.

Ja tinha notado este comportamento, mas nao tinha gasto muito tempo pensando nele - considerando apenas uma questao a ser analisada "se e quando" tivesse tempo.

Mas lendo teu post este ponto aflora, principalmente quanto ao custo oculto: como costumo usar modelos de assinatura, free ou locais, nao parece tanto, mas tem um consumo ali que vai pesar em algum momento.

Cada vez mais penso na necessidade de um proxy de LLM (talvez um modelo local) que analise a requisicao e:

  • Veja se nao tem comando ou acao maliciosa embutida

  • Carregue dinamicamente elementos (como uma skill, MCP, tool, etc) se necessarios

  • Otimize dados (p.ex. JSON para TOON)

  • Otimize prompt (p.ex. retirando redundancias)

  • Processe o retorno e analise novamente se nao tem comando ou acao maliciosa injetada.

Assim como o sandbox, um proxy parece cada vez mais um elemento imprescindivel no harness de trabalho com LLMs - sao pequenas coisas que estao me incomodando no uso de LLMs de forma mais automatizada.

Obrigado por compartilhar !

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

Carregando publicação patrocinada...
2

Boa, esse proxy é justamente o caminho que eu também venho ruminando.

O wrapper que usei pra medir os tokens já é meio um proxy mínimo: ele lê o input_tokens de cada turno antes de eu seguir. Falta dar a ele o poder de carregar skills sob demanda, que é o teu ponto.

Mas o que me trava é o custo do próprio proxy: se ele analisa cada requisição com um modelo, vira um novo imposto por turno em cima do que eu acabei de cortar.

To inclinado a separar: segurança num modelo local barato, e otimização de prompt no fluxo principal. Tu rodaria tudo num modelo só ou separaria as duas coisas?

4

Meus 2 cents extendidos,

Estou mais inclinado ao uso de um modelo barato (local ?) para tudo.

A preocupacao (alem do custo) eh: latencia.

Um modelo local (p.ex. instruct) ate consegue rodar uns 50 tokens/s (ou mais se tiver GPU) - o que para um unico usuario ate vai, mas se juntar 50 usuarios simultaneos, como faz ?

Minha ideia: contratar uma VM com GPU equivalente (B, H, etc), colocar um ou mais modelos locais/instruct para rodar e usar esta infra para a analise - mas para ser viavel precisa ter um minimo de usuarios pagantes. A vantagem eh que, imaginando mercado coorporativo, da para fazer seg/sex, 8/18 VM mais pesada e fora do horario com VM mais leve (e mais barata) ou ate subir sob demanda.

Estava pensando em algo usando o OmniRoute/LiteLLM ou algo assim para captar o trafego (fazendo o papel que o Squid faz para trafego web) e entao direcionar para esta(s) VM(s) - ou algo do genero.

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

3