Meus 2 cents,

Parabens pelo post !

Eh sempre interessante acompanhar questoes reais nos projetos do dia-a-dia.

Ja tinha notado este comportamento, mas nao tinha gasto muito tempo pensando nele - considerando apenas uma questao a ser analisada "se e quando" tivesse tempo.

Mas lendo teu post este ponto aflora, principalmente quanto ao custo oculto: como costumo usar modelos de assinatura, free ou locais, nao parece tanto, mas tem um consumo ali que vai pesar em algum momento.

Cada vez mais penso na necessidade de um proxy de LLM (talvez um modelo local) que analise a requisicao e:

• Veja se nao tem comando ou acao maliciosa embutida

• Carregue dinamicamente elementos (como uma skill, MCP, tool, etc) se necessarios

• Otimize dados (p.ex. JSON para TOON)

• Otimize prompt (p.ex. retirando redundancias)

• Processe o retorno e analise novamente se nao tem comando ou acao maliciosa injetada.

Assim como o sandbox, um proxy parece cada vez mais um elemento imprescindivel no harness de trabalho com LLMs - sao pequenas coisas que estao me incomodando no uso de LLMs de forma mais automatizada.

Obrigado por compartilhar !

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS