Meus 2 cents,

Parabens pelo post !

Li o passo-a-passo que ele fez para enganar o Claude, foi engenhoso com uma boa pitada de engenharia social para conduzir o agente a fazer o que foi desejado.

Em diversos momentos ja notei que os guardrails podem ser contornados com uma boa dose desta mesma engenharia social - tenho inclusive pensado em colocar no pipeline de chats que precisem de interacao com o usuario (p.ex como um RAG publico) um LLM-as-judge para analisar se o prompt do usuario nao eh malicioso de alguma forma.

Com a expansao de Agentes interagindo com Agentes - isso se torna ainda mais complicado.

Obrigado por compartilhar !

Saude e Sucesso !

---

Este post foi favoritado via extensão [TABNEWS FAVORITOS](https://www.tabnews.com.br/Oletros/tabnews-favoritos-agora-voce-ja-pode-favoritar-seus-posts-preferidos)

Tem curiosidade sobre IA ? Da uma olhada no meu [LIVRO: IA PARA ENGENHEIROS](https://www.tabnews.com.br/Oletros/livro-ia-para-engenheiros-um-guia-com-mais-de-500-paginas-sobre-o-mundo-da-ia-e-llms)

Meus 2 cents, Parabens pelo post ! Li o passo-a-passo que ele fez para enganar o Claude, foi engenhoso com uma boa pitada de engenharia social para conduzir o agente a fazer o que foi des...