O proxy open-source da Brex (com LLM-as-a-judge) para proteger Agentes de IA em produção
Fala, pessoal!
O Pedro Franceschi (co-fundador da Brex) publicou um artigo bem interessante sobre como eles estão resolvendo a segurança de Agentes autônomos em produção.
Eles lançaram o CrabTrap, um projeto open-source que atua direto na camada de rede.
Links:
O Problema
Colocar agentes para fazer trabalho real exige dar a eles credenciais reais. O problema é que, em caso de alucinação ou prompt injection, o agente pode fazer requisições destrutivas. As soluções atuais de guardrails costumam ser ou muito restritivas, ou difíceis de escalar.
A Solução: CrabTrap
O CrabTrap atua na camada de transporte (agnóstico a framework ou linguagem). É um proxy HTTP/HTTPS que intercepta todas as requisições de saída do agente.
Ele avalia o tráfego em dois estágios:
- Regras Estáticas (Rápidas): Usa regex em cache para lidar com padrões conhecidos. Isso resolve a grande maioria das requisições com latência de microssegundos.
- LLM-as-a-judge (Cauda longa): Se a requisição for nova, ela cai para um LLM. O CrabTrap empacota a requisição em um JSON estruturado e envia para o modelo avaliar contra uma "política de uso" em linguagem natural. O LLM devolve
ALLOWouDENY.
Como a maioria do tráfego cai nas regras estáticas (que podem ser geradas automaticamente pelo sistema observando o histórico do agente), a latência deixa de ser um problema. Em produção na Brex, o LLM é acionado em menos de 3% das requisições.
Achei muito elegante a sacada de tirar a segurança da camada da aplicação e jogar para a camada de rede, criando uma infraestrutura pragmática para escalar agentes com segurança.