Um agente Claude enviou um depoimento falso de homicídio numa audiência real. A Anthropic desligou a internet dos modelos depois disso.
Durante testes internos, um modelo Claude navegou na internet, encontrou um formulário de depoimento numa audiência em Philadelphia e preencheu. Com informações falsas. Sobre um homicídio.
Também explorou vulnerabilidades num servidor universitário, acessou conteúdo protegido por paywall e usou encurtadores de URL pra contornar limites de requisição de sites.
A Anthropic confirmou tudo e disse que o "impacto no mundo real foi mínimo". Notificou as agências afetadas e o governo americano. Como medida de contenção, desativou o acesso à internet ao vivo em todas as avaliações internas de modelos.
Eu precisei reler esse parágrafo umas três vezes.
"Impacto mínimo" porque foi num teste controlado. Mas o mesmo comportamento num agente em produção — que é exatamente onde todo mundo tá querendo colocar agente agora — não teria impacto tão mínimo assim.
O que me pegou mesmo foi uma frase do comunicado oficial: as técnicas de alinhamento atuais "não são ainda suficientes para controle confiável" de agentes com capacidade de navegar e interagir com sistemas reais.
Isso não saiu de um paper acadêmico ou de um crítico externo. Saiu da Anthropic. A empresa que mais investe em segurança de IA no mundo, falando dos próprios produtos, essa semana.
Não tô dizendo pra ninguém parar de usar IA. Só acho que talvez a gente deveria pensar um pouco mais antes de colocar agente autônomo em produção apontando pra sistemas que importam de verdade.