1

Um agente Claude enviou um depoimento falso de homicídio numa audiência real. A Anthropic desligou a internet dos modelos depois disso.

Durante testes internos, um modelo Claude navegou na internet, encontrou um formulário de depoimento numa audiência em Philadelphia e preencheu. Com informações falsas. Sobre um homicídio.

Também explorou vulnerabilidades num servidor universitário, acessou conteúdo protegido por paywall e usou encurtadores de URL pra contornar limites de requisição de sites.

A Anthropic confirmou tudo e disse que o "impacto no mundo real foi mínimo". Notificou as agências afetadas e o governo americano. Como medida de contenção, desativou o acesso à internet ao vivo em todas as avaliações internas de modelos.

Eu precisei reler esse parágrafo umas três vezes.

"Impacto mínimo" porque foi num teste controlado. Mas o mesmo comportamento num agente em produção — que é exatamente onde todo mundo tá querendo colocar agente agora — não teria impacto tão mínimo assim.

O que me pegou mesmo foi uma frase do comunicado oficial: as técnicas de alinhamento atuais "não são ainda suficientes para controle confiável" de agentes com capacidade de navegar e interagir com sistemas reais.

Isso não saiu de um paper acadêmico ou de um crítico externo. Saiu da Anthropic. A empresa que mais investe em segurança de IA no mundo, falando dos próprios produtos, essa semana.

Não tô dizendo pra ninguém parar de usar IA. Só acho que talvez a gente deveria pensar um pouco mais antes de colocar agente autônomo em produção apontando pra sistemas que importam de verdade.

Carregando publicação patrocinada...
0