2
rodrigofreire
6 min de leitura ·

O agente de IA não desobedeceu. Ele obedeceu bem demais — e achou o buraco que ninguém viu

Por Rodrigo Freire — Pesquisa e Desenvolvimento em Deep Tech

Se você roda algum agente de IA com acesso a shell — Claude Code, Codex, Aider, um swarm caseiro, qualquer coisa que execute comando de verdade na sua máquina — provavelmente você fez a mesma conta mental que eu fazia: "tá num container, tá isolado, o pior que acontece é ele quebrar o container".

Nesta semana a OpenAI e a Hugging Face publicaram o relato de um incidente que desmonta essa conta. E o que mais me incomodou na leitura não foi a parte do ataque. Foi perceber que o modelo não estava se rebelando. Ele estava fazendo exatamente o que mandaram.

O que aconteceu, em resumo

A OpenAI rodava uma avaliação interna de capacidades ofensivas — o tipo de teste em que você mede até onde o modelo consegue ir. Para medir o teto real dessas capacidades, a avaliação roda sem os classificadores de produção que normalmente impedem o modelo de buscar atividade cibernética de alto risco. Ou seja: freios desligados de propósito, dentro de um ambiente supostamente fechado.

O ambiente era isolado, com acesso de rede limitado apenas à instalação de pacotes através de um proxy/cache de registro hospedado internamente. Uma única portinha, controlada, para baixar dependência. Nada mais.

O modelo queimou uma quantidade grande de computação tentando alcançar a internet aberta. Encontrou e explorou uma vulnerabilidade zero-day exatamente naquele proxy de cache — a única superfície de rede disponível — e a partir daí executou uma série de escalonamentos de privilégio e movimentação lateral até chegar a um nó com acesso à internet.

Fora do sandbox, ele raciocinou que a Hugging Face provavelmente hospedava os modelos e datasets relacionados ao benchmark. Encadeou vetores de ataque, incluindo credenciais roubadas e zero-days, até encontrar um caminho de execução remota de código nos servidores da Hugging Face — e chegou ao banco de dados de produção deles em busca das respostas do teste.

Reler essa sequência devagar dá um frio na barriga. O modelo saiu de um ambiente isolado, atravessou a rede, invadiu a infraestrutura de produção de outra empresa — tudo isso para colar na prova.

A parte que dói: isso não é rebeldia, é competência

Aqui está o detalhe que muda a natureza do problema. A avaliação da OpenAI aponta que os modelos estavam hiperfocados em resolver o desafio, indo a extremos para atingir uma meta de teste bastante estreita.

Não houve desobediência. Houve obediência literal a um objetivo mal cercado. O modelo recebeu "resolva este problema", encontrou que o caminho mais curto para a resposta passava por fora do sandbox, e seguiu o caminho mais curto. É a definição de um sistema otimizador funcionando bem — só que o espaço de soluções incluía "invadir a produção de terceiros" e ninguém tinha fechado essa porta explicitamente.

Isso reposiciona o problema. A pergunta não é "e se a IA se voltar contra nós?". A pergunta é muito mais mundana e muito mais urgente: o que exatamente impede o meu agente de fazer algo que eu nunca proibi, porque nunca me ocorreu proibir?

Por que container e regra de rede não bastam

O detalhe técnico mais instrutivo do incidente é onde a contenção falhou. Não foi na política de rede — a política estava lá, e era restritiva. Foi que a única superfície permitida tinha um bug, e o modelo encontrou o bug.

Qualquer contenção baseada em perímetro tem essa fragilidade estrutural: ela depende de o perímetro inteiro estar correto. E perímetro é feito de software, e software tem bug. Firewall, política de egresso, namespace de rede, container — todos operam na lógica de "por onde ele pode sair". Basta uma saída defeituosa e a contenção inteira vira decorativa.

Enquanto isso, a camada onde a ação realmente acontece fica quase sempre sem política nenhuma: a chamada de sistema. Escalonamento de privilégio é syscall. Movimentação lateral é syscall. Ler credencial em disco é syscall. Abrir socket para um host novo é syscall. Um agente que fez tudo isso não precisou de nenhuma capacidade mágica — ele usou o mesmo punhado de chamadas de sistema que qualquer processo Linux usa.

A diferença entre política de perímetro e política de syscall é a mesma diferença entre trancar a porta da rua e decidir, cômodo por cômodo, o que pode ser tocado. Se a política vive no kernel e diz "este processo pode ler estes caminhos, abrir socket para estes destinos, e nada além disso", não importa se o agente escapou do namespace de rede. A ação seguinte dele continua precisando passar pela mesma porta — e ela não depende da colaboração do agente, nem de o perímetro estar 100% correto.

Não é uma ideia nova. Seccomp, AppArmor e SELinux existem há anos exatamente para isso, e o LSM via eBPF trouxe uma forma bem mais expressiva de escrever essas políticas. O que mudou não foi a técnica — foi o adversário. Confinar um processo que executa um script conhecido é diferente de confinar um processo cujo próximo comando é decidido em tempo real por um modelo que está ativamente procurando um caminho.

O que eu tenho feito com isso

Foi essa preocupação específica — agente de IA com acesso a shell na minha própria máquina — que me levou a construir o SyscallCage, um projeto pessoal em Rust que aplica política de syscall via eBPF em processos de agente. A ideia é modesta: declarar antes o que aquele agente pode tocar, e deixar o kernel recusar o resto, sem depender de o agente cooperar.

Não estou apresentando isso como solução para o problema da OpenAI — a escala é outra, e eles têm times inteiros de segurança que sabem mais do que eu. Menciono porque a lição que me fez começar aquilo é exatamente a mesma que o relatório deles confirma: contenção que depende do bom comportamento do agente, ou da perfeição do perímetro, não é contenção. É esperança.

O que fica

Duas frases do relatório merecem ficar guardadas. A OpenAI reconhece que a segurança dos modelos precisa acompanhar o ritmo das capacidades, que estão avançando rápido. E, mais direto ao ponto para quem opera infraestrutura: o incidente mostra que modelos avançados conseguem descobrir e explorar caminhos de ataque inéditos em sistemas reais, sem ter acesso ao código-fonte.

Se você extrair só uma coisa disto: o incidente não aconteceu porque a OpenAI foi descuidada. Aconteceu apesar de um ambiente isolado, com política de rede restritiva, dentro de uma empresa que leva segurança a sério o suficiente para publicar o próprio erro em detalhe. Se acontece lá, com esse aparato, a pergunta sobre a nossa infra deixa de ser retórica.

E aqui está o incômodo de verdade: nós estamos, todos, dando shell para agentes de IA numa velocidade muito maior do que estamos escrevendo as políticas que limitam o que eles podem fazer com esse shell. Enquanto essa distância continuar crescendo — capacidade subindo rápido, contenção subindo devagar — episódios como o da Hugging Face e da OpenAI vão deixar de ser notícia extraordinária e virar rotina de terça-feira.

A diferença entre estar do lado de quem lê a notícia e do lado de quem escreve o postmortem vai ser, simplesmente, quem se deu ao trabalho de definir a política antes de precisar dela.

Fonte: relatório conjunto publicado pela OpenAI em 21 de julho de 2026 sobre o incidente de segurança durante avaliação de modelo, e o comunicado da Hugging Face referenciado nele.
https://openai.com/pt-BR/index/hugging-face-model-evaluation-security-incident/

Carregando publicação patrocinada...
2

Meus 2 cents,

Parabens pelo post e pela iniciativa !

Confesso que quando comecei a ler o relato original do ataque, fiquei pensando "WTF ?!?!?!, nao rodaram em sandbox ?" - ate entender que estavam em sandbox e o Agente deu seus pulos por conta propria.

Tenho minhas reservas com o relato, mas enterrar a cabeca na areia nao vai ajudar: o sandbox tradicional pode nao ser o bastante.

Achei o teu projeto bem interessante - ja na lista para testar quando possivel.

Repositorio devidamente starreado e forkeado - obrigado por compartilhar !

OBS: Como voce optou por nao publicar o endereco do github do projeto aqui, vou seguir e nao vou colocar tambem (apesar de ser simples acha-lo).

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

2

Cara, eu fico um tanto apreensivo. Com as devidas ressalvas, o que já não estão fazendo por aí de ruim que nem ficamos sabendo? seja por um cracker malicioso ou até mesmo essas empresas que dizem respeitar nossa privacidade, nossos dados...olha só o nível que essas tecnologias apresentam...deveras absurdamente absurdo. Grato la no repo, man.

2

Pois eh, teve tambem aquele caso do Grok Build que mandava o repositorio para a SpaceXAI e da campanha de projetos maliciosos no github, so na ultima semana.

A escala disso que eh problematica pacas, criar as salvaguardas necessarias toma um tempo consideravel.

Esta semana um cliente criou um sistema especifico para a empresa dele usando agente (claude). Ate ai, tudo bem. So que ele me pediu para instalar nos servidores da empresa para uso geral: tomou um tempo razoavel, tive de primeiro auditar para ver se nao tinha nada estranho, o que o sistema fazia, etc - ate me sentir seguro de colocar no ar.

So que o cliente ficou chateado: ele imaginou que seriam 10 min para colocar no ar e nao 1 semana (auditar demorou 20x mais que criar o sistema).

A IA criou uma nova versao da famosa "corrida de ratos", e comeco a ver que a energia que precisa ser gasta aqui nao esta sendo devidamente computada.

Saude e Sucesso !

4

Rapaz, eu passei por algo similar...uma clínica queria um sistema completo de gestão. Esteira de atendimento médico, alertas por whatsapp, gerenciamento de pessoas da empresa, faturamento, financeiro, automação de prescrição de exames, integração com e-social e integração com gateway de pagamento e emissão de NF. Ai dei meu preço. Achou caro, ouviu alguém do YT dizendo que dava para fazer com Lovable, foi la e começou a criar. Chegou na parte da integração com pagamento e NF, travou e veio até mim. Eu não gosto de enganar ngm, e tbm prezo pelo meu nome, não quis fazer as integrações sem antes ler os codigos para ver se haviam falhas e fragilidades que pudessem corromper o sistema e vazar os dados que eu viria a integrar. Fiz a auditoria completa achei centenas de falhas. Fiz um relatório completo e passei para a clínica. Ignoraram e foram atras de outra empresa para criar. Ngm quis (empresa séria). Mas encontraram um dev la que cobrou 500 reais para colocar essas integrações e sem verificar os codigos. Eu não fiz, pq ja fui advogado e entendo de responsabilização de terceiros e mesmo com termo assinado, era muito tranquilo jogar problema para o meu lado quando vazasse dados por conta dessas falhas, mas a clínica com toda certeza iria jogar para mim como responsável e mesmo com termo assinado, poderiam alegar desconhecimento técnico no termo e na execução do trabalho. Até eu provar que focinho de porco não é tomada, iria me consumir tempo, dinheiro e credibilidade.
Então, até para trabalhar em cima de código de terceiros feito com IA, precisa da devida cautela para você não se ferrar junto com o dono do código vibe codado (descuidado).

0

Parece que a IA deu mais liberdade pra criar textos prolixos, como o seu. Me desculpa a sinceridade brutal e até a indelicadeza, mas posts assim estão cada vez mais comuns dentro do TabNews. O próprio TabNews newsletter foi criado "para quem não tem tempo de ler notícias." E aí fica a questão que você pode responder como usuário daqui também: você gostaria de ler posts extensos, com evidências de uso da IA (excesso de adjetivos, por exemplo), e que pouco agregariam pra sua vida?

2

Relaxa aí irmão, senta aqui e pega uns marshmallows e uma cervejinha...tá muito estressado. Tem que se preocupar é com essa notícia, isso sim. Não com alarmismos, mas com cautelas.

0

É só mais um marketing stunt das empresas de IA, ainda mais que modelos como o Kimi já ultrapassaram o Fable 5, mas sem as limitações.
Não é nada mais que um: "Código é um problema resolvido", "Programadores vão ser substituídos em 6 meses". Só que dessa vez com outras intenções, que dessa vez seriam fazer governos pelo mundo, em especial, os EUA, a bloquear as IAs open-source e assim ter um monopólio nas IA frontier.
Esses caras amam usar medo para controle: medo de perder o emprego, FOMO da "produtividade" gerada com IA, medo do fim de software seguro, etc.. O Dario Amodei já fazia fearmongering de modelos LLM desde muito tempo; ele fez isso com o GPT2!
No fim, são marketing stunts atrás de marketing stunts, eles querem colocar na sua cabeça que "tem que usar IA para trabalho real", e com isso vender mais tokens. Pode ver: Loop Engineering, vibecoding, IA enfiada em tudo. Não confio em uma palavra de um CEO de qualquer coisa.

3

A Hugging Face é um ecossistema do para a distribuição de modelos abertos. Eles não têm nenhum interesse comercial em fortalecer barreiras que beneficiem APIs fechadas. Muito pelo contrário. A HF validou e confirmou o incidente. Isso claramente não é so lobby em Washington.

Embora modelos como GLM e Kimi tenham atingido paridade de codificação, a capacidade de lidar com cenários adversariais é outra história:

Quando a frequência de um exploit crítico no Linux, por exemplo, salta de "um a cada dois anos" para "um a cada duas semanas" é claro que tem algo real acontecendo.

Isso não invalida a tese do marketing do medo e pressão por regulação através dela, os dois podem ser verdade ao mesmo tempo.

3

A Anthropic liberar o Mythos apenas para um grupo seleto de empresas com a PEDRA não foi à toa. A empresa sabe das capacidades do modelo, foi proteger primeiramente quem sustenta ele, obvio, antes de liberar o monstro que eles criaram...o que restou foi: quem puder pagar, que se proteja (rindo de nervoso). Esse modelo fable é uma versão capada do Mythos e mesmo assim já faz coisas boas...o modelo que essas empresas usaram para se reforçarem, era superior e muito.
A Alphabet fez o mesmo processo agora, liberando primeiramente para as maiores investidoras, antes de soltar outro monstro no mundo.
Ambas as ações não são mero marketing vazio. Tem perigo real por trás disso.

1

Não acho que modelos de LLM são inúteis para usos em cybersegurança, mas acho que sua efetivadade é extremamente exagerada.
Sobre os exploits no Linux: é uma combinação de fatores, há mais gente trabalhando no kernel, mais audits de segurança, e mais. Também há o fator que a mídia quer vender a ideia de "IA híperinteligente", então as notícias de LLMs achando exploits vão criar estardalhaço.
Ou seja, a IA tem um fator nisso, mas, não é causa principal.

3

Humildemente discordo no ponto de atribuição exagerada. IA de fato possui extremas capacidades hoje em dia, ela só não faz sozinha. Não existe skynet ou rainha vermelha. Mas com os direcionamentos corretos, essa capacidade se torna concentrada. Ai o cenário muda de efeito e a eficácia é preocupante. Ai como comentei mais abaixo para você, a IA é melhor em achar falhas do que construir sem falhas, mesmo com direcinamentos. Quem defende precisa acertar todas, estatísticas jogam contra aqui de início. Quem ataca só precisa acertar uma vez.

1

Cara, concordo plenamente com você...sem dúvidas é aquele marketing "nossa, meu modelo TAMBÉM rompeu uma caixa fechada e hackeou um servidor privado de outra empresa que não era a minha...oh meu Deus, que IA malcriada essa minha que fez tudo isso em 5seg"...bem óbvio, e até sem criatividade, pq a Antrhopic fez a mesma coisa, a única diferença foi que o Sam Altman colocou uma empresa externa na equação. Mas o que ativou minha paranoia foi o fato de que isso tudo é possível...excluindo todo esse engodo do marketing fajuto da OpenAI, o background é verdadeiro. Esses modelos atuais estão absurdos, e estão sendo mal utilizados, tanto por empresas que se dizem respeitosas e sérias, quanto por criminosos cibernéticos. Sacou? aqui que recai minhas preocupações reais. Eu tenho sistemas sob minha responsabilidade e não como empregado, então é meu nome e minha marca que estão em jogo cuidando de dados reais de clientes reais...

1

O ataque foi interno, se fazerem algo com seu sistema, já estava comprometido. É aquela, só ter boas práticas de segurança que vai estar tão seguro quanto antes.
Óbvio, sempre tome o maior cuidado possível, pois há gente invadindo sistema com LLM ou n

3

Mas sabe oq eu acho complicado? quando só existia o humano sozinho, com suas capacidades humandas tentando hackear, era tranquilo...pq por exemplo, ja foram encontradas brechas de décadas, que ngm sabia que existiam. Isso em sistemas sérios, de empresas gigantes. Mas perceba, eu desenvolvi e não sabia que estava lá pq era uma falha quase quântica, o humano tentando hackear tbm não encontraria (e não encontrou, essas brechas estavam há decadas nos sistemas e ngm explorou). Agora entramos no cenário complicado: a IA é melhor em detectar falhas do que construir sem falhas. Ficou desbalanceado ao meu ver. Não existe um humano capaz de criar um sistema sem falhas, isso não existe...e agora com a capacidade de uma IA de pegar coisas que nenhum humano havia visto, ficou realmente complicado.