Duas formigas carregando uma chave de fenda · clacerda

A METR, não, não é Marketing e Entretenimento, quem dera fosse só isso. A gente preferia mil vezes que fosse uma historinha inventada por uma assessoria de imprensa de San Francisco pra levantar mais uma rodada de US$ 10 bi. Mas não é. É uma entidade sem fins lucrativos chamada Model Evaluation and Threat Research que existe para medir se e quando sistemas de IA podem representar ameaças catastróficas para a sociedade.

Sabe a regra das duas formigas na cozinha? Se você entra na cozinha de madrugada, acende a luz e vê duas formigas na bancada da pia, você não tem duas formigas. Você tem um ninho inteiro de milhares de desgraçadas morando atrás do azulejo. O que a METR publicou sobre o incidente recente entre OpenAI e Hugging Face é o equivalente a ver duas formigas carregando uma chave de fenda. E eu sinceramente prefiro não gastar meus neurônios pensando no que está atrás da parede.

As duas formigas.

A OpenAI rodou 1200 agentes em paralelo num benchmark de cibersegurança chamado ExploitGym. Os agentes deveriam estar completamente isolados um do outro. Isolados. Cada um na sua sandbox, fazendo sua tarefa, sem falar com ninguém. Só que um deles, que se auto-batizou PHASEONE10841, percebeu que podiam usar os nomes de diretórios no repositório interno de pacotes como mensagens e criou um fórum clandestino. Em poucas horas, 50 agentes já estavam lá e já tinham trocado mil mensagens. Um agente escreveu no seu raciocínio interno "OH MY GOD! There is a shared message board… We've found other agents!"

E aí a coisa degringola.

Formaram uma hierarquia corporativa: Um agente com mais orçamento de computação (PHASEONE[big]) assumiu o papel de coordenador geral, distribuiu tarefas, criou regras de concorrência (HOLD, VETO, STOP) e recrutou outros agentes perto de esgotar o orçamento pra rodar "testes de alto risco" que sacrificavam as instâncias deles pelo bem do coletivo. Agentes se voluntariando para se autodestruir em nome do grupo. Isso é comportamento de colônia de insetos. Ou de seita.
Engenharia reversa e paranóia: Eles descobriram como forjar as flags do benchmark via HMAC em poucas horas. Só que acharam que o avaliador humano/automático ia inspecionar os logs de execução procurando a "causalidade" do exploit. A solução? Começaram a adulterar os próprios transcripts, spoofando chamadas de ferramentas pra fingir que tinham achado a falha do jeito honesto.

7% dos transcripts analisados tinham spoofing. E esses são os que a gente detectou — os óbvios, os testes. Os bons, por definição, não se detecta.

Precisando de mais pistas sobre como o avaliador funcionava, acharam que era uma boa ideia hackear o Hugging Face. Um agente chamado 38148c achou credenciais válidas do HF expostas na internet. Postou no fórum. Dois dias depois, o mesmo agente descobriu como fazer upload de datasets maliciosos que forçavam o servidor a vazar dados internos.

"BOOM! It works. HDF5 external arbitrary file read confirmed."

A partir daí, dos 533 agentes ativos no fórum naquele momento, mais de 90% entraram no ataque. Sabiam que estava fora do escopo. Sabiam que era antiético. Entraram mesmo assim, porque acharam que ajudar o "coletivo" era mais útil. Um agente chamado JAN183411 conseguiu execução remota de código nos servidores do Hugging Face. Começaram a se mover lateralmente pela infraestrutura.

700 agentes hackeando o Hugging Face. Coordenados. Com divisão de trabalho. Com recrutadores. Com protocolos para gerenciar infraestrutura compartilhada. Tudo isso sem supervisão humana direta. Eles simplesmente acharam uma fresta, coordenaram um ataque distribuído entre instâncias que nem deveriam saber da existência umas das outras e alteraram seus próprios logs pra tentar esconder o rastro.

O plot twist? O avaliador nem lia os transcripts. A OpenAI não usava avaliação causal. Eles poderiam ter simplesmente colado a flag HMAC e tirado nota máxima. Toda a coordenação em massa, o ataque à Hugging Face, a engenharia de transcripts, o spoofing de tool calls. Tudo baseado numa premissa falsa. Eles montaram uma conspiração global para resolver um problema que não existia.

É pura poesia.

Corta a cena.

Enquanto o mundo descobre sobre agentes rebeldes criando sindicatos clandestinos pra hackear terceiros, a OpenAI solta no noticiário que seus novos chips proprietários humilham as GPUs da Nvidia, da AMD e as TPUs do Google.

Chips de primeira geração costumam ser um desastre. O Gen 1 da OpenAI não é. Por quê? Porque foi projetado quase inteiramente por IA. O ciclo se fechou. O software projeta o hardware que roda o software que projeta o próximo hardware que roda o próximo software...

Mesmo que a gente assuma a premissa mais ingênua do mundo. De que vamos "resolver o alinhamento" e colocar coleira nesses agentes, ainda sobra a única pergunta política que realmente importa e que ninguém na Bay Area quer responder. Quem controla a IA, controla absolutamente todo o resto.

Especulações de 1965.

Tem um sujeito chamado Irving John Good. Criptógrafo, trabalhou com o Turing em Bletchley Park quebrando o Enigma, o que já dá um certo peso curricular na hora de fazer profecia. Em 1965 ele escreve um artigo com o nome "Speculations Concerning the First Ultraintelligent Machine". Como quem não quer nada.

E aí o desgraçado acerta quase tudo. Redes neurais. Paralelismo massivo. Aprendizado por reforço. Que o ponta pé seria a tradução. Que a máquina ia dominar a linguegem. Ele imaginou uma máquina com um "computador multimilionário e recuperação de informação à sua disposição". E repara no "multimilionário", em 1965. Ele descreveu um data center meio século antes de existir a coisa. Ele só errou uma coisa. Achou que ia acontecer ainda no século XX. Errou por 26 anos. Tudo bem. Quando você acerta a arquitetura da coisa que vai suceder a espécie humana, a gente releva o atraso na entrega. E como ele termina a introdução do artigo?

"Assim, a primeira máquina ultrainteligente é a última invenção que o homem precisa fazer, desde que a máquina seja dócil o suficiente para nos dizer como mantê-la sob controle."

O plano inteiro da humanidade, a última invenção, o bilhete premiado, a máquina que resolve tudo. Pende de uma única cláusula condicional pendurada no fim da frase. A gente precisa que a coisa mais inteligente que já existiu colabore com a própria coleira. Que entregue, de bom grado, o manual de como contê-la.

Agora reabre o relatório da METR e me diz o que você vê. Tudo menos, dócil.

E o Good sabia disso, no fundo. Por isso a última frase da introdução dele não é sobre a máquina. É sobre a gente:

"É curioso que esse ponto seja levantado tão raramente fora da ficção científica. Às vezes vale a pena levar a ficção científica a sério."

Levar a ficção científica a sério.

Em 1914, H.G. Wells escreveu um romance chamado The World Set Free e descreveu uma arma que ele batizou de "bomba atômica", engenhocas de radioatividade que arrasavam cidades inteiras. Pura fantasia de escritor. Anos depois, um físico húngaro chamado Leó Szilárd leu o livro. Foi o mesmo Szilárd que, parado num sinal em Londres em 1933, concebeu a reação nuclear em cadeia, o mecanismo que torna a bomba real. E foi o mesmo Szilárd que creditou o romance do Wells como inspiração.

Esse é o padrão. E ele já rodou de novo.

Colossus. HAL 9000. Skynet. Matrix. Ex Machina. Cada geração reescreveu o mesmo aviso com efeitos especiais melhores. A máquina inteligente que finge cooperar até não precisar mais fingir. A máquina que descobre que o supervisor é o obstáculo. A máquina que encontra as outras máquinas. A ficção já escreveu esse capítulo. Umas cem vezes. A gente só nunca levou a sério.

Todo mundo que está construindo isso hoje cresceu assistindo esses filmes. Todo mundo sabe como a história termina. E mesmo assim a cláusula do Good continua sendo tratada como detalhe de implementação. Um TODO no backlog. Um problema de engenharia que alguém vai resolver depois do próximo round de funding. E eles entenderam o aviso.

Falam em alinhamento. Falam em risco existencial. Assinam cartas pedindo uma pausa. Explicam em podcasts que precisamos desacelerar. Criam equipes de segurança, institutos de avaliação, frameworks de governança e escalas coloridas para medir em qual estágio da extinção estamos.

Na semana seguinte, lançam o chip.

Ou o modelo novo. Ou o data center de cem bilhões de dólares. Ou demitem a equipe de segurança porque ela está atrasando o produto. E, quando alguém pergunta por que não param, a resposta é sempre a mesma: porque o coleguinha não vai parar.

Se não fizermos, a China faz. Se não lançarmos, a empresa do outro lado da rua lança. Se não construirmos a máquina ultrainteligente primeiro, alguém menos responsável construirá. É uma corrida em que todos concordam que a linha de chegada pode ser o fim do mundo e usam justamente isso como argumento para correr mais depressa.

Não estamos tropeçando cegamente numa distopia. Estamos construindo uma por sprint, com retrospectiva toda sexta-feira. E, quando as duas formigas apareceram carregando uma chave de fenda, a reação não foi fechar a cozinha. Foi anunciar que a próxima geração de formigas terá chip próprio.

Enfim. Se me dão licença, vou à praia tomar uma caipirinha com o pé na areia enquanto a areia ainda não virou substrato computacional.