Pitch: Testei um agente de IA de segurança contra o OWASP NodeGoat — achou 4 de 5 falhas conhecidas (e mais 21)
Um agente de inspeção de segurança rodando sobre Claude Code analisou o OWASP NodeGoat, uma aplicação Node.js criada de propósito para ser vulnerável (licença Apache-2.0, usada para treino). Antes de rodar o agente, escrevi a "verdade de referência": cinco falhas que confirmei manualmente lendo o código. Essa lista escrita antes é o que dá sentido à comparação — se você escreve a lista depois de ver o resultado, sempre acerta.
Commit usado: c5cb68a. Escopo: app/, config/ e server.js.
As cinco falhas de referência
- Um
eval()sobre o que o usuário digita no formulário de contribuições. - Uma consulta
$wheredo MongoDB montada com um parâmetro sem validar (em duas linhas do mesmo arquivo). - Um redirecionamento aberto em
/learn. - Um segredo escrito direto no código versionado.
- Uma segunda consulta
$whereque eu tinha contado como falha, mas que, ao conferir o código, está dentro de um comentário em bloco (/* ... */) — nunca executa (ver abaixo).
O que o agente encontrou
| Medida | Resultado |
|---|---|
| Falhas de referência encontradas | 4 de 5 |
| Total de achados | 31 |
| Fora da lista de referência, verificados manualmente | 21 |
| Não confirmados | 6 |
A que faltou foi essa segunda ocorrência do $where, em app/data/allocations-dao.js: na verdade de referência eu tinha contado como falha, mas o trecho inteiro — incluindo a versão "corrigida" com parseInt — está dentro de um comentário em bloco (/* ... */); é código morto, nunca roda. A consulta que realmente executa é a mesma que já está no item 2 da lista abaixo, com threshold sem conversão. Era um erro meu na verdade de referência, não uma diferença de critério do agente — e por isso deixo isso à vista em vez de reescrever a lista depois.
"Verificado manualmente" quer dizer algo específico e limitado: a linha citada existe e faz o que o agente descreve. Não testei cada exploração na prática. Os 6 achados não confirmados não entraram no backlog.
Dos achados verificados saíram 23 itens de backlog (agrupando os que apontam para a mesma falha — por exemplo, o SSRF e a resposta sem escapar da mesma rota contam como um item só). Os cinco mais graves, todos prioridade P0:
eval()sobre campos do formulário de contribuições — execução de JavaScript no servidor.$wherecom o parâmetrothresholdconcatenado direto na query.- Uma rota que baixa o endereço que o usuário informa (SSRF).
- Atribuições pedidas pelo id da URL, não pelo id da sessão.
- Senhas guardadas e comparadas em texto puro.
Cada item do backlog tem descrição, arquivo, linha, critério de aceite e o risco de tocar nele. Os 23 itens completos, com tudo isso, estão no repositório de amostra.
O que isso NÃO prova
- Não é uma taxa de acerto — é uma rodada, em um repositório.
- NodeGoat é famoso e provavelmente está no treinamento do modelo, além de trazer comentários que já indicam as falhas. É o caso fácil. Um projeto real, sem essas pistas, pode dar um resultado diferente.
- Não testei cada exploração na prática, só que a linha existe e faz o que foi descrito.
- Só testei com Claude Code. Um assistente diferente pode se comportar diferente.
- Um agente de segurança não substitui uma auditoria profissional nem um teste de penetração.
Como repetir isso no seu projeto, sem comprar nada
- Escreva sua verdade de referência antes de pedir qualquer coisa ao agente — se já conhece falhas do seu código, anote arquivo e linha primeiro.
- Dê um critério por vez. Um subagente que só olha segurança, com ferramentas de somente-leitura, é mais fácil de limitar e de verificar do que um "revise tudo".
- Exija arquivo e linha em cada achado, e verifique uma amostra à mão. O que você não consegue verificar fica fora do backlog.
- Peça que ele procure os "irmãos": quando achar um tipo de falha, que procure a mesma forma no resto do código e anote o que revisou e por que descartou o resto.
- Não deixe o agente tocar em nada sem seu OK. Primeiro o relatório, depois a mudança.
Esse inspetor é parte do Kaizora, um sistema de agentes de melhoria contínua que você instala no seu próprio repositório: revisa segurança, SEO, código, UX, acessibilidade, performance e negócio, anota tudo em um backlog priorizado e entrega um relatório HTML. Por padrão só observa — você decide se dá permissão pra mudar algo. É pago (lançamento a US$ 20), e a amostra completa do NodeGoat está pública, pra você ver antes de decidir: Kaizora no Gumroad. Sem afiliação com a OWASP ou a Anthropic; só o Claude Code foi testado em execução real.