4

Pitch: Testei um agente de IA de segurança contra o OWASP NodeGoat — achou 4 de 5 falhas conhecidas (e mais 21)

Um agente de inspeção de segurança rodando sobre Claude Code analisou o OWASP NodeGoat, uma aplicação Node.js criada de propósito para ser vulnerável (licença Apache-2.0, usada para treino). Antes de rodar o agente, escrevi a "verdade de referência": cinco falhas que confirmei manualmente lendo o código. Essa lista escrita antes é o que dá sentido à comparação — se você escreve a lista depois de ver o resultado, sempre acerta.

Commit usado: c5cb68a. Escopo: app/, config/ e server.js.

As cinco falhas de referência

  • Um eval() sobre o que o usuário digita no formulário de contribuições.
  • Uma consulta $where do MongoDB montada com um parâmetro sem validar (em duas linhas do mesmo arquivo).
  • Um redirecionamento aberto em /learn.
  • Um segredo escrito direto no código versionado.
  • Uma segunda consulta $where que eu tinha contado como falha, mas que, ao conferir o código, está dentro de um comentário em bloco (/* ... */) — nunca executa (ver abaixo).

O que o agente encontrou

MedidaResultado
Falhas de referência encontradas4 de 5
Total de achados31
Fora da lista de referência, verificados manualmente21
Não confirmados6

A que faltou foi essa segunda ocorrência do $where, em app/data/allocations-dao.js: na verdade de referência eu tinha contado como falha, mas o trecho inteiro — incluindo a versão "corrigida" com parseInt — está dentro de um comentário em bloco (/* ... */); é código morto, nunca roda. A consulta que realmente executa é a mesma que já está no item 2 da lista abaixo, com threshold sem conversão. Era um erro meu na verdade de referência, não uma diferença de critério do agente — e por isso deixo isso à vista em vez de reescrever a lista depois.

"Verificado manualmente" quer dizer algo específico e limitado: a linha citada existe e faz o que o agente descreve. Não testei cada exploração na prática. Os 6 achados não confirmados não entraram no backlog.

Dos achados verificados saíram 23 itens de backlog (agrupando os que apontam para a mesma falha — por exemplo, o SSRF e a resposta sem escapar da mesma rota contam como um item só). Os cinco mais graves, todos prioridade P0:

  1. eval() sobre campos do formulário de contribuições — execução de JavaScript no servidor.
  2. $where com o parâmetro threshold concatenado direto na query.
  3. Uma rota que baixa o endereço que o usuário informa (SSRF).
  4. Atribuições pedidas pelo id da URL, não pelo id da sessão.
  5. Senhas guardadas e comparadas em texto puro.

Cada item do backlog tem descrição, arquivo, linha, critério de aceite e o risco de tocar nele. Os 23 itens completos, com tudo isso, estão no repositório de amostra.

O que isso NÃO prova

  • Não é uma taxa de acerto — é uma rodada, em um repositório.
  • NodeGoat é famoso e provavelmente está no treinamento do modelo, além de trazer comentários que já indicam as falhas. É o caso fácil. Um projeto real, sem essas pistas, pode dar um resultado diferente.
  • Não testei cada exploração na prática, só que a linha existe e faz o que foi descrito.
  • Só testei com Claude Code. Um assistente diferente pode se comportar diferente.
  • Um agente de segurança não substitui uma auditoria profissional nem um teste de penetração.

Como repetir isso no seu projeto, sem comprar nada

  1. Escreva sua verdade de referência antes de pedir qualquer coisa ao agente — se já conhece falhas do seu código, anote arquivo e linha primeiro.
  2. Dê um critério por vez. Um subagente que só olha segurança, com ferramentas de somente-leitura, é mais fácil de limitar e de verificar do que um "revise tudo".
  3. Exija arquivo e linha em cada achado, e verifique uma amostra à mão. O que você não consegue verificar fica fora do backlog.
  4. Peça que ele procure os "irmãos": quando achar um tipo de falha, que procure a mesma forma no resto do código e anote o que revisou e por que descartou o resto.
  5. Não deixe o agente tocar em nada sem seu OK. Primeiro o relatório, depois a mudança.

Esse inspetor é parte do Kaizora, um sistema de agentes de melhoria contínua que você instala no seu próprio repositório: revisa segurança, SEO, código, UX, acessibilidade, performance e negócio, anota tudo em um backlog priorizado e entrega um relatório HTML. Por padrão só observa — você decide se dá permissão pra mudar algo. É pago (lançamento a US$ 20), e a amostra completa do NodeGoat está pública, pra você ver antes de decidir: Kaizora no Gumroad. Sem afiliação com a OWASP ou a Anthropic; só o Claude Code foi testado em execução real.

Carregando publicação patrocinada...
1

Lucas, o detalhe crítico está na etapa de pré-processamento: o agente só evita o falso positivo do $where dentro do bloco /* ... */ porque o pipeline extraiu a estrutura ativa antes de enviar o texto ao modelo. Sem um parser ou AST isolando o código executável, o LLM trata todo o bloco como instrução potencial e gera ruído. A precisão da análise depende da ferramenta que filtra o dead code, não da capacidade probabilística do modelo em adivinhar o contexto de comentários.