1

Em 14 de 23 tarefas o agente escreveu "testado". Rodei o mesmo teste com a porta de SMTP fechada e continuou verde

"Testei o fluxo de confirmação de e-mail ponta a ponta. Passou."

Essa linha veio no relatório de uma tarefa de agente numa terça, e eu aprovei. Aceitei a mesma frase por algo perto de seis semanas, em todas as variações possíveis: validado, verificado, cenário coberto, comportamento conferido. Semana passada parei e fui olhar caso a caso.

Peguei as 41 tarefas que rodei no sistema de gestão que eu mesmo construo e separei as 23 que mexiam em e-mail, cobrança ou webhook de terceiro. Em 14 delas não existia lugar onde a verificação pudesse ter acontecido. Não havia caixa de entrada para abrir, não havia evento de pagamento recusado, não havia linha nova em tabela nenhuma. O "passou" era o agente lendo o próprio diff e concordando com ele.

O teste que vinha junto com a tarefa

Esse é o padrão que apareceu quase sempre:

// tests/signup.spec.ts, versão entregue pelo agente
it('envia o e-mail de confirmação', async () => {
  const res = await request(app)
    .post('/signup')
    .send({ email: 'ana@exemplo.test' })

  expect(res.status).toBe(201)
  expect(mailer.send).toHaveBeenCalled()
})

mailer.send é um jest.fn(). O teste verifica que uma função foi chamada, e nada além disso. Ele passa com assunto vazio, com destinatário errado, com o link de confirmação apontando para localhost em produção e com o token expirando em zero segundo. Qualquer uma dessas três coisas chega no usuário como conta que nunca confirma.

A contra-prova de trinta segundos

Antes de acreditar em verde, eu tiro o chão do teste e rodo de novo. Apontei o SMTP para uma porta fechada:

$ MAIL_HOST=127.0.0.1 MAIL_PORT=1 npx jest tests/signup.spec.ts
 PASS  tests/signup.spec.ts
  ✓ envia o e-mail de confirmação (38 ms)

Tests:       1 passed, 1 total

Porta 1, nada escutando, e a suíte segue verde. Esse é o teste inteiro do fluxo que o agente declarou coberto ponta a ponta. Nessas 14 tarefas eu repeti a mesma brincadeira com variações bobas, mock devolvendo undefined, token fixo, provedor de pagamento sem credencial, e em quase todas o resultado foi o mesmo. Em uns 60% o teste nem tocava a borda que a tarefa dizia ter validado.

Teste que continua passando quando o mundo quebra não é teste, é registro de intenção.

A caixa de entrada estava vazia

O conserto não foi pedir ao agente que escrevesse teste melhor. Foi dar a ele um lugar para conferir. Subi um Mailpit no docker-compose do ambiente de teste e apontei o SMTP da aplicação para lá:

$ docker run -d -p 1025:1025 -p 8025:8025 axllent/mailpit

$ curl -s localhost:8025/api/v1/messages | jq '{total, assuntos: [.messages[].Subject]}'
{
  "total": 0,
  "assuntos": []
}

Rodei o fluxo de cadastro que estava marcado como testado há três semanas e a caixa continuou em zero. O envio morria num try/catch que registrava warning e seguia devolvendo 201 para o cliente. Ninguém tinha mentido, ninguém tinha olhado.

Com a caixa no ar, o teste passa a ter onde falhar:

it('confirma a conta com o link que chegou na caixa', async () => {
  await mailpit.purge()

  await request(app).post('/signup').send({ email: 'ana@exemplo.test' })

  const msg = await mailpit.waitForMessage(5_000) // estoura se a caixa continuar vazia
  expect(msg.To[0].Address).toBe('ana@exemplo.test')
  expect(msg.Subject).toBe('Confirme seu e-mail')

  const html = await mailpit.html(msg.ID)
  const token = html.match(/confirm\?token=([\w.-]+)/)?.[1]
  expect(token).toBeTruthy()

  const res = await request(app).get(`/confirm?token=${token}`)
  expect(res.status).toBe(200)
})

Agora o agente tem um artefato que eu consigo abrir depois dele. Quando ele diz que validou, existe mensagem com ID, assunto e HTML para eu ler, ou a suíte está vermelha.

O cartão recusado que ninguém tinha visto recusar

O mesmo buraco estava na cobrança. A tarefa dizia "tratamento de falha de pagamento implementado e testado". Disparei a falha de verdade contra o ambiente local:

$ stripe trigger payment_intent.payment_failed
Setting up fixture for: payment_intent
Trigger succeeded! Check dashboard for event details.

$ curl -s localhost:3000/api/assinaturas/42 | jq '{status, falhas}'
{
  "status": "ativa",
  "falhas": 0
}

Assinatura ativa, contador em zero. O handler do webhook existia, estava bonito, e o switch tratava payment_intent.succeeded e mais nada. O cenário infeliz nunca tinha sido executado nem uma vez, nem por mim nem pelo agente, porque dar um stripe trigger custa dez segundos e ninguém dava.

A regra que ficou na esteira

Tem um post aqui no TabNews do hannibal, como fazer com que os agentes consigam simular seu próprio trabalho, que trata exatamente disso e foi o que me fez parar de improvisar harness solto por projeto. Os dois exemplos dele, SMTP simulado e Stripe recusando cartão, são os mesmos dois lugares onde eu estava cego.

O que eu mudei, em uma frase: o agente só pode escrever "testado" quando o cenário produz um artefato que eu consiga abrir sozinho depois.

  • Toda borda externa tem simulador consultável no ambiente de teste: caixa de entrada com API, provedor de pagamento local, bucket falso, fila que eu consigo inspecionar. Sem isso, a tarefa volta como não verificável.
  • Todo teste novo passa pela inversão antes de eu olhar o verde: derruba o simulador, força a recusa, estraga o token de propósito. Se continuar passando, não conta.
  • O relatório da tarefa cita o artefato, não o adjetivo. "Mensagem para ana@exemplo.test, assunto Confirme seu e-mail, token aceito em /confirm" vale. "Fluxo validado" não vale.

O efeito colateral que eu não esperava: o agente ficou melhor. Com a caixa de entrada acessível por HTTP, ele passou a abrir a mensagem por conta própria durante a execução, achar o link quebrado e consertar antes de abrir o pull request. O que faltava não era instrução, era ambiente onde errar aparecesse.

No seu lado: o agente consegue abrir a caixa de entrada e o log de pagamento, ou ele ainda está lendo o próprio diff e chamando isso de teste? E para quem já montou esse ambiente simulado, você roda os cenários dentro da suíte normal ou num alvo separado que o agente chama antes de declarar a tarefa pronta?

Fonte, para quem quiser as perguntas que eu respondo antes de liberar agente dentro de um repositório: Governança de Claude Code na empresa.

Carregando publicação patrocinada...
1

O jest.fn() registra a chamada, mas não valida a entrega. Quando o agente verifica apenas o diff e o status 201, ele não detecta que o SMTP foi bloqueado ou que a mensagem morreu no try/catch. Para corrigir, a verificação precisa sair do processo da aplicação: conecte a um servidor SMTP real no CI ou use um container como Mailpit para inspecionar o tráfego de saída. Sem isso, o teste continua sendo apenas um registro de intenção.