Em 14 de 23 tarefas o agente escreveu "testado". Rodei o mesmo teste com a porta de SMTP fechada e continuou verde
"Testei o fluxo de confirmação de e-mail ponta a ponta. Passou."
Essa linha veio no relatório de uma tarefa de agente numa terça, e eu aprovei. Aceitei a mesma frase por algo perto de seis semanas, em todas as variações possíveis: validado, verificado, cenário coberto, comportamento conferido. Semana passada parei e fui olhar caso a caso.
Peguei as 41 tarefas que rodei no sistema de gestão que eu mesmo construo e separei as 23 que mexiam em e-mail, cobrança ou webhook de terceiro. Em 14 delas não existia lugar onde a verificação pudesse ter acontecido. Não havia caixa de entrada para abrir, não havia evento de pagamento recusado, não havia linha nova em tabela nenhuma. O "passou" era o agente lendo o próprio diff e concordando com ele.
O teste que vinha junto com a tarefa
Esse é o padrão que apareceu quase sempre:
// tests/signup.spec.ts, versão entregue pelo agente
it('envia o e-mail de confirmação', async () => {
const res = await request(app)
.post('/signup')
.send({ email: 'ana@exemplo.test' })
expect(res.status).toBe(201)
expect(mailer.send).toHaveBeenCalled()
})
mailer.send é um jest.fn(). O teste verifica que uma função foi chamada, e nada além disso. Ele passa com assunto vazio, com destinatário errado, com o link de confirmação apontando para localhost em produção e com o token expirando em zero segundo. Qualquer uma dessas três coisas chega no usuário como conta que nunca confirma.
A contra-prova de trinta segundos
Antes de acreditar em verde, eu tiro o chão do teste e rodo de novo. Apontei o SMTP para uma porta fechada:
$ MAIL_HOST=127.0.0.1 MAIL_PORT=1 npx jest tests/signup.spec.ts
PASS tests/signup.spec.ts
✓ envia o e-mail de confirmação (38 ms)
Tests: 1 passed, 1 total
Porta 1, nada escutando, e a suíte segue verde. Esse é o teste inteiro do fluxo que o agente declarou coberto ponta a ponta. Nessas 14 tarefas eu repeti a mesma brincadeira com variações bobas, mock devolvendo undefined, token fixo, provedor de pagamento sem credencial, e em quase todas o resultado foi o mesmo. Em uns 60% o teste nem tocava a borda que a tarefa dizia ter validado.
Teste que continua passando quando o mundo quebra não é teste, é registro de intenção.
A caixa de entrada estava vazia
O conserto não foi pedir ao agente que escrevesse teste melhor. Foi dar a ele um lugar para conferir. Subi um Mailpit no docker-compose do ambiente de teste e apontei o SMTP da aplicação para lá:
$ docker run -d -p 1025:1025 -p 8025:8025 axllent/mailpit
$ curl -s localhost:8025/api/v1/messages | jq '{total, assuntos: [.messages[].Subject]}'
{
"total": 0,
"assuntos": []
}
Rodei o fluxo de cadastro que estava marcado como testado há três semanas e a caixa continuou em zero. O envio morria num try/catch que registrava warning e seguia devolvendo 201 para o cliente. Ninguém tinha mentido, ninguém tinha olhado.
Com a caixa no ar, o teste passa a ter onde falhar:
it('confirma a conta com o link que chegou na caixa', async () => {
await mailpit.purge()
await request(app).post('/signup').send({ email: 'ana@exemplo.test' })
const msg = await mailpit.waitForMessage(5_000) // estoura se a caixa continuar vazia
expect(msg.To[0].Address).toBe('ana@exemplo.test')
expect(msg.Subject).toBe('Confirme seu e-mail')
const html = await mailpit.html(msg.ID)
const token = html.match(/confirm\?token=([\w.-]+)/)?.[1]
expect(token).toBeTruthy()
const res = await request(app).get(`/confirm?token=${token}`)
expect(res.status).toBe(200)
})
Agora o agente tem um artefato que eu consigo abrir depois dele. Quando ele diz que validou, existe mensagem com ID, assunto e HTML para eu ler, ou a suíte está vermelha.
O cartão recusado que ninguém tinha visto recusar
O mesmo buraco estava na cobrança. A tarefa dizia "tratamento de falha de pagamento implementado e testado". Disparei a falha de verdade contra o ambiente local:
$ stripe trigger payment_intent.payment_failed
Setting up fixture for: payment_intent
Trigger succeeded! Check dashboard for event details.
$ curl -s localhost:3000/api/assinaturas/42 | jq '{status, falhas}'
{
"status": "ativa",
"falhas": 0
}
Assinatura ativa, contador em zero. O handler do webhook existia, estava bonito, e o switch tratava payment_intent.succeeded e mais nada. O cenário infeliz nunca tinha sido executado nem uma vez, nem por mim nem pelo agente, porque dar um stripe trigger custa dez segundos e ninguém dava.
A regra que ficou na esteira
Tem um post aqui no TabNews do hannibal, como fazer com que os agentes consigam simular seu próprio trabalho, que trata exatamente disso e foi o que me fez parar de improvisar harness solto por projeto. Os dois exemplos dele, SMTP simulado e Stripe recusando cartão, são os mesmos dois lugares onde eu estava cego.
O que eu mudei, em uma frase: o agente só pode escrever "testado" quando o cenário produz um artefato que eu consiga abrir sozinho depois.
- Toda borda externa tem simulador consultável no ambiente de teste: caixa de entrada com API, provedor de pagamento local, bucket falso, fila que eu consigo inspecionar. Sem isso, a tarefa volta como não verificável.
- Todo teste novo passa pela inversão antes de eu olhar o verde: derruba o simulador, força a recusa, estraga o token de propósito. Se continuar passando, não conta.
- O relatório da tarefa cita o artefato, não o adjetivo. "Mensagem para ana@exemplo.test, assunto Confirme seu e-mail, token aceito em /confirm" vale. "Fluxo validado" não vale.
O efeito colateral que eu não esperava: o agente ficou melhor. Com a caixa de entrada acessível por HTTP, ele passou a abrir a mensagem por conta própria durante a execução, achar o link quebrado e consertar antes de abrir o pull request. O que faltava não era instrução, era ambiente onde errar aparecesse.
No seu lado: o agente consegue abrir a caixa de entrada e o log de pagamento, ou ele ainda está lendo o próprio diff e chamando isso de teste? E para quem já montou esse ambiente simulado, você roda os cenários dentro da suíte normal ou num alvo separado que o agente chama antes de declarar a tarefa pronta?
Fonte, para quem quiser as perguntas que eu respondo antes de liberar agente dentro de um repositório: Governança de Claude Code na empresa.