7

Como fazer com que os agentes consigam simular seu próprio trabalho.

Pessoal, nos últimos meses estive muito focado em transformar o trabalho de agentes, que não são determinísticos, em algo o mais determinístico possível. Na maior parte das vezes isso inclui criar mocks para o agente simular testes e2e e exploratórios, simular cenários infelizes etc...

Depois de fazer vários harness locais de validação, resolvi fazer algo mais sólido e extensível. Fiz este projeto open source para ajudar nisso.

Se você precisa que seu agente de codificação teste múltiplos cenários e use um ambiente simulado para testar a entrega, acho que este projeto pode te ajudar.

Alguns exemplos do que dá para fazer:

  • E-mail sem mandar e-mail: a aplicação envia por SMTP normalmente e o agente abre a caixa de entrada simulada para conferir assunto, destinatário e link de confirmação.
  • Pagamento que falha: você pede ao agente "simula o Stripe recusando o cartão" ou "manda o webhook duas vezes", e ele confere se o seu código trata a cobrança duplicada.
  • Fila e storage da nuvem localmente: Azure Service Bus, Blob Storage, Key Vault, Amazon Kinesis, Pub/Sub, Kafka e ActiveMQ rodam no mesmo container, com a aplicação apontando para ele
    como se fosse o serviço real.
  • IA sem gastar token: endpoints compatíveis com OpenAI, Anthropic e Gemini respondem com regras que você define. Dá para forçar um 429 e ver se o retry funciona.
  • Cenário brasileiro: Pix, NFS-e nacional, Correios, ViaCEP, Mercado Pago, Asaas, todos com dados sintéticos.
  • Cenários infelizes sob demanda: timeout, 500, chave desativada, certificado errado, relógio adiantado para testar expiração.
  • Linha do tempo: tudo o que a aplicação chamou fica registrado. Quando uma chamada não tem rota, o próprio agente vê o "não respondido" e cria a resposta.

Ele expõe um servidor MCP e REST, então o Claude Code, o Cursor ou outro agente controla tudo conversando: cria um ambiente por projeto, configura os cenários e lê o que aconteceu. São 45 plugins prontos no catálogo, e um plugin novo é só um arquivo YAML.

Código e documentação: https://edivanteixeira.github.io/stuntman/
100% opensource

Feedback e PRs são bem-vindos, principalmente de quem quiser um provedor que ainda não está lá.

Carregando publicação patrocinada...
2

Meus 2 cents,

Parabens pela iniciativa !

Tornou-se padrao atual nas recomendacoes de "gurus" que ao inves de guiar os agentes sobre o "como" eles devem fazer algo o ideal eh monitorar "o que" eles tem de entregar e fazer o acompanhamento apenas pelo resultado.

Tenho resalvas quanto a esta ideia, mas entendo que ela faz sentido quando utilizamos modelos de fronteira (que geram codigo de melhor qualidade, apesar do custo) e temos uma "enxurrada" de PR geradas.

Dito isso, teu projeto me pareceu bem interessante justamente por facilitar a parte de geracao de destes testes: na fila para testar.

Repositorio devidamente starreado e forkeado, obrigado por compartilhar !

Saude e Sucesso !


Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

1

Cara, o que mais me chamou atenção nisso aí foi a parte de não precisar ficar subindo 30 containers diferentes na máquina só pra testar uma integração simples. Quem já sofreu tentando rodar LocalStack junto com mais um monte de serviço pesado sabe o quanto a RAM chora e o tempo que se perde só configurando ambiente antes mesmo de escrever uma linha de teste.

E ter os cenários brasileiros já prontos (tipo Pix e ViaCEP) salva demais. Normalmente a gente acaba fazendo uns mocks bem porcos na mão só pra passar no caminho feliz, e quando dá um erro 500 ou um webhook bate duplicado em produção é que a gente descobre que o código não tava segurando a bronca.

Já deixei favoritado aqui pra testar num projeto meu que usa Stripe e filas, quero ver como o Claude Code se vira criando as rotas sozinho pelo MCP. Parabéns pelo projeto!

1

Boa, a parte da linha do tempo que mostra o que não foi chamado resolve um ponto cego que eu catei na mão mais de uma vez.

Esse projeto me deixou curioso. Vou acompanhar de perto. Uma dúvida: dá pra simular e-mail que quebra visualmente também?

Na minha experiência, um HTML que passa limpo no teste chega cortado no Outlook.

1
1

Edivante, a ideia de expor um servidor MCP para o agente "ver o não respondido" é brilhante e resolve o ponto cego onde a maioria dos mocks falha: a IA não sabe o que não foi chamado. O erro comum é tratar o mock como um retorno estático, sem considerar o drift de estado entre chamadas consecutivas; o seu registro de linha do tempo corrige isso mantendo o contexto da execução real. Você priorizaria mais plugins para serviços financeiros locais ou focaria em simular falhas de rede complexas como latência variável?

0
1

Lidar com a incoerência de estado gerada pela rede real exige que o mock não seja um retorno estático. Quando o teste valida apenas a semântica de negócio ou retorna status fixos, o agente perde a capacidade de reagir a drifts de estado entre chamadas consecutivas. Integrar falhas de infraestrutura variáveis no mesmo loop de validação é o que transforma um teste funcional em um sistema resiliente.