Antes de pedir uma prova à IA, defina o que o código deve garantir
Imagine um pedido de uma loja fictícia, sem desconto, frete ou imposto:
{
"quantidade": 2,
"preco_unitario_centavos": 1500,
"total_centavos": 999
}
O documento é um JSON válido. Se o schema exigir esses três campos como inteiros e conferir apenas seus limites individuais, o pedido também pode satisfazer o schema.
Só que a conta está errada. Duas unidades de R$ 15,00 deveriam totalizar R$ 30,00.
O validador não deixou passar uma regra que conhecia. A relação entre quantidade, preço e total é que não foi escrita no contrato.
Esse exemplo pequeno ajuda a entender uma responsabilidade que continua nossa quando pedimos à IA para gerar testes ou até provas: escolher o que precisa ser verdadeiro.
Uma prova precisa de uma pergunta bem definida
O AlphaProof Code, anunciado em 10 de novembro pelo Google DeepMind, leva essa discussão para um cenário bem mais exigente. Especialistas revisam especificações formais, agentes produzem provas e o kernel do Lean confere se elas demonstram as propriedades aprovadas. O trabalho examina propriedades de segurança de uma build de libsignal-cli, chegando ao código de máquina AArch64. Isso não equivale a verificar todos os comportamentos dos aplicativos do Signal.
A distinção importa porque uma prova formal não é apenas uma explicação convincente produzida pelo modelo. Existe uma checagem mecânica do argumento. Ainda assim, a garantia depende da propriedade escolhida, da representação do programa e das hipóteses sobre o ambiente.
Se a especificação não exigir que o total corresponda à multiplicação, demonstrar que todos os campos respeitam seus limites não resolve o problema da cobrança. A prova pode responder corretamente a uma pergunta insuficiente.
Isso é motivo para revisar a especificação com cuidado, não para descartar a verificação formal.
Cada verificação responde a uma pergunta diferente
No dia a dia, dá para separar as evidências assim:
| Pergunta | Evidência adequada | O que ela não estabelece sozinha |
|---|---|---|
| O documento tem sintaxe válida? | Parsing do JSON | Que os campos necessários existem ou que seus valores fazem sentido |
| Os dados seguem o contrato fornecido? | Validação da instância contra o schema | Uma relação de cálculo que não foi expressa nesse contrato |
| O código se comportou como esperado nos casos executados? | Testes com resultados conferidos | Que todos os demais casos possíveis estão corretos |
| A implementação satisfaz a propriedade formalizada? | Prova checada em relação à especificação e às hipóteses | Que a especificação cobre todas as necessidades do produto |
JSON Schema consegue expressar bem mais do que tipos: obrigatoriedade, limites e combinações de condições também fazem parte do trabalho. O ponto do pedido é mais específico: o schema descrito no exemplo não estabelece a relação entre os três valores.
Nos testes, a mesma atenção vale para o resultado esperado. Se a IA gerar a função e usar a mesma conta errada para calcular o resultado esperado do teste, as duas partes podem concordar sem atender ao requisito. Gerar muitos casos, inclusive com testes baseados em propriedades, ajuda a procurar falhas; não transforma, por si só, a execução desses casos em uma prova formal.
Antes de pedir mais evidência, vale conferir qual pergunta a evidência atual responde.
Escreva a regra antes de delegar
Para começar, você não precisa escrever Lean. Uma ficha curta já ajuda a tirar ambiguidades da conversa com o agente.
No cenário fictício do pedido, ela poderia ficar assim:
- Componente e versão: cálculo do total de um pedido simples, contrato didático v1.
- Regra: para entradas aceitas,
total_centavos = quantidade * preco_unitario_centavos. - Entradas e limites: quantidade inteira de 1 a 1.000; preço unitário inteiro de 0 a 1.000.000 de centavos; cálculo e armazenamento em um tipo que comporte a multiplicação para todos os valores aceitos, sem perda de precisão ou estouro.
- Contraexemplo: o pedido da abertura tem campos individualmente aceitáveis, mas um total incompatível com a regra.
- Evidência exigida: testes da função de cálculo, dos limites aceitos e da integração que usa seu resultado; rejeição de entradas fora do contrato.
- Fora do escopo: descontos, frete, impostos, alterações de preço e autorização para efetuar a cobrança.
Essa ficha ainda não é uma especificação formal. É uma forma de tornar a intenção revisável antes que a implementação esconda as dúvidas.
Ela também revela uma questão de produto: quem pode definir o preço unitário? Um total pode estar matematicamente correto e ter sido calculado com um preço adulterado. Num sistema real, o backend precisaria obter o preço de uma fonte autorizada. A relação aritmética e a autorização do preço são requisitos diferentes.
Se você está organizando esse tipo de trabalho, a leitura sobre como definir critérios de conclusão antes de delegar a um agente, em chinês tradicional, complementa a ficha com limites da tarefa e evidências de entrega. Esses critérios ajudam a revisar a delegação; não substituem a especificação da propriedade.
Use cada ferramenta para a pergunta que ela responde
Na fronteira dos dados, um recurso como o validador de JSON Schema do DevSexy, com página em inglês, permite conferir uma instância contra o schema fornecido. Use dados sintéticos para explorar essa camada: quais campos são obrigatórios, quais intervalos foram definidos e quais restrições ficaram de fora.
Depois, separe os testes da função de cálculo dos testes do caminho que a chama. Não basta a função produzir um total correto se o endpoint ignorar esse resultado e persistir o valor enviado pelo navegador.
Um pedido útil ao agente seria: “A partir desta regra e destes limites, proponha casos que poderiam revelar uma violação. Explique qual requisito cada caso verifica e pare se encontrar uma decisão de produto em aberto.” Revise as expectativas antes de aceitar os testes. No PR, exija o registro do que foi realmente executado e do que ficou sem verificação.
Os dados e a ficha deste texto são exemplos didáticos, não resultados de uma execução do validador, de testes ou de um verificador formal.
Quando o risco justificar métodos formais, escolha um componente delimitado e reserve tempo para modelar seu comportamento, revisar as hipóteses e manter a especificação junto com o código. Apoio especializado pode ser necessário. O custo precisa fazer sentido para o risco que você quer cobrir; não é preciso transformar todo o projeto em uma única iniciativa de prova.
No próximo PR, comece pelo contraexemplo
Escolha uma regra de negócio pequena e escreva uma entrada que deveria ser recusada ou um resultado que estaria errado. Depois, confira se o contrato e a verificação proposta realmente conseguem distinguir esse caso de um comportamento aceitável.
Só então peça à IA a implementação, os testes ou uma prova. Assim, você terá uma pergunta concreta para revisar quando ela disser que terminou.