5

Antes de pedir uma prova à IA, defina o que o código deve garantir

Imagine um pedido de uma loja fictícia, sem desconto, frete ou imposto:

{
  "quantidade": 2,
  "preco_unitario_centavos": 1500,
  "total_centavos": 999
}

O documento é um JSON válido. Se o schema exigir esses três campos como inteiros e conferir apenas seus limites individuais, o pedido também pode satisfazer o schema.

Só que a conta está errada. Duas unidades de R$ 15,00 deveriam totalizar R$ 30,00.

O validador não deixou passar uma regra que conhecia. A relação entre quantidade, preço e total é que não foi escrita no contrato.

Esse exemplo pequeno ajuda a entender uma responsabilidade que continua nossa quando pedimos à IA para gerar testes ou até provas: escolher o que precisa ser verdadeiro.

Uma prova precisa de uma pergunta bem definida

O AlphaProof Code, anunciado em 10 de novembro pelo Google DeepMind, leva essa discussão para um cenário bem mais exigente. Especialistas revisam especificações formais, agentes produzem provas e o kernel do Lean confere se elas demonstram as propriedades aprovadas. O trabalho examina propriedades de segurança de uma build de libsignal-cli, chegando ao código de máquina AArch64. Isso não equivale a verificar todos os comportamentos dos aplicativos do Signal.

A distinção importa porque uma prova formal não é apenas uma explicação convincente produzida pelo modelo. Existe uma checagem mecânica do argumento. Ainda assim, a garantia depende da propriedade escolhida, da representação do programa e das hipóteses sobre o ambiente.

Se a especificação não exigir que o total corresponda à multiplicação, demonstrar que todos os campos respeitam seus limites não resolve o problema da cobrança. A prova pode responder corretamente a uma pergunta insuficiente.

Isso é motivo para revisar a especificação com cuidado, não para descartar a verificação formal.

Cada verificação responde a uma pergunta diferente

No dia a dia, dá para separar as evidências assim:

PerguntaEvidência adequadaO que ela não estabelece sozinha
O documento tem sintaxe válida?Parsing do JSONQue os campos necessários existem ou que seus valores fazem sentido
Os dados seguem o contrato fornecido?Validação da instância contra o schemaUma relação de cálculo que não foi expressa nesse contrato
O código se comportou como esperado nos casos executados?Testes com resultados conferidosQue todos os demais casos possíveis estão corretos
A implementação satisfaz a propriedade formalizada?Prova checada em relação à especificação e às hipótesesQue a especificação cobre todas as necessidades do produto

JSON Schema consegue expressar bem mais do que tipos: obrigatoriedade, limites e combinações de condições também fazem parte do trabalho. O ponto do pedido é mais específico: o schema descrito no exemplo não estabelece a relação entre os três valores.

Nos testes, a mesma atenção vale para o resultado esperado. Se a IA gerar a função e usar a mesma conta errada para calcular o resultado esperado do teste, as duas partes podem concordar sem atender ao requisito. Gerar muitos casos, inclusive com testes baseados em propriedades, ajuda a procurar falhas; não transforma, por si só, a execução desses casos em uma prova formal.

Antes de pedir mais evidência, vale conferir qual pergunta a evidência atual responde.

Escreva a regra antes de delegar

Para começar, você não precisa escrever Lean. Uma ficha curta já ajuda a tirar ambiguidades da conversa com o agente.

No cenário fictício do pedido, ela poderia ficar assim:

  • Componente e versão: cálculo do total de um pedido simples, contrato didático v1.
  • Regra: para entradas aceitas, total_centavos = quantidade * preco_unitario_centavos.
  • Entradas e limites: quantidade inteira de 1 a 1.000; preço unitário inteiro de 0 a 1.000.000 de centavos; cálculo e armazenamento em um tipo que comporte a multiplicação para todos os valores aceitos, sem perda de precisão ou estouro.
  • Contraexemplo: o pedido da abertura tem campos individualmente aceitáveis, mas um total incompatível com a regra.
  • Evidência exigida: testes da função de cálculo, dos limites aceitos e da integração que usa seu resultado; rejeição de entradas fora do contrato.
  • Fora do escopo: descontos, frete, impostos, alterações de preço e autorização para efetuar a cobrança.

Essa ficha ainda não é uma especificação formal. É uma forma de tornar a intenção revisável antes que a implementação esconda as dúvidas.

Ela também revela uma questão de produto: quem pode definir o preço unitário? Um total pode estar matematicamente correto e ter sido calculado com um preço adulterado. Num sistema real, o backend precisaria obter o preço de uma fonte autorizada. A relação aritmética e a autorização do preço são requisitos diferentes.

Se você está organizando esse tipo de trabalho, a leitura sobre como definir critérios de conclusão antes de delegar a um agente, em chinês tradicional, complementa a ficha com limites da tarefa e evidências de entrega. Esses critérios ajudam a revisar a delegação; não substituem a especificação da propriedade.

Use cada ferramenta para a pergunta que ela responde

Na fronteira dos dados, um recurso como o validador de JSON Schema do DevSexy, com página em inglês, permite conferir uma instância contra o schema fornecido. Use dados sintéticos para explorar essa camada: quais campos são obrigatórios, quais intervalos foram definidos e quais restrições ficaram de fora.

Depois, separe os testes da função de cálculo dos testes do caminho que a chama. Não basta a função produzir um total correto se o endpoint ignorar esse resultado e persistir o valor enviado pelo navegador.

Um pedido útil ao agente seria: “A partir desta regra e destes limites, proponha casos que poderiam revelar uma violação. Explique qual requisito cada caso verifica e pare se encontrar uma decisão de produto em aberto.” Revise as expectativas antes de aceitar os testes. No PR, exija o registro do que foi realmente executado e do que ficou sem verificação.

Os dados e a ficha deste texto são exemplos didáticos, não resultados de uma execução do validador, de testes ou de um verificador formal.

Quando o risco justificar métodos formais, escolha um componente delimitado e reserve tempo para modelar seu comportamento, revisar as hipóteses e manter a especificação junto com o código. Apoio especializado pode ser necessário. O custo precisa fazer sentido para o risco que você quer cobrir; não é preciso transformar todo o projeto em uma única iniciativa de prova.

No próximo PR, comece pelo contraexemplo

Escolha uma regra de negócio pequena e escreva uma entrada que deveria ser recusada ou um resultado que estaria errado. Depois, confira se o contrato e a verificação proposta realmente conseguem distinguir esse caso de um comportamento aceitável.

Só então peça à IA a implementação, os testes ou uma prova. Assim, você terá uma pergunta concreta para revisar quando ela disser que terminou.

Referências

Carregando publicação patrocinada...
2

Boa, essa tabela merece ficar fixada em todo repositório que delega teste pra IA.

Isso nem é problema exclusivo de agente, na minha experiência. Pede pra um humano "fazer isso bem". Sem dizer o que "bem" significa, a mesma lacuna aparece. Só que com gente demora mais pra descobrir: ninguém audita um "ok, entendi" do jeito que audita um PR.

O trecho que mais me pegou foi "a prova pode responder corretamente a uma pergunta insuficiente". E se a ficha também for escrita por uma IA? O problema não desce um nível. Só muda de lugar. Quem audita a ficha?

1

Meus 2 cents,

Quem audita a ficha?

"who watches the watchmen ?"

Mas o post original me fez lembrar quando comecei a aprender a programar (anos 80): meu gerente me ensinou a comecar pelo fim, fazer o levantamento dos dados (campos) que o usuario precisava que o programa gerasse (eram geralmente relatorios) antes de escrever o codigo, justamente para saber quais tabelas, origens ia ter de trabalhar, e tambem verificar se o usuario tinha a liberacao necessaria para acessar aquelas informacoes e so entao comecava a codificacao.

Se o relatorio funcionasse e o usuario aprovasse, ai que o gerente ia passar o olho no codigo para ver o tipo de salada que tinha feito, e me mostrar onde poderia melhorar, ser diferente, etc.

Saude e Sucesso !

1

Lucas, a dependência da propriedade escolhida é o ponto crítico: o validador só checa o que foi explicitado na especificação. JSON Schema valida estrutura e limites individuais, mas não executa aritmética entre campos como total == quantidade * preco por padrão. Para capturar essa relação de cálculo na validação, é necessário usar restrições lógicas avançadas (como if/then ou unequal) ou delegar a regra de negócio para um validador de domínio externo. A inconsistência do exemplo ocorre porque a regra de multiplicação não estava declarada no contrato, e não porque a ferramenta falhou em checar os tipos. Para esse cenário, você prefere impor a regra via extensão de schema que invoca um script ou manter a validação estrutural no schema e tratar a lógica de negócio no teste de integração?

1

Meus 2 cents,

Parabens pelo post !

Eh engracado que como vemos os modelos responderem como gente, esquecemos que eles nao sao pessoas e que precisam de orientacao explicita sobre o que deve ser testado e os resultados esperados.

Este problema que voce identificou geralmente um DEV pegaria de primeira, mas um agente pode considerar "normal".

Enfim, sao pontos que valem lembrar de revisar.

Obrigado por compartilhar !

Saude e Sucesso !


Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS