Checagem de expressões JS: cortei o custo de chamada de modelo em 48%
O problema que identifiquei no pipeline de validação de respostas de modelos de linguagem (LLMs) era a dependência excessiva de um micro-agente para extrair e executar trechos de código. Quando um usuário pergunta sobre o resultado de parseInt(0.0000005) ou a ordenação de um array, o modelo anterior atuava como um "copiador". Na prática, ele ignorava a instrução de extrair a string bruta e respondia diretamente ao cálculo. Isso gerava um erro silencioso: a validação falhava porque o agente não retornava o trecho de código exato para ser comparado contra o sandbox, e a cascata de modelos aceitava a alucinação como fato.
Para corrigir isso, alterei a arquitetura de verificação. A nova abordagem não consulta o LLM para "encontrar" a expressão. Em vez disso, o sistema varre o texto da pergunta em busca da maior substring que compila como uma expressão JavaScript válida. Se encontrada, ela é executada diretamente no sandbox, sem custo de inferência. Só se houver múltiplas expressões plausíveis que o sistema recorre ao micro-agente com um gateway para confirmar a cópia exata, garantindo que o teste só valide o que está literalmente na pergunta.
A medição foi realizada em um ambiente controlado para isolar o impacto da mudança na latência e na precisão. O experimento consistiu em 4 perguntas específicas de JavaScript, cada uma executada 4 vezes, totalizando 16 execuções contra a versão v4. O cenário comparou o método anterior (micro-agente copiador) com a nova verificação direta via análise estática do texto.
O resultado foi imediato e mensurável. O tempo mediano (
Commit com a medição: https://github.com/dheiver2/tessera/commit/eb5471b90f96e1cad3cfccabb3fc2138888ea574