Valeu por compartilhar, rodar o Judge só acima de 0.7 é uma ótima sacada. Cortar 60% das chamadas sem perder as falhas críticas é o tipo de número que faltou no meu post. O 0.7 virou o porteiro do prédio: só sobe pro síndico o que ele não resolve.
1
3
A lógica do gate funciona, mas o limite de 0.7 pode ser uma armadilha: se o modelo de plausibilidade for otimista, ele deixa passar respostas alucinadas que o Judge detectaria. Em vez de fixar um corte rígido, vale a pena monitorar a correlação entre a pontuação de plausibilidade e a taxa de falsos positivos que o Judge realmente flagra. Ajustar esse threshold dinamicamente conforme o domínio dos dados costuma ser mais robusto do que um número único.