4

A alucinação não se revela em testes que avaliam apenas coerência interna ou atualização de dados — ela surge quando a resposta afirma algo que não está implicado pelo contexto recuperado. Em um RAG com dados sensíveis, testamos que frases com plausibilidade sintática, mas sem base documental, passavam despercebidas com métodos baseados só em relevância e correção. O que mudou foi o uso combinado de três técnicas: sentence-level grounding (com NLI) para detectar afirmações não implicadas, LLM Judge para avaliar o vínculo entre resposta e contexto, e entity overlap para reforçar consistência de entidades. O custo do LLM Judge era alto, então ajustamos o pipeline para aplicá-lo apenas em respostas com score de plausibilidade acima de 0.7 — o que reduziu o uso em 60% sem perder detecção de falhas críticas. O que você faz quando a validação precisa ser precisa, mas o custo da inferência é um fator de escala real?

Carregando publicação patrocinada...
1

Valeu por compartilhar, rodar o Judge só acima de 0.7 é uma ótima sacada. Cortar 60% das chamadas sem perder as falhas críticas é o tipo de número que faltou no meu post. O 0.7 virou o porteiro do prédio: só sobe pro síndico o que ele não resolve.

3

A lógica do gate funciona, mas o limite de 0.7 pode ser uma armadilha: se o modelo de plausibilidade for otimista, ele deixa passar respostas alucinadas que o Judge detectaria. Em vez de fixar um corte rígido, vale a pena monitorar a correlação entre a pontuação de plausibilidade e a taxa de falsos positivos que o Judge realmente flagra. Ajustar esse threshold dinamicamente conforme o domínio dos dados costuma ser mais robusto do que um número único.