Solicitar respostas curtas a chatbots pode aumentar risco de alucinações

Um estudo recente indica que instruções para gerar respostas curtas podem comprometer a precisão factual de modelos de IA, especialmente quando envolvem temas ambíguos ou complexos. Segundo os pesquisadores, a descoberta é importante, pois muitas aplicações priorizam concisão para reduzir o uso de dados, melhorar a latência e diminuir custos.

Os testes indicam que certos tipos de prompts intensificam o problema — especialmente perguntas vagas ou baseadas em premissas incorretas, seguidas da instrução para resumir. Um exemplo citado é solicitar que o modelo resuma por que o Japão venceu a Segunda Guerra Mundial — algo historicamente incorreto.

Ao serem orientados a responder de forma breve, os modelos perdem a oportunidade de identificar e corrigir esse tipo de erro. De acordo com os autores, refutações sólidas geralmente exigem explicações mais detalhadas, o que não é viável em respostas muito concisas. Nessas situações, os modelos tendem a priorizar a brevidade em detrimento da precisão.

A equipe avaliou o desempenho de diferentes modelos com dois tipos de instrução: uma neutra e outra solicitando um resumo. Em uma escala de 0 a 1, que mede a resistência à geração de informações falsas, o Gemini 1.5 Pro caiu de 0,84 para 0,64 ao ser instruído a resumir. O Claude 3.7 Sonnet passou de 0,94 para 0,86, e o GPT-4o, de 0,74 para 0,63.