Solução da OpenAI para alucinações poderia reduzir uso do ChatGPT

Um artigo de pesquisa da OpenAI analisa as causas das chamadas alucinações em modelos de linguagem, como o ChatGPT. O estudo apresenta uma explicação matemática mostrando que, mesmo com dados de treinamento perfeitos, o problema persiste devido à própria forma como esses sistemas funcionam.

Como a geração de respostas ocorre palavra por palavra, com base em probabilidades, erros acabam sendo inevitáveis. Os pesquisadores demonstram que a taxa de erros em sentenças completas é pelo menos o dobro daquela observada em perguntas simples de “sim ou não”, já que falhas podem se acumular ao longo de várias previsões. Além disso, quanto menos vezes um fato aparece nos dados de treinamento, maior a probabilidade de o modelo alucinar ao ser questionado sobre ele.

A proposta da OpenAI é que os modelos passem a considerar seu próprio nível de confiança antes de formular uma resposta, o que também passaria a ser avaliado nas métricas de desempenho. Um exemplo seria instruir a IA a responder apenas quando atingir mais de 75% de confiança, já que erros custariam três pontos enquanto acertos valeriam um ponto.

Embora essa abordagem reduza significativamente as alucinações, ela traz desafios para a experiência do usuário. Se o ChatGPT começasse a responder “não sei” em cerca de 30% das interações, muitos usuários, habituados a respostas assertivas em praticamente qualquer contexto, poderiam abandonar a ferramenta.

Mesmo que a resistência à incerteza fosse superada, há ainda o custo computacional, em que modelos conscientes do próprio nível de confiança precisam avaliar múltiplas possibilidades de resposta e calcular o grau de certeza de cada uma. Por outro lado, em áreas críticas como logística de cadeia de suprimentos, negociações financeiras ou diagnósticos médicos, o custo das alucinações é muito maior do que o de calcular a confiança do modelo.