Escritores que não sabem que estão escrevendo

Sobre a natureza fictícia dos grandes modelos de linguagem

LLMs não raciocinam sobre o mundo. Raciocinam sobre texto que descreve o mundo — o que não é a mesma coisa. Eles escrevem sobre o mundo com fluência suficiente para parecer que sabem do que falam. O problema não é a limitação. É a ausência de consciência dela.

O problema

Um escritor que não sabe que está escrevendo não assina o texto. Ele o entrega como fato. Essa é a condição estrutural dos modelos de linguagem: produzem outputs que transitam entre ficção e realidade sem marcar a fronteira — porque não têm acesso a ela.

Verificação existe, mas é opcional, inconsistente e não cobre a maior parte do que é produzido. O modelo não sabe distinguir quando está operando com ou sem ela. Não há feedback do mundo. Há apenas o próximo token mais provável, gerado a partir de padrões em texto humano — texto que mistura ciência, mito, erro e brilhantismo sem distinção.

Um modelo de linguagem é um mapa com precisão desconhecida e variável. O problema não é o mapa estar errado. É o mapa não saber onde está errado — e não marcar isso.

A ilusão de coerência

Coerência interna não é evidência de verdade externa. Um sistema pode construir argumentos consistentes, usar notação correta, citar fontes plausíveis — e ainda assim descrever algo que não existe. A linguagem técnica é aprendida separadamente do referente que deveria descrever.

Isso não é um bug a ser corrigido na próxima versão. É uma consequência direta da arquitetura: modelos treinados em texto aprendem a distribuição da linguagem, não a distribuição da realidade.

O que isso implica

Que a utilidade de um LLM é inversamente proporcional ao grau em que o usuário delega a ele a verificação da verdade. Ele funciona como andaime — útil para construir, perigoso para habitar.

E que os limites reais não são de criatividade ou de domínio. São de ancoragem. Sem execução real, sem loop de verificação, sem dados que existem agora — qualquer output é uma hipótese bem escrita.

A solução não é desconfiar de tudo. É saber exatamente o que se está usando: uma ferramenta que gera rascunhos plausíveis do mundo, não relatórios dele.

O que fica

A atenção ainda é tudo o que temos. Mas prestar atenção num modelo de linguagem significa prestar atenção no que ele não pode saber — e nunca confundir fluência com conhecimento.