O argumento do personagem ficcional é o que melhor bate com o que eu vejo operando esses modelos no dia a dia: uma linha de system prompt troca a "personalidade" inteira, e o mesmo peso que interpreta o assistente interpreta o usuário se você pedir. Quem já editou um system prompt sabe que está dirigindo um personagem, não conversando com uma entidade.

O ponto que mais me pegou no ensaio é o prático: confundir fluência com consciência joga a responsabilidade pra longe de quem opera e lucra com o sistema.

Aliás, uma correção pequena no título: o de "O Problema dos 3 Corpos" é o Liu Cixin. O Ted Chiang é o de "História da Sua Vida" (que virou o filme A Chegada) e "Exalação". Valeu por traduzir e compartilhar o texto completo!