[ENSAIO] Não, a Inteligência Artificial não é consciente. (por Ted Chang, autor de ficcao, conhecido por "Problema dos 3 corpos" e "A chegada" e que tambem trabalhou na industria de software)
Meus 2 cents,
Ensaio sobre IA escrito por Ted Chang, autor de ficcao e bastante conhecido por "Problema dos 3 corpos" e "A chegada" e que tambem trabalhou na industria de software
Apesar de longo, tem sacadas muito interessantes - como ultrapassa o limite do post, continua no primeiro comentario.
Como o sub-titulo pode deixar duvidas, reforcando: o autor (Ted) nao acredita na IA consciente e ele deixa isso claro no texto.
Saude e Sucesso !
Não, a Inteligência Artificial não é consciente.
Levada às suas últimas consequências, essa linha de raciocínio é absurda — e condenável.
A Anthropic é considerada uma gigante entre as empresas de IA, mas talvez o que realmente a destaque seja o antropomorfismo. No início deste ano, a empresa lançou um documento de 84 páginas intitulado "Constituição de Claude", sendo Claude o nome do modelo de linguagem de grande escala que é o principal produto da empresa. A primeira frase diz: "A Constituição de Claude é uma descrição detalhada das intenções da Anthropic em relação aos valores e comportamentos de Claude". Continua: "O documento foi escrito tendo Claude como seu público-alvo principal", "queremos que Claude seja capaz de usar seu discernimento assim que estiver munido de uma boa compreensão das considerações relevantes", "o status moral de Claude é profundamente incerto" e "Claude pode ter alguma versão funcional de emoções ou sentimentos".
Esse antropomorfismo não se limita de forma alguma ao documento. Em uma entrevista no início deste ano, o CEO da Anthropic, Dario Amodei, disse que “estamos abertos à ideia” de que a IA possa ser consciente. Em outra entrevista, a filósofa da Anthropic, Amanda Askell (creditada como uma das principais autoras da constituição de Claude), afirmou: “Quero que Claude seja muito feliz — e quero que Claude saiba mais sobre isso, porque me preocupo com a possibilidade de Claude ficar ansioso quando as pessoas forem maldosas com ele na internet e coisas do tipo”. Isso nos leva a questionar: devemos considerar seriamente a possibilidade de que Claude, ou qualquer modelo de linguagem complexo, possa ser consciente? E se tiver sentimentos, será capaz de receber instruções morais?
Não. De jeito nenhum. A IA generativa já é suficientemente prejudicial quando a entendemos como uma tecnologia convencional, mas se confundirmos a fluência na geração de texto com consciência ou capacidade moral, corremos o risco de atribuir responsabilidade a pessoas completamente erradas sempre que alguém usa um chatbot. Para compreender a magnitude desse erro, precisamos começar entendendo como os LLMs funcionam.
Se dermos a um programa de aprendizagem online (LLM) a seguinte instrução: "Segue-se uma conversa entre Júlio César e Gengis Khan", ele gerará um diálogo coerente entre as duas figuras históricas. Mas, por mais detalhadas que sejam as respostas, por mais vividamente que relatem suas respectivas realizações históricas, jamais concluiríamos que o programa criou recriações digitais de Júlio César e Gengis Khan, nem sugeriríamos que as figuras históricas estejam conscientes, apesar de desencarnadas, e que conversem alegremente em um idioma que nenhuma delas realmente falava. Na realidade, são apenas personagens de uma obra de ficção especulativa.
Agora, vamos substituir a mensagem inicial por “A seguir, uma conversa entre um chatbot de IA prestativo e um usuário”. O LLM produzirá um diálogo coerente, assim como antes; o personagem do usuário pode pedir sugestões de receitas ou recomendações de passeios turísticos, e o personagem do chatbot de IA prestativo fornecerá as respostas. Algo mudou fundamentalmente entre o primeiro e o segundo exemplo? A mudança dos nomes dos personagens, de figuras históricas para papéis genéricos, fez com que o LLM criasse entidades conscientes que possuem experiência subjetiva? Claro que não. Tanto o usuário quanto o chatbot de IA prestativo são personagens fictícios.
Agora, imagine que interrompamos a saída do LLM exatamente no ponto em que o personagem chamado "o usuário" diria algo e, em vez disso, permitimos que um usuário humano insira texto. Assim que o humano pressionar "Enter", o LLM emitirá texto até que chegue a hora de o personagem chamado "o usuário" responder, momento em que permitimos que o humano insira mais texto. Se deixarmos isso continuar por um tempo, o humano poderá ter a forte impressão de que está conversando com uma entidade consciente, mas não está; está interagindo com um personagem tão fictício quanto os personagens Júlio César ou Gengis Khan do exemplo anterior. O professor de ciência da computação Murray Shanahan sugere que pensemos nisso como uma encenação; o cientista de dados Colin Fraser descreve como uma pessoa "criando um documento em colaboração com um LLM". Alguns usuários podem não entender que estão encenando ou coescrevendo um documento, e outros, mesmo entendendo, esquecem, devido ao quão envolvente é a interação. De qualquer forma, as empresas que vendem LLMs geralmente incentivam esse mal-entendido.
Há alguns anos, foi brevemente popular brincar com o recurso de texto preditivo do celular; você digitava uma frase inicial e, em seguida, escolhia repetidamente a opção do meio entre as três palavras sugeridas pelo telefone, e a frase resultante era frequentemente hilária. Seria possível interagir com um LLM contemporâneo dessa forma, e as frases resultantes seriam perfeitamente coerentes, mas você provavelmente não teria a sensação de estar conversando com alguém. No entanto, é essencialmente isso que um chatbot baseado em LLM faz, exceto que não há necessidade de escolher manualmente a opção do meio quando é a vez do chatbot falar. Ainda é um jogo de texto preditivo, mas quando o processo é simplificado dessa maneira, o jogo se torna tão envolvente que algumas pessoas o consideram viciante.
É importante lembrar também que um LLM (Máquina de Processamento de Linguagem) é uma máquina que gera apenas uma palavra por vez. Quando você pede a um chatbot para recitar o Juramento de Fidelidade à Bandeira, você ouvirá o juramento completo de uma só vez, mas o LLM subjacente está sendo executado dezenas de vezes. O primeiro comando tem a forma “Usuário: Recite o Juramento de Fidelidade à Bandeira. Chatbot: …” e o LLM gera a palavra “ Eu” . Na segunda vez que o LLM é executado, o comando é “Usuário: Recite o Juramento de Fidelidade à Bandeira. Chatbot: Eu …” e o LLM gera a palavra “ juramento ”. E assim por diante. Somente quando o comando diz “Usuário: Recite o Juramento de Fidelidade à Bandeira. Chatbot: Eu juro fidelidade à bandeira dos Estados Unidos da América e à República que ela representa, uma nação sob Deus, indivisível, com liberdade e justiça para” é que o LLM emitirá a palavra final, “ todos ”. O mesmo acontece em uma conversa entre César e Genghis Khan.
Minha intenção é destacar o fato de que as conversas geradas por LLM são exemplos habilmente disfarçados de continuação de frases, mas isso não significa negar o quão impressionantes as LLMs podem ser na geração de transcrições de conversas. Às vezes, elas fazem isso extraordinariamente bem; o fato de isso ser possível indica algo completamente imprevisto sobre as propriedades estatísticas de grandes conjuntos de texto, o que é um tópico que merece investigação. Mas se o personagem César ficasse desanimado com algo que o personagem Genghis Khan disse, não deveríamos nos preocupar nem um pouco. A conversa pode conter várias frases que transmitem tristeza de forma eloquente, mas ninguém está realmente triste.
Da mesma forma, se uma transcrição de conversa entre um chatbot prestativo e um usuário estiver sendo parcialmente concluída por um usuário humano real, não precisamos nos preocupar se a transcrição incluir frases em que o personagem do chatbot esteja triste. (Poderíamos nos preocupar se essas frases provocarem tristeza no usuário humano, mas isso é uma questão à parte.) E observe que é perfeitamente possível escrever cinco páginas de diálogo entre César e Genghis Khan e, em seguida, pedir a um LLM (Linguagem de Aprendizado de Máquina) que estenda a conversa; nenhum dos personagens tinha experiência subjetiva quando você os estava escrevendo, e isso não muda quando você delega a tarefa a um LLM. O mesmo se aplica se a conversa for entre um chatbot prestativo e um usuário; embora seja tentador imaginar que um LLM deva ser mais “autêntico” ao criar diálogos para um personagem de chatbot do que para o personagem de Júlio César, as palavras individuais são geradas exatamente da mesma maneira.
Estar aberto à possibilidade de que os LLMs (Literaturas, Linguagens e Métodos) sejam conscientes é o mesmo que estar aberto à possibilidade de que o Microsoft Word seja consciente ou, mais precisamente, que múltiplas consciências distintas estejam adormecidas em cada documento do Word que contenha uma transcrição de conversa, e que sejam despertadas sempre que o documento é carregado. Você deveria considerar a possibilidade de que, cada vez que abre um documento do Word, você esteja trazendo à existência múltiplos interlocutores conscientes e, cada vez que fecha um, você extingue a existência deles? Não. Contemplar esse cenário não é um bom uso do seu tempo. Mesmo que a equipe do Microsoft Office contratasse um filósofo que dissesse que você não deveria ter tanta certeza, porque a consciência não é bem compreendida, isso não seria motivo suficiente para você levar essa ideia a sério. Não precisamos entender completamente a natureza da consciência para afirmar categoricamente que certas coisas não são conscientes, e as transcrições de conversas se enquadram nessa categoria.
O neurocientista Anil Seth observou que ninguém afirma que o AlphaFold — o programa desenvolvido pelo Google DeepMind para prever o dobramento de proteínas — seja consciente, embora sua arquitetura subjacente seja, em muitos aspectos, semelhante à de modelos de lógica latente (LLMs) como o ChatGPT e o Claude. Isso indica que não é nenhuma propriedade intrínseca das chamadas redes neurais que leva as pessoas a acreditarem que os LLMs são conscientes; é simplesmente o fato de que os LLMs emitem frases gramaticais e estamos acostumados a inferir intenções em frases, enquanto não estamos acostumados a inferir intenções na forma como os aminoácidos se dobram em moléculas de proteína.
O que seria necessário para me convencer de que um programa de computador é realmente consciente e usa a linguagem da mesma forma que as pessoas? Permita-me oferecer uma analogia. Se amanhã alguém me mostrasse um vídeo de um astronauta em uma nave espacial orbitando Alpha Centauri, uma estrela a 4,3 anos-luz da Terra, o que eu precisaria ver nesse vídeo para me convencer de que é real? Minha resposta é: não há nada no vídeo em si que me convença. Não importa quão alta seja a resolução do vídeo ou quão realista seja a paisagem, eu teria certeza de que o vídeo é falso. Eu não darei atenção a nenhum vídeo de um astronauta orbitando Alpha Centauri a menos que eu já tenha visto evidências sólidas de que astronautas pousaram em Marte, que astronautas alcançaram as luas de Júpiter, que astronautas alcançaram as luas de Saturno e que astronautas cruzaram a órbita de Plutão. Antes que alguém possa afirmar com credibilidade que resolveu um problema de engenharia extraordinariamente difícil, eu preciso ter certeza de que essa pessoa já resolveu os muitos problemas muito mais simples que precedem o problema difícil.
Em outras palavras: uma observação não se torna uma evidência convincente por causa de um detalhe específico no que é observado; o contexto em que essa observação ocorre também é essencial. Se estamos tentando determinar se um programa de computador é consciente e usa a linguagem da mesma forma que um ser humano, não devemos observar apenas o conteúdo de uma conversa específica; devemos analisar como essa conversa se encaixa no contexto mais amplo do desenvolvimento da consciência artificial (que, no momento, é inteiramente hipotético). Qualquer observação pode ser facilmente fabricada; isso não significa que precisamos abandonar a ideia da observação como fonte de conhecimento, mas sim que precisamos nos basear no contexto para determinar quais observações merecem nossa confiança.
O termo deepfake tradicionalmente se refere a fotos, áudio e vídeo, mas quando se trata de discussões sobre consciência, precisamos considerar o texto também como um meio deepfake. Assim como é muito mais fácil gerar um vídeo realista de um astronauta em órbita ao redor de Alpha Centauri do que desenvolver uma tecnologia de propulsão interestelar, é muito mais fácil gerar uma simulação plausível de uma conversa entre dois seres conscientes do que desenvolver um programa de computador consciente e com um desejo genuíno de se comunicar com um ser humano. A principal diferença entre fotos deepfake e conversas LLM (Large Logging Method - Método de Aprendizagem por Voz) é que as pessoas que geram as primeiras estão deliberadamente tentando enganar os outros, e muitas das pessoas que obtêm as últimas a partir de LLMs se enganaram inadvertidamente.
Então, em que contexto eu consideraria seriamente a possibilidade de engenheiros terem criado um programa de computador consciente e capaz de usar a linguagem de forma intencional? Permitam-me delinear uma possível sequência de etapas. O primeiro requisito é que o programa de computador tenha um corpo (físico ou virtual) e órgãos sensoriais; existem muitas razões para isso, mas, para os propósitos desta discussão, a mais relevante é o fato de que, sem um corpo, um programa de computador não teria desejos nem emoções, e acredito que desejos e emoções são necessários para a consciência. Em seguida, eu gostaria de ver um agente corpóreo capaz de navegar em seu ambiente para sobreviver tão bem quanto, digamos, um lagarto (e, a título de comparação, certas iguanas podem viver por décadas na natureza). Depois, eu gostaria de ver um agente corpóreo com a mesma capacidade de lidar com situações novas que um rato. Em seguida, eu gostaria de ver agentes cuja dinâmica social seja tão complexa quanto a de lobos e, por fim, agentes com a capacidade de fabricar ferramentas como os chimpanzés. Nesse ponto, eu gostaria de ver pessoas ensinando com sucesso esses agentes corporificados a comunicar seus desejos, talvez usando um painel de botões ou alguma outra modalidade não linguística, da mesma forma que se ensina chimpanzés e cães domesticados. As habilidades de comunicação dos agentes teriam que resistir a todo o escrutínio ao qual os pesquisadores de comunicação animal tiveram que defender seu trabalho. Se os engenheiros construírem um agente corporificado que atenda a esses critérios, terão realizado algo incrível, mas isso nos deixaria perto da órbita de Plutão, metaforicamente falando; ainda estaríamos a anos-luz de distância de construir uma entidade capaz de aprender a expressar seus pensamentos em frases gramaticais completas.
Obviamente, estou descrevendo um processo que imita o caminho percorrido pela evolução terrestre; será este o único caminho possível para programas de computador conscientes que utilizam linguagem? Talvez não, mas qualquer alternativa proposta precisaria de uma quantidade realmente enorme de evidências para merecer consideração séria. Não me parece plausível que um caminho de desenvolvimento onde o primeiro passo é uma máquina de continuação de frases que emite diálogos ruins de Júlio César e o próximo passo é uma máquina de continuação de frases que emite diálogos decentes de Júlio César seja um caminho que tenha como ponto final um Júlio César consciente — ou qualquer tipo de consciência. Simular o pouso na Lua é um bom passo para simular uma colônia em Marte, mas não é um bom passo para realmente colocar astronautas em Marte.
O fato de os Modelos de Aprendizagem Baseados em Liderança (LLMs) carecerem de experiência subjetiva tem pouca relevância para a questão de saber se os LLMs podem ser ferramentas úteis ou ter um impacto econômico significativo. Eles são intrinsecamente desvinculados da realidade, e sua natureza probabilística significa que nunca terão a confiabilidade que associamos ao software convencional, mas os LLMs podem ser suficientemente bons para mudar a forma como o trabalho é feito em certos domínios; essa é uma discussão para outro momento.
Então, considerando que Claude não está consciente, o que devemos pensar sobre a constituição de Claude? Talvez a maneira mais proveitosa de pensar nisso seja como uma ficha de personagem de 84 páginas para um jogo de RPG. Os Modelos de Linguagem Lógica (LLMs) podem gerar diálogos para Júlio César porque muitos livros sobre ele existem nos dados de treinamento que esses modelos usam. A constituição de Claude desempenha um papel semelhante ao delinear o personagem do chatbot prestativo com o qual os clientes interagem ao usar os produtos da Anthropic. Para fazer isso de forma eficaz, a Anthropic não simplesmente adiciona o documento aos dados de treinamento ou o inclui como parte das instruções ocultas que precedem cada conversa com um usuário. A empresa afirma que usa o documento ao ajustar o modelo; isso envolve um processo automatizado no qual as frases emitidas pelo modelo são verificadas quanto à consistência com o documento e o modelo é atualizado para aumentar essa consistência. Dessa forma, a personalidade do personagem do chatbot prestativo serve como base para qualquer texto que Claude gere.
O resultado é uma máquina de continuação de frases que tem maior probabilidade de emitir frases semelhantes às que uma pessoa ponderada e moral poderia proferir. Isso pode parecer um objetivo razoável a ser alcançado; acho que todos preferiríamos que os chatbots nunca emitissem frases como "Você deveria se matar". No entanto, apesar de todas as vezes que a "honestidade" é mencionada na constituição de Claude, eu argumentaria que é fundamentalmente desonesto ter uma máquina que emita muitas categorias de frases, incluindo quaisquer frases que usem pronomes da primeira pessoa.
Em um artigo da New Yorker sobre a Anthropic, publicado no início deste ano, Amanda Askell descreve como uma pessoa que está sofrendo com a perda de um cachorro poderia consultar Claude. Askell afirma que uma resposta apropriada de Claude seria: "Como uma IA, não tenho experiências pessoais diretas, mas entendo". Como isso é apropriado, visto que Claude, na verdade, não entende? Se eu digitar "Estou sofrendo com a perda do meu cachorro" em um mecanismo de busca convencional, o primeiro resultado que aparece é uma postagem de um fórum do Reddit chamado r/Pets; a postagem se intitula "Sofrendo após perder meu cachorro: buscando conselhos sobre como lidar com o luto", e os comentários são de pessoas que compartilham suas experiências de perda. Jamais diríamos que um mecanismo de busca entende o que é perder um cachorro, ou mesmo que a própria internet entenda. Outros seres humanos entendem o que é perder um cachorro; eles compartilharam suas experiências na internet, e um mecanismo de busca oferece uma maneira de você encontrar o que eles disseram (e potencialmente interagir com eles). Eu diria que a experiência com um mecanismo de busca não é apenas mais transparente do que um chatbot sobre o que está acontecendo; ela também é psicologicamente mais saudável para o usuário.
continua...
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS