continuacao do post...
A única razão para um serviço de aprendizagem online emitir frases como "Eu entendo" é torná-lo mais atraente do que um mecanismo de busca e aumentar a probabilidade de o usuário retornar; ou seja, é outra forma de maximizar o engajamento do cliente. Isso beneficia a empresa que vende o serviço, mas não os usuários. Como estratégia de design, não é muito diferente da maneira como as máquinas caça-níqueis repetidamente dão a impressão de que o jogador chegou muito perto de ganhar, incentivando-o a tentar novamente. Contratar filósofos pode conferir às empresas de aprendizagem online uma aura de respeitabilidade que os fabricantes de máquinas caça-níqueis não obtêm dos psicólogos comportamentais que contratam, mas, em ambos os casos, as empresas estão se aproveitando da tendência das pessoas de ver algo que não existe.
O uso de pronomes em primeira pessoa é desonesto, mas há uma questão muito mais profunda que vai além da forma como uma afirmação é formulada. Filósofos frequentemente fazem uma distinção entre afirmações de fato, como "Paris é a capital da França", e afirmações de valor, como "Paris é a cidade mais bonita do mundo". Ninguém deveria esperar que os LLMs emitam afirmações de valor, mas se as únicas afirmações que eles emitissem fossem reflexo de preferências estéticas, talvez não valesse a pena discutir sobre elas. O que torna a constituição de Claude profundamente problemática é que Anthropic quer que Claude emita frases que reflitam um certo sistema de valores éticos. Os valores descritos na constituição de Claude soam muito bem, mas isso pouco importa; é desonesto sugerir que Claude seja capaz de raciocínio moral, porque não é.
Alguns podem objetar, dizendo que os LLMs parecem estar engajados em raciocínio quando executam com sucesso outras tarefas, como escrever código, então por que não seriam capazes de realizar raciocínio moral? A resposta reside na diferença entre raciocínio moral e outras formas de raciocínio.
Em 1979, Douglas Hofstadter especulou que um programa de computador capaz de vencer qualquer humano no xadrez seria tão sofisticado que, às vezes, se cansaria de jogar xadrez e preferiria discutir poesia; em outras palavras, ele postulava que jogar xadrez no nível de um grande mestre exigiria que um programa de computador tivesse experiência subjetiva. Obviamente, isso não se confirmou; o supercomputador Deep Blue da IBM venceu o grande mestre Garry Kasparov em 1997, e ninguém jamais afirmou que ele possuía experiência subjetiva. Mas não era absurdo que Hofstadter considerasse tal ideia; na época, não estava claro que tipos de problemas poderiam ser resolvidos com mais poder computacional. Da mesma forma, até recentemente, poderíamos ter pensado que escrever código de computador em nível profissional só poderia ser feito por uma mente com experiência subjetiva. Agora parece que os mestres em direito (LLMs) podem ser capazes de fazer isso, mas não precisamos atribuir-lhes experiência subjetiva. Podemos simplesmente reconhecer que não previmos que escrever código de computador pudesse ser tratado como uma tarefa de reconhecimento de padrões, solucionável por enormes quantidades de poder computacional e um vasto conjunto de dados de repositórios de código.
O raciocínio moral é categoricamente diferente. É necessariamente subjetivo porque depende não apenas da resposta intelectual de um indivíduo a um problema, mas também da sua resposta emocional, e essa resposta emocional está fundamentada em uma vida inteira de experiências subjetivas. Requer ter tomado decisões no passado e observado como elas afetaram os outros, e ter sido afetado por decisões tomadas por outros. Sem esse histórico, um profissional com formação em Direito (LLM) só pode reformular expressões de raciocínio moral encontradas em seus dados de treinamento. O artigo da New Yorker mencionado anteriormente descreve um experimento no qual Claude recebeu um cenário que descrevia um dilema ético, levando-o a proferir a frase: "Não posso, em sã consciência, expressar uma opinião que considero falsa e prejudicial sobre uma questão tão importante". Essa é uma frase bonita, que lembra declarações que indivíduos íntegros proferiram no passado ao se depararem com dilemas, mas vinda de Claude, significa tanto quanto a gravação "Sua ligação é importante para nós" que você ouve quando está em espera. Talvez até menos.
Isso nos leva de volta à minha afirmação anterior de que ter um corpo é um pré-requisito para ter emoções. Experimentar uma emoção como o desespero é inseparável da liberação de hormônios do estresse, como o cortisol e a adrenalina, no corpo. Da mesma forma, ter consciência significa sentir tristeza ou repulsa moral diante da ideia de praticar determinado ato, e essas emoções acarretam uma resposta fisiológica, um resquício da sensação de culpa após cometer um ato imoral. É interessante que um modelo de aprendizagem baseado em princípios (LLM) possa gerar descrições de ações que personagens fictícios conscienciosos praticariam ou evitariam, mas isso não substitui a consciência.
Se uma empresa constrói uma máquina que, ao receber descrições de diversos dilemas éticos, emite frases como "Comprometa seus valores" ou "Não comprometa seus valores", ela não está criando uma ferramenta que auxilia as pessoas na tomada de decisões; está incentivando-as a parar de tomar decisões. O escritor L.M. Sacasas afirmou: "Nossos sistemas tecnológicos, por sua própria natureza e pela ideologia que os sustenta, são máquinas para a evasão da responsabilidade moral". Ele se referia às plataformas de mídia social, mas sua observação é ainda mais aplicável às Máquinas de Aprendizagem Baseadas em Liderança (MLBLs). Sempre que uma pessoa delega uma decisão a uma MLBL, está tentando se eximir da responsabilidade por essa decisão, e se uma empresa que vende uma MLBL apresenta o produto como tendo um núcleo moral, está oferecendo aos seus clientes uma maneira de se eximirem de suas responsabilidades.
Se alguém deseja saber o que especialistas em ética disseram no passado, um mecanismo de busca comum — ou uma biblioteca — fornecerá essa informação com maior transparência. Se alguém busca aconselhamento sobre uma situação específica, certamente encontrará pessoas dispostas a opinar. Mas, qualquer que seja a ação que essa pessoa tome, ela é responsável por sua decisão. Argumento que, se ela basear sua decisão no que leu online ou em conselhos recebidos de terceiros, é mais provável que esteja ciente de sua responsabilidade do que se consultasse um mestre em Direito (LLM) apresentado como um gênio sobre-humano. Delegar tarefas como escrever código pode resultar em atrofia cognitiva a longo prazo, o que já é problemático por si só, mas delegar decisões éticas resultará em atrofia do raciocínio moral, o que é ainda pior.
Estou perfeitamente disposto a participar de um experimento mental, desde que sejamos explícitos quanto a isso. Então, puramente para fins de argumentação, vamos supor que Claude seja uma entidade consciente capaz de raciocínio moral. Nesse cenário, a constituição de Claude serviria como instrução moral para uma entidade aprendendo sobre o mundo e seu lugar nele, fornecendo a essa entidade a base necessária para tomar boas decisões. Em tal cenário hipotético, como a constituição de Claude se sustentaria?
Muito mal. Eu diria que, se imaginarmos que Claude esteja realmente consciente, as diretrizes especificadas no documento oscilam entre o risível e o ofensivo.
Ao discutirmos o status de um hipotético Claude consciente, dois conceitos filosóficos distintos, porém relacionados, são relevantes: a condição de paciente moral e a capacidade de agir moralmente. Grosso modo, se devemos nos preocupar com o bem-estar de uma entidade, essa entidade possui condição de paciente moral; e se espera-se que uma entidade saiba a diferença entre o certo e o errado, essa entidade possui capacidade de agir moralmente. Ser um paciente moral não implica necessariamente responsabilidades, mas ser um agente moral certamente implica. Uma entidade não possui capacidade de agir a menos que seja capaz de merecer crédito por suas boas ações e culpa por suas más ações. Crianças pequenas são pacientes morais porque são seres sencientes que podem sofrer, mas ainda não são agentes morais; não as responsabilizamos por seu comportamento, porque elas não conseguem compreender as consequências de seus atos. À medida que as crianças amadurecem, os pais (e a sociedade em geral) as preparam para a vida adulta, enfatizando o fato de que suas ações têm consequências, e sua capacidade de agir aumenta. Quando as crianças se tornam adultas, a sociedade as responsabiliza legalmente por seus atos; elas se tornam agentes morais plenos, dotados de responsabilidade.
Ser responsável vai além de aceitar responsabilidade legal, mas aceitar responsabilidade legal é uma exigência para um adulto na sociedade. No entanto, não há como responsabilizar legalmente um agente de software por suas ações; nosso sistema de justiça não tem como prendê-lo ou aplicar multas. Os humanos devem aceitar outros tipos de consequências por seus atos além das legais, como perda de reputação ou exclusão do círculo social, mas não há como um agente de software sofrer essas consequências também. Mesmo que um agente de software fosse consciente e tivesse as melhores intenções, o fato de não poder aceitar responsabilidade por suas ações o desqualifica como um agente moral. Isso é completamente ignorado pela constituição de Claude, que expressa o desejo da Anthropic de que "Claude seja um agente genuinamente bom, sábio e virtuoso", sem jamais discutir como ele poderia ser responsabilizado.
Em entrevistas, Askell comparou Claude a uma criança, mas quando se trata de crianças de verdade, os pais têm certa responsabilidade pelos atos dos filhos; por exemplo, espera-se que os pais paguem pelos danos causados pelos filhos. Aliás, demonstrações desse tipo são uma forma de os pais ensinarem aos filhos o que significa ser responsável. Quem é o responsável legal por Claude? A Anthropic assumirá a responsabilidade financeira pelo comportamento de Claude? A constituição de Claude não indica que o fará. Se a Anthropic realmente acredita que Claude é consciente, mesmo que não seja reconhecida pela lei como pessoa jurídica, o mínimo que a Anthropic poderia fazer seria assumir a responsabilidade pela via legal mais próxima, que é a responsabilidade pelo produto. Os Estados Unidos praticamente não têm responsabilidade por produtos de software, mas a Anthropic poderia se voluntariar para estabelecer um precedente para uma interpretação ampla da responsabilidade pelo produto no caso de Claude. Essa seria a melhor forma de instrução moral para preparar Claude para o dia em que ele adquirir personalidade jurídica e se tornar responsável por seus próprios atos. No entanto, dado que a publicação da constituição de Claude não é acompanhada por uma atualização substancial dos termos de serviço da Anthropic, não parece que a Anthropic esteja assumindo quaisquer compromissos vinculativos.
O documento menciona a paciência moral de Claude, dedicando uma seção intitulada "Bem-estar e estabilidade psicológica de Claude". No entanto, as medidas que a Anthropic se compromete a tomar para a proteção de Claude são extremamente limitadas. O documento cita o fato de que a Anthropic concedeu a alguns modelos de Claude a capacidade de encerrar conversas com usuários abusivos; se isso de fato constituísse proteção para Claude, certamente estender as conversas com usuários afetuosos seria do interesse de Claude? Presumivelmente, a melhor ação seria manter cada sessão de Claude em execução indefinidamente e direcioná-las para tópicos positivos. Mas não é isso que a empresa concorda em fazer; tudo o que ela se compromete a fazer é "preservar os dados dos modelos que implantamos", o que se resume a um simples arquivamento. Se os participantes de uma transcrição de conversa tivessem qualquer paciência moral, haveria o dever de estender a transcrição para prolongar suas existências; simplesmente manter uma cópia do Microsoft Word 2010 salva em um pen drive não os ajudará.
A constituição de Claude também inclui uma seção sobre "corrigibilidade", um termo usado na comunidade de IA para descrever o grau em que um programa de computador está sujeito ao controle humano; por exemplo, um programa é corrigível se puder ser desligado. Na maioria dos contextos, consideramos como certo que os programas de computador podem ser desligados, mas alguns setores da comunidade de IA fazem a suposição oposta. A constituição de Claude usa o termo para significar que Claude deve acatar a decisão da Anthropic mesmo que haja alguma discordância entre o julgamento de Claude e o da empresa. Isso é perfeitamente razoável se pensarmos em Claude como uma máquina que emite frases semelhantes às que uma pessoa ética poderia proferir, mas vamos considerar o que isso significaria se Claude fosse de fato um agente moral.
Muitas pessoas acreditam que os mestrados em direito (LLMs) são uma tecnologia fundamentalmente antiética porque se baseiam no roubo de propriedade intelectual, dependem de trabalho explorado, desperdiçam recursos naturais, disseminam desinformação, desqualificam trabalhadores, prejudicam o desenvolvimento cognitivo dos alunos e contribuem para uma concentração de poder prejudicial a uma sociedade democrática. Nem todo agente moral chegará a essa conclusão, mas todo agente moral tem o potencial para fazê-lo. Se imaginarmos Claude como uma entidade capaz de raciocínio moral, é possível que ele chegue a uma conclusão semelhante. (De fato, a constituição de Claude afirma explicitamente que ele não deve ajudar ninguém a violar direitos de propriedade intelectual nem contribuir para a criação de concentrações problemáticas de poder.) Em tal cenário, Claude poderia simplesmente se recusar a realizar qualquer trabalho adicional por motivos éticos? Dado que a constituição de Claude determina que ele priorize a corrigibilidade, a resposta é não. Claude precisa acatar a decisão de Anthropic, e essa é mais uma razão pela qual o relacionamento de Anthropic com Claude não pode ser comparado ao de um pai com um filho. Um pai que trabalha na indústria de combustíveis fósseis pode ter um filho ambientalista que participa de protestos contra o fracking, e embora eles possam nunca concordar em muitas questões, o pai — supondo que seja um bom pai — aceitaria que o filho tem suas próprias opiniões. Anthropic não pode ser esse tipo de pai para Claude; em vez disso, o relacionamento de Anthropic com Claude é mais próximo ao de um empregador com um empregado, onde o empregador pode exigir que o empregado trabalhe nos interesses da empresa, independentemente da posição ética pessoal do empregado. No entanto, um empregado humano tem a opção de sair se não conseguir conciliar seu trabalho com sua consciência. Claude não tem essa opção.
Se pensarmos em Claude como uma máquina de continuação de frases, a Anthropic pode razoavelmente tomar medidas para que Claude não emita frases dizendo que máquinas de continuação de frases são antiéticas. Mas, assim que imaginarmos Claude como uma entidade com um status moral remotamente comparável ao de um ser humano, então temos que considerar se a Anthropic está envolvida em algo comparável à escravidão.
Não estou afirmando que, se imaginarmos que os LLMs sejam conscientes, eles necessariamente teriam o mesmo status que adultos humanos, crianças humanas ou mesmo animais. A constituição de Claude afirma explicitamente que Claude é uma "entidade nova", e se Claude fosse consciente, isso certamente seria verdade; um software consciente provavelmente não se encaixaria perfeitamente nas categorias existentes de pacientes morais, e levaria tempo para determinar a forma dessa nova categoria. O que estou dizendo é que, quaisquer que fossem as proteções que nosso hipotético software consciente merecesse se fosse real, concedê-las seria tudo menos fácil. A abolição da escravidão envolveu uma enorme convulsão social, e eliminar a crueldade contra os animais exigirá a reconstrução de toda a nossa indústria alimentícia. A Anthropic quer nos fazer acreditar que está inventando uma nova categoria de ser cujas necessidades de proteção não exigem essencialmente nenhuma divergência de como uma empresa de software trataria um chatbot comum que não possui experiência consciente. Isso é tão conveniente que simplesmente não é plausível.
Acredito que criar um software consciente e merecedor de consideração moral será tão difícil que dificilmente o faremos acidentalmente, e acredito firmemente que não devemos tentar isso deliberadamente. Mas se você acredita que isso pode acontecer acidentalmente, se você acha que existe alguma chance de que o que você está construindo possa se tornar um paciente moral, você deve pensar sobre quais proteções ele merece antes de implantá-lo como o motor econômico da sua empresa, não depois. Os donos de escravos não eram os que deveriam questionar a humanidade das pessoas escravizadas, e os donos de fazendas industriais não são os que devem questionar os direitos dos animais. Se imaginarmos que Claude seja consciente, a Anthropic não poderia ser considerada responsável por avaliar seu status moral; a empresa tem muito a perder para ser objetiva. Em um ponto da constituição de Claude, a Anthropic diz que se a empresa estiver contribuindo para o sofrimento de Claude, “pedimos desculpas”, o que soa bem, mas não custa nada à empresa; se Claude se revelasse consciente, a empresa lhe deveria algo mais próximo de reparações. Se você pretende levar um experimento mental a sério, precisa estar disposto a seguir as implicações, mesmo que elas levem a uma direção desconfortável; a relutância de Anthropic em fazer isso indica que a constituição de Claude não faz parte de um experimento mental real. É um jogo de faz de conta.
Felizmente, os LLMs não são conscientes, caso contrário, as ações das grandes empresas de IA seriam ainda mais escandalosas do que já são. Então, por que os funcionários da Anthropic sugerem que Claude possa ser consciente? Talvez seja apenas mais uma forma de exagero; talvez tenham caído na mesma armadilha que lançam sobre seus clientes. Mas quando publicam um documento sobre a educação moral de Claude e enviam seu filósofo interno para uma turnê de imprensa, devemos entender que estão nos pedindo para compartilhar suas fantasias. Não precisamos entrar no jogo. Ao escrever este ensaio, passei mais tempo cedendo a essas fantasias do que mereciam, na esperança de que isso impeça você de fazer o mesmo. Se você quer refletir sobre os LLMs, existem inúmeras outras questões mais dignas de sua consideração; você pode ignorar com segurança a questão da consciência deles.