^{_{E lá vamos nós mais uma vez :-)}}

Primeiramente, leia aqui (e veja o vídeo, e leia também os links indicados). O texto é sobre o ChatGPT, mas muita coisa se aplica ao Bard, já que ambos são modelos de linguagem que, embora tenham diferenças, no fundo possuem funcionamento similar. E a ideia básica é que eles estão "só" completando a próxima palavra.

Basicamente, resumindo de forma bem grosseira, vc pega um zilhão de textos (no caso, da Internet) e analisa a frequência de cada palavra, não só individualmente, mas também em conjunto com outras palavras. Depois, ele analisa as palavras já existentes (tanto o prompt que vc digitou, quanto as que a própria IA foi adicionando), verifica quais tem maior probabilidade de ser a próxima, e adiciona um componente aleatório (chamado "temperatura") para não escolher sempre a mesma e dar a ilusão de "criatividade". A partir daí ele adiciona essa palavra e repete o processo.

É "só" isso

Claro, "só" entre aspas porque o processo como um todo é complexo, há etapas de treinamento humano envolvidas, a matemática por trás é algo que ainda estou tentando começar a entender, e o próprio processamento para gerar os textos é bem pesado. Mas no fim é isso: ele analisa as palavras já existentes, adiciona a próxima (de acordo com as probabilidades já citadas), depois analisa as já existentes (incluindo a que acabou de ser adicionada), adiciona a próxima, e assim por diante. Claro que existe um limite na quantidade de palavras que ele considera, mas é grande o suficiente para manter uma conversa "coerente" (ou seja, ele consegue "manter o contexto", na medida do possível).

E só. Ele não pensa, não "sabe" das coisas, não tem sentimentos nem intenções, tampouco consciência do que diz. Por isso, quando vc pergunta se ele estava falando sério ou apenas criando uma historinha fictícia, pode-se até dizer que é a segunda opção, mas com muitas ressalvas. Ele só está adicionando a próxima palavra.

Quanto ao caso de Blake Lemoine, como bem disse este artigo, ele é "mais um caso do cientista devorado por sua criatura". As IA's geradoras de texto (ainda) não têm consciência, elas são meros geradores de lero-lero (ou auto-complete) ultra-avançados. Impressionantes, claro, e com muitas utilidades, mas por favor, vamos deixar o deslumbramento cego de lado. Já temos falso alarmismo demais vindo da "mídia especializada" e dos "influencers" de plantão.

De fato o grande público não vai ter discernimento para não se deixar enganar por essas IA's, e a mídia realmente não ajuda. E também não sei se as empresas estão mesmo tão preocupadas com isso.

Mas acho que podemos fazer a nossa parte desmistificando a tecnologia (como eu fiz no comentário acima). Eu tento diminuir o deslumbramento das pessoas quando posso, mostrando que a IA não é tão mágica assim e sugerindo um uso consciente e controlado. Claro que o ideal seria que isso fosse feito em massa por alguém com mais alcance, mas já é alguma coisa.

De qualquer forma, há muitas discussões em vários países sobre regulação das IA's, o que já é um ponto positivo (pois pelo menos estão discutindo o assunto, o que é melhor que nada). Se vai dar em algo, ou se vai sair do controle, só o tempo dirá (e confesso que, dado o histórico da humanidade, sou meio pessimista com relação a isso).