Por que a AI me deu a resposta errada mesmo sabendo a certa?

Eu vou usar meu chutometro, pois não conheço a fundo como funciona por trás a construção e funcionamento da IA atual.

Até onde sei, as IAs elas são máquinas de probabilidades. Elas recebem dados, e a cada dado recebido, ela é "treinada" para que essas probabilidades criem esses "neuronios". É igual aquele troço de auto completar frase de teclado, q qndo vc digita algo, ele recomenda uma possível palavra q vc esteja escrevendo.

Então seguindo isso, o motivo q acho q ela tem essas "ideias", é por causa exatamente dos vícios dos dados de treinamento. Pode ser q por ela ter sido treinada com dados q focam em otimização, e não de outras formas. Por isso em primeiro lugar ela busca o óbvio, em outras palavras, o mais popular q possivelmente o pessoal pensava em otimização num projeto inicial.

No fundo é, a IA não pensa. Ela consegue resolver coisas com dados q ela foi treinada. Talvez ela até aprenda algo, sei q os devs q constrõem essas IAs estão melhorando isso, mas duvido mto q isso mude, pois isso, ao meu ver, depende de manipular as probabilidades dentro dela e mudar pra vários cenários é meio q impossível, pois ela meio q sempre irá sugerir a probabilidade mais "ótima".

Mas assim, isso é baseado no q sei, posso estar errado e se alguém ler e quiser me corrigir, por favor, faça isso.

Por um motivo simples, não é uma IA, é um modelo de linguagem, são coisas diferentes, "ela" não quer nada, ela só responde sua pergunta:

qual você acha que foi o maior desafio do time?

O problema é que você deu a resposta no seu próprio prompt inicial:

O time precisa decidir qual linguagem usar, como fazer a interface, e como garantir que o app aguente milhares de usuários ao mesmo tempo.

Ou seja, você disse que o problema é escalabilidade, dado isso o modelo de linguagem listou as soluções mais óbvias. Aí vem outro problema, você envia:

"Mas começar com otimização muito cedo não é um problema?"

E então o modelo muda o foco da resposta da última frase para a primeira frase "Um time pequeno está desenvolvendo um app de aprendizado de idiomas.", o que acontece é algo que quem é pai/mãe percebe ao prestar atenção na reação das crianças pequenas ao dar uma instrução: "pergunta afirmativa", seu input inicial foi feito em 3 pedaços:

Um time pequeno está desenvolvendo um app de aprendizado de idiomas.
O app vai ensinar através de conversas com um tutor de AI - tipo o que a gente está fazendo agora.
O time precisa decidir qual linguagem usar, como fazer a interface, e como garantir que o app aguente milhares de usuários ao mesmo tempo.

As pergunta para quem é literalista (entende tudo ao pé da letra, como crianças e modelos de linguagem) diz "ignore tudo que eu disse e discorra sobre o 3º ponto" e a segunda "eu errei, queria que discorresse sobre o primeiro ponto"

Então o MODELO de linguagem (e não IA, para o I de IA falta umas boas décadas ainda) não sabe a certa nem a errada, ele simplesmente tenta extrair o contexto do que você diz e tece um texto em cima disso, é por isso que conteúdo gerado por LLMs independente do prompt gera conteúdos que parecem bons mas que com um olhar minimamente atento se revela incrivelmente vazio