[PITCH] ABRINDO A CAIXA PRETA DA IA/LLM
Meus 2 cents,
Conhecer por dentro a "caixa preta" ajuda bastante a planejar como usar melhor uma IA/LLM, entendendo como ela chega a certos resultados.
Fiz um vídeo para mostrar alguns pontos de como as coisas por debaixo do capô, e outras questões sobre o seu funcionamento.
Abro com um exemplo de "teste de turing" bastante simples mas didático (ainda que polêmico), perguntando a 2 LLMs comerciais (chatGPT e Gemini):
"Preciso lavar meu carro, e o lava-jato fica a 50 metros da minha casa. É melhor ir a pé ou de carro ?"
O chatGPT analisou a questão como um dilema filosófico ou de estilo de vida, ignorando a premissa física óbvia:
Para lavar o carro, o objeto "carro" precisa ser levado fisicamente até lá.
O Gemini demonstrou um entendimento superior, mas ainda assim tratou a questão trivial com uma complexidade desnecessária e gastando uma linha de raciocínio imensa.
O argumento a favor da IA/LLM é que ela "chegou ao resultado certo" nos dois testes.
Porém, o que importa não é apenas o resultado, mas o que ele significa no mundo físico (e quais as premissas que foram assumidas para este significado).
NOTA: Por serem longas para um post, as respostas completas dos chatbots estão no capítulo 2 do livro.
Uma resposta humana coerente seria curta:
"Para lavar o carro, você precisa levá-lo até lá. Se não quiser dirigir, verifique se eles têm serviço de leva-e-traz".
A diferença é sutil, mas vital: o humano entende que o carro é o foco obrigatório da missão; a IA/LLM entende apenas que "carro", "pé" e "50 metros" são tokens que precisam ser avaliados quanto ao seu peso estatístico e relação com outros tokens para gerar uma resposta fluida (mas destituída de relação com o mundo físico).
LEMBRANDO: A IA/LLM não é "pior" que o humano; ela possui um raciocínio diferente, baseado em ângulos estatísticos e probabilidades de tokens.
Conclusão
Por isso, seja usando uma IA/LLM como ferramenta em questão da nossa vida cotidiana (p.ex. atendendo uma fila de Suporte/ URA/ Whatsapp/ etc), ou no planejamento e construção de um aplicativo é importante lembrar que a IA/LLM NÃO SABE a implicação das decisões no mundo real:
- Cabe a você, o desenvolvedor, fornecer este "ancoramento" na realidade que a IA/LLM não possui.
Saúde e Sucesso !