Achei muito legal que você está se aprofundando na parte prática dos algoritmos de IA.

Se tiver interesse em entender toda a ideia por trás da implementação, vale muito a pena pesquisar artigos acadêmicos sobre a evolução dos modelos matemáticos, desde as RNNs e LSTMs até chegar aos Transformers. É fascinante ver como, ao longo do tempo, novos problemas foram surgindo e sendo resolvidos, refinando os modelos existentes.

Um marco fundamental é o paper “Attention is All You Need”, escrito por ex-pesquisadores do Google. Esse trabalho deu origem ao GPT e marcou o início da “era moderna” da IA.
A sutileza desse artigo é justamente que ele não inventa algo totalmente novo, mas resolve limitações da família STM/LSTM ao otimizar o processo de treinamento, permitindo treinar modelos com muito mais dados, mais rápido e com menos recursos. Essa mudança aparentemente simples deu início a revolução que vivemos nos ultimos anos.

Hoje, empresas como OpenAI e Google utilizam variações proprietárias e técnicas de treinamento próprias, mas no fim, são melhorias incrementais sobre a base proposta em 2018.

É curioso perceber que muita gente imagina IA como algo misterioso e ultramoderno. Na verdade, os fundamentos, como feedforward e backpropagation, vêm dos anos 1950, e se baseiam em matemática clássica, como o cálculo de Newton de quase 500 anos atrás.
IA não “precisa” de computadores para existir; eles só aceleram um processo que, manualmente, levaria décadas ou séculos. Com tempo e dados suficientes, seria possível treinar um modelo apenas com papel e caneta, nós só usamos os computadores para levarmos anos e não séculos nesse processo kkkkk