Como estudar os fundamentos das LLMs sem desanimar
Os fundamentos por trás dos LLMs são, de fato, fascinantes.
Até agora, o melhor material que encontrei para aprender esses fundamentos são os vídeos do Andrej Karpathy no YouTube, especialmente a playlist Neural Networks: Zero to Hero.
Sendo honesto, ainda não assisti a todos os vídeos.
Estou reassistindo o primeiro, já vi o segundo e, em paralelo, avanço lentamente no terceiro.
Mesmo com a excelente didática do autor, acompanhar o conteúdo não é simples.
Muitas vezes passo dias revisitando apenas alguns minutos de um único vídeo.
Isso dá uma boa noção do tempo e do esforço necessários para compreender, de fato, todos os fundamentos por trás dos LLMs.
É justamente por isso que sou crítico em relação ao chamado “hype dos fundamentos”.
Estudar fundamentos é importante, sem dúvida.
Mas não é a única abordagem possível.
Não é um jogo de tudo ou nada.
Na minha visão, o caminho mais eficiente é começar pelos frameworks e bibliotecas e aprender os fundamentos sob demanda, conforme surgem as dúvidas reais do uso prático.
Uma dica concreta é iniciar pelos short courses da DeepLearning.AI, dedicando mais tempo a eles, e estudar os vídeos do Andrej Karpathy em paralelo, com uma carga de tempo menor.
Como suporte, usar o ChatGPT para entender códigos, esclarecer conceitos e apontar quais fundamentos estudar em cada situação.
É exatamente assim que eu costumo aprender.
Nota de rodapé:
Atualmente, também estudo por meio da IA Expert Academy, da Asimov e da Comunidade Sem Codar.