Valeeeu! E cara, já pensei sim.

Eu uns 30 mil posts do TabNews que baixei pra outro artigo que postei aqui, então dado pra treinar não falta. A ideia seria um transformer bem pequeno, treinado do zero, pra classificar os posts por tema. Seria o próximo passo natural depois desse: aqui a rede aprendeu por evolução, lá ela aprenderia por gradiente, que é como os LLMs de verdade aprendem.

Pra base, o Andrej Karpathy tem um vídeo que constrói um GPT do zero, linha por linha: https://www.youtube.com/watch?v=kCc8FmEb1nY. O repositório dele, o nanoGPT, é feito pra gerar texto, mas a estrutura é a mesma. Pra classificar, é só trocar a saída por uma camada que aponta a categoria.

Só que eu quero fazer do jeito "testei de verdade": comparar com um método clássico, tipo TF-IDF com regressão logística. Tenho a suspeita de que, pra classificação, o modelo simples ganha do nanomodelo, e seria um resultado legal de mostrar se for isso mesmo.