Meus 2 cents,
Obrigado por compartilhar !
Projeto bem legal - ver a "predicao" de token acontecer em tempo real eh um ponto muito valioso no estudo do ML.
Por coincidencia, publiquei um post falando sobre o funcionamento do LLM um pouco antes:
Enfim, parabens pela iniciativa - continue postando sobre os avancos que anda realizando, este eh um assunto especialmente interessante.
Saude e Sucesso !
Muito obrigado pelo feedback!
De fato é uma área muito bacana, e até me surpreende um pouco que a gente já saiba tanta coisa na teoria (principalmente pelos vários papers que o pessoal envolvido em pesquisa de ponta publica) mas raramente veja qualquer ferramenta pública pra reproduzir.
No início, isso aí era um notebook Jupyter básico que eu fiz pra ter a visualização por conta de um problema específico. Decidi transformar em algo mais polido depois que mostrei pra alguns amigos, pessoas que já estão cansadas de saber que "o LLM só prevê o próximo token", e vi o pessoal ficar maravilhado simplesmente porque conhecia o conceito mas nunca tinha visto na prática, e muito menos tido essa possibilidade de interagir (forçar a escolha do próximo token).