Olha é um excelente projeto! Já emiti o relevante de pontuação.
https://github.com/paulocoutinhox/mini-llm
Apenas achei que um modelo menor poderia ser treinado em um PC "normal" e mesmo assim, ainda exige GPU no treino. Uma dúvida, não seria o caso de tentar usar a GPU do Colab? O treino tende a ter uma demora grande em arquivo texto de entrada menor que 1GB e 20 épocas, por exemplo?
1
1
Olá,
Você pode usar o Google Colab ou Hugging Faces, mas eles exigem que usem alguns frameworks específicos. O Colab é o Notebooks (pynb) e o HF é o Gradio.
Mas geralmente os recursos gratuitos são para projetos abertos, ai vai do quão privado seus dados precisam ser.
Melhor usar o RunPod (https://runpod.io?ref=xw87mytl), pois você contrata um VPS com GPU sem esforço, usa o WebTerminal, instala o que precisa, faz o treinamento e pega o modelo treinado ou salva direto em algum local.
O RunPod (https://runpod.io?ref=xw87mytl) também faz o Fine Tunning sozinho, você passa o modelo, o dataset e ele faz pra você.