Meus 2 cents,
Otima iniciativa !
Este eh um projeto diferenciado - parabens pelo resultado !
Esclarecendo sobre destilacao:
- Treinar um modelo frontier (como chatGPT, Claude ou Gemini) do zero custa milhoes de dolares em mao-de-obra (preparacao/limpeza de dados) e custo de GPUs. A destilacao eh a tecnica de usar esses modelos frontier como Professores para gerar dados de treino de altissima qualidade (p.ex. raciocinio, codigo, chains-of-thought). Esses dados sao entao usados para fazer o fine-tunning de um modelo Estudante, que eh muito menor, mais barato e pode ate rodar localmente (p.ex. Llama, mistral, etc), replicando habilidades/conhecimentos do modelo maior por uma fracao do custo.
Este tipo de atividade tem se tornado bem comum, justamente para ajustar um modelo barato a um foco desejado.
O projeto opendistil automatiza esse pipeline.
Repositorio devidamente starreado e forkeado - obrigado por compartilhar !
Saude e Sucesso !
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS