Meus 2 cents,
Rodar um LLM hoje precisa de GPU com muita memoria, sem isso voce fica limitado a modelos muito simples.
Uma sugestao eh usar o GOOGLE COLAB, que eh gratuito e te da uma VM com TPU Tesla de 16Gb VRAM e mais 16GB de RAM - vale a pena para brincar com LLMs.
Falo um pouco disto aqui:
-
CAPÍTULO 9: RODANDO LLM COM GOOGLE COLAB, OPENROUTER, CLOUD GPU E SOBRE A QUANTIZAÇÃO
-
CAPÍTULO 8: ECOSSISTEMA DA IA, HUGGINGFACE, OPENROUTER & CLOUD GPU
Saude e Sucesso !
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS