Estava essa semana assistindo o podcast do flow e eles comentaram em ter uma IA local claro com todo o hype e tal mas fiquei aqui pensando em fazer umas brincadeiras e estudar local, queria ver de vcs se ja fizeram isso?
E mais uma curiosidade do que qualquer coisa, queria enteder mais sobre treinamento e como ela funciona aproveitando que to com um servidor parado la em casa kkkk.
Meus 2 cents,
Rodar um LLM hoje precisa de GPU com muita memoria, sem isso voce fica limitado a modelos muito simples.
Uma sugestao eh usar o GOOGLE COLAB, que eh gratuito e te da uma VM com TPU Tesla de 16Gb VRAM e mais 16GB de RAM - vale a pena para brincar com LLMs.
Falo um pouco disto aqui:
CAPÍTULO 9: RODANDO LLM COM GOOGLE COLAB, OPENROUTER, CLOUD GPU E SOBRE A QUANTIZAÇÃO
CAPÍTULO 8: ECOSSISTEMA DA IA, HUGGINGFACE, OPENROUTER & CLOUD GPU
Saude e Sucesso !
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS
queria enteder mais sobre treinamento
O "Treinamento" que eles falaram nada mais é gerenciamento de memória, foi totalmente equivocado o termo. Para "treinar" uma IA é preciso bilhões.
Se você quer rodar procura por llm studio, saiba que vai consumir MUITA RAM pra fazer algo minimamente decente, e a performance vai ficar horrível.
Pra rodar qualquer coisa decente em casa precisaríamos ter um PC de 1 milhão de rais praticamente
Projetos pra vc estudar ia local.
Ollama, anything llm, llm studio, jan.ai, local ai.
Mais sobre rodar ia local, hardware e exemplos https://uaiso-serious.github.io/infra/
https://pinokio.co/ é bem interessante pra iniciar...
e mais a ideia de rodar local mesmo, nao quero nada muito pronto e simplesmente estudar como funciona ela