Salve!
Pessoal, consegui executar com sucesso o modelo 'smollm2 (135m)' em uma máquina com 1 core de CPU e 1 GB de RAM, sem nenhum tipo de aceleração (GPU ou TPU).
Infelizmente o modelo só responde em inglês, se tento obter respostas em português ele se enrola todo.
Vocês conhecem algum LLM que responda em português e que seja capaz de rodar com poucos recursos (somente CPU e pouca RAM)?
Valeu!
Cara, dá uma olhada nesse post; eu até comentei lá:
https://www.tabnews.com.br/rafinhahdc19/rode-modelos-de-ai-100-por-cento-offline-no-celular
Muito bacana isso.
Sucesso pra ti.
Valeu demais a dica, obrigado!
Mesmo esses "SLM" ainda são pesadinhos pra esse ambiente restrito (1 cpu, 1gb de ram e sem gpu). Consegui rodar o 'qwen2.5 (0.5b)' que responde em português! Mas no limite: tive que parar vários serviços pra ter RAM suficiente.
https://huggingface.co/nicholasKluge/TeenyTinyLlama-160m
Meio que você sempre sofrerá mas esse foi treinado ideal em pt
Muito maneiro! Não sabia que havia modelos pequenos treinados com pt-br. Vou testar assim que possível.
Cara, eu antes estava procurando modelos de LLM que rodassem em minha máquina e em português igual você.
Acho interessante poder rodar no meu computador ou em algum outro com poucos recursos, mas dependendo do que você for fazer, não compensa usar um modelo destes e sim utilizar a api do Gemini, OpenAI ou qualquer outro, pois estes modelos trazem respostas melhores do que um modelo igual pequeno com poucos parâmetros e não consumiria os recursos do meu PC de forma a travar ou precisar de mais recursos.
Mas ai depende da finalidade para o que você vai usar, dependendo um modelo destes pequenos já é o suficiente.
Mas fala ai, pretende usar como este modelo?
Realmente, estes pequenos modelos são bem capados se comparamos com os que estão no mercado.
Na verdade, não tenho nenhum projeto em mente. A ideai é brincar de rodar o modelo localmente e aprender a se comunicar programaticamente com ele.
Foi o que eu imaginei.