5

Meus 2 cents,

Baixei e ja estou testando.

Um ponto que gostei de cara foi o 'cookbook' (baseado no llmfit) que detecta o hardware atual (se tem GPU, RAM, etc) e ja indica quais modelos do huggingface sao compativeis/usaveis, com colunas uteis como janela de contexto, memoria usada e token/s estimados: so isso acho que ja vale a pena o teste.

Repositorio devidamente starreado e forkeado (e como esta crescendo rapido !!!)

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS

Carregando publicação patrocinada...
1

Ué mas ja existe o ollama para rodar llms localmente free faz tempo 0.o tem os projetos que usam ollama: openclaw e n8n para automações e bots agenticos

1

Meus 2 cents extendidos,

Sim, ja existem.

Mas o Cookbook (LLMFit) eh um item especifico que analisa o teu hardware e identifica quais os modelos no HF podem rodar localmente e com que velocidade, alem de automatizar/facilitar fazer o download, colocar para testes, benchmark, etc.

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS