Meus 2 cents,
Baixei e ja estou testando.
Um ponto que gostei de cara foi o 'cookbook' (baseado no llmfit) que detecta o hardware atual (se tem GPU, RAM, etc) e ja indica quais modelos do huggingface sao compativeis/usaveis, com colunas uteis como janela de contexto, memoria usada e token/s estimados: so isso acho que ja vale a pena o teste.
Repositorio devidamente starreado e forkeado (e como esta crescendo rapido !!!)
Saude e Sucesso !
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS