Meus 2 cents,
Uma ideia para rodar modelos locais eh:
Eh uma aplicacao local (AI Workspace) que permite gerenciar diversos aspectos do LLM e tambem facilita encontrar modelos compativeis com teu hardware (opcao do menu "cookbook").
Ele usa o ollama e outros itens por baixo dos panos.
E para gerenciar o uso de tokens com modelos externos:
Eh um AI Gateway que permite gerenciar diversos providers e itens correlatos.
Saude e Sucesso !
Este post foi favoritado via extensão TABNEWS FAVORITOS
Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS