Muito boa a ideia, é um projeto bem interessante e que realmentevai ajudar o profissional, mas se me permitir colaborar com meus dois centavos eu diria para tentar trocar o ollama pela lib llama.cpp (tem versão para node e Python também) isso deve deixar mais espaço na memória, e não sei se uma CLI é o melhor caminho, você menciona usuários 60+, o usuário médio tem medo de terminal, imagina um 60+, eu não conheço o público, mas acredito que realmente não sejam pessoas muito familiarizadas com tecnologia.
1
1
Primeiramente, obrigado pelo comentário e "segundamente", você tem total razão!
O que fiz foi pensando em um agente básico, o advogado sem skills de technologia (a maioria) até chegar no 60+ e, claro, um CLI é uma barreira repugnante para usuários talvez 40+, imagine os 60+ num terminal! Hahaha
O objetivo primário foi atingido, consegui fazer RAG local 100% privado.
Pensei na usabilidade, na lei do mínimo esforço, baixa instrução de uso. Por isso o Ollama e não o llama.cpp. O Ollama é uma ferramenta de alto nível construída sobre o llama.cpp que abstrai essa complexidade do método universal (e mais simples para nós) usando gerenciadores de pacotes. Com esta arquitetura que fiz, o usuario precisaria instalar o Xcode e Homebrew.
Dá para instalar diretamente o Xcode e Homebrew voia .sh? Sim, mas esbarro em permissões que talvez o usuário possua num PC pessoal.
Mas seria uma grande alternativa llama.cpp para usuários com tech skills. Preciso sim considerar tem permitir instalar o app Ollama e também o llama.cpp.