Primeiramente, obrigado pelo comentário e "segundamente", você tem total razão!
O que fiz foi pensando em um agente básico, o advogado sem skills de technologia (a maioria) até chegar no 60+ e, claro, um CLI é uma barreira repugnante para usuários talvez 40+, imagine os 60+ num terminal! Hahaha

O objetivo primário foi atingido, consegui fazer RAG local 100% privado.
Pensei na usabilidade, na lei do mínimo esforço, baixa instrução de uso. Por isso o Ollama e não o llama.cpp. O Ollama é uma ferramenta de alto nível construída sobre o llama.cpp que abstrai essa complexidade do método universal (e mais simples para nós) usando gerenciadores de pacotes. Com esta arquitetura que fiz, o usuario precisaria instalar o Xcode e Homebrew.

Dá para instalar diretamente o Xcode e Homebrew voia .sh? Sim, mas esbarro em permissões que talvez o usuário possua num PC pessoal.

Mas seria uma grande alternativa llama.cpp para usuários com tech skills. Preciso sim considerar tem permitir instalar o app Ollama e também o llama.cpp.