Meus 2 cents,
Atualmente utilizo o LMStudio e o AnythingLLM como wrappers (em docker) para acesso aos modelos (com a vantagem de manter minhas chaves privadas, sem precisar compartilha-las com terceiros)
Qual seria o diferencial da tua ferramenta quando comparado com os casos acima ?
Opa!
Pelo que entendi, essas ferramentas são focadas mais no usuário (no caso você) usar LLMs localmente pra ele mesmo.
A ideia do Itzam é você integrar ele em um projeto que outras pessoas vão usar. A gente fornece uma API (e SDK de TS) que deixa bem simples você implementar features de IA.
Fez sentido?
Mais ou menos,
Tanto o LMStudio quanto o AnythingLLM tambem sao plataformas opensource e podem rodar em docker (ou em cloud paga) e fornecer API (atuando como wrappers) para conexao com modelos, verificacao de consumo de tokens, troca de modelo em funcao de custo, etc.
Alem disso, o AnythingLLM ja permite a criacao de colecoes e RAG direto nele.
Por isso a pergunta.