Opa, obrigado pelo feedback! Então, a ideia é usar ele como uma API, você não... · gmasson

Opa, obrigado pelo feedback!

Então, a ideia é usar ele como uma API, você não precisa instalar nada, ele tem alguns comandos CLI mas nada fugindo da ideia de que, você use como API local para custom provider no VSCode, Cursor ou Claude Code ou em algum agente de IA.

Você insere o endereço, a sua chave de API, seleciona o modelo e faz chamada REST.

Também pode ser usada para chatbot, OpenClaw, Hermes Agent e etc.

Por exemplo, uso bastante o GLM 5.2 e o DeepSeek v4 Pro, ai uso 5 contas diferentes do NVIDIA Build e 2 do Hugginface, e o LocalRouter fica rotacionando essas api conforme programo no VSCode (coloquei como custom provider no Github Copilot), não gasto mais nada com IA.

Tenho uma assinatura ativa do OpenCode só de reserva, mas desde que criei o LocalRouter, só usei os Free Tier.

Minha ideia para a proxima versão é incluir RAG proprio e System Prompt, para as respostas sairem mais "mastigadas" pra quem faz chatbot, automações ou quer uma API pronta para algum SaaS e quer rotacionar com APIs Free e algumas pagas de Backup

Meus 2 cents extendidos,

Sim, usar com API eh a ideia: mas o pulo do gato que dei na sugestao eh exatamente este.

Veja, a API pode ser usada por um chatbot local, um agente ou um app - ate ai, nada de novo, eh a forma comum de usar.

So que para voce modificar o comportamento do AI Gateway/Localrouter, voce precisa modificar sua configuracao ANTES de chamar a API - o que tenho feito eh um pouco diferente, modifico DURANTE a chamada da api.

Se tenho diversos providers/modelos configurados no AI Gateway/Localrouter, um vai ser o default, certo ? Entao na chamada de API vai usar o default - mas digamos que SOMENTE PARA AQUELE PROMPT eu ja saiba antecipadamente que ele nao deve usar o default, mas um prompt mais barato (ou mesmo local).

Este eh o detalhe: sem precisar modificar o app que esta usando a API do AI Gateway/LocalRouter, coloco assim no prompt (exemplo):

!CMD;model barato
Qual a capital do Brasil ?

Desta forma consigo selecionar que para este prompt em especial, a API ao inves de usar o modelo default, vai usar modelo "barato".

O AI Gateway/Localrouter faz um parse do prompt, identifica que tem um "comando" na primeira linha e realiza alguma acao pre-programada, retira a linha de comando do prompt e envia o prompt normalmente para o modelo designado.

Veja, eh so um exemplo: no dia-a-dia existem diversas situacoes em que eh necessario mudar certos aspectos do harness que a API vai executar - de um modo geral fazemos isso direto no app (p.ex. langchain escolhendo modelo), mas o que tenho feito eh permitir fazer isso direto no prompt, o que permite uma flexibilidade um tanto maior.

Nao eh apenas uma questao de mudar o modelo, mas diversos tipos de parametros que podem ser alterados diretamente no AI Gateway/LocalRoute para cada chamada de API, sendo que o parametro de ativacao daquele comportamento vai direto no prompt.

Enfim, como disse, eh so uma sugestao de algo que ja estou fazendo aqui e tem diversas utilidades e ja que voce esta escrevendo seu proprio AI Gateway/Localrouter achei interessante compartilhar.

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS