Meus 2 cents extendidos,

Sim, usar com API eh a ideia: mas o pulo do gato que dei na sugestao eh exatamente este.

Veja, a API pode ser usada por um chatbot local, um agente ou um app - ate ai, nada de novo, eh a forma comum de usar.

So que para voce modificar o comportamento do AI Gateway/Localrouter, voce precisa modificar sua configuracao ANTES de chamar a API - o que tenho feito eh um pouco diferente, modifico DURANTE a chamada da api.

Se tenho diversos providers/modelos configurados no AI Gateway/Localrouter, um vai ser o default, certo ? Entao na chamada de API vai usar o default - mas digamos que SOMENTE PARA AQUELE PROMPT eu ja saiba antecipadamente que ele nao deve usar o default, mas um prompt mais barato (ou mesmo local).

Este eh o detalhe: sem precisar modificar o app que esta usando a API do AI Gateway/LocalRouter, coloco assim no prompt (exemplo):

!CMD;model barato
Qual a capital do Brasil ?

Desta forma consigo selecionar que para este prompt em especial, a API ao inves de usar o modelo default, vai usar modelo "barato".

O AI Gateway/Localrouter faz um parse do prompt, identifica que tem um "comando" na primeira linha e realiza alguma acao pre-programada, retira a linha de comando do prompt e envia o prompt normalmente para o modelo designado.

Veja, eh so um exemplo: no dia-a-dia existem diversas situacoes em que eh necessario mudar certos aspectos do harness que a API vai executar - de um modo geral fazemos isso direto no app (p.ex. langchain escolhendo modelo), mas o que tenho feito eh permitir fazer isso direto no prompt, o que permite uma flexibilidade um tanto maior.

Nao eh apenas uma questao de mudar o modelo, mas diversos tipos de parametros que podem ser alterados diretamente no AI Gateway/LocalRoute para cada chamada de API, sendo que o parametro de ativacao daquele comportamento vai direto no prompt.

Enfim, como disse, eh so uma sugestao de algo que ja estou fazendo aqui e tem diversas utilidades e ja que voce esta escrevendo seu proprio AI Gateway/Localrouter achei interessante compartilhar.

Saude e Sucesso !

Este post foi favoritado via extensão TABNEWS FAVORITOS

Tem curiosidade sobre IA ? Da uma olhada no meu LIVRO: IA PARA ENGENHEIROS