Executando verificação de segurança...
1
OceanStone
1 min de leitura ·

Pitch: Conselho de Modelos: orquestrando múltiplos LLMs locais com um Juiz decisor

Oi pessoal, Este é meu primeiro post aqui no TabNews!

Há algumas semanas, comecei a explorar uma ideia: por que escolher um modelo de linguagem se posso usar vários ao mesmo tempo?

O resultado é o Conselho de Modelos, um projeto open-source que estou desenvolvendo e quero compartilhar com a comunidade para colher feedbacks.

Você faz uma pergunta e vários modelos respondem em paralelo. Depois, um modelo "Juiz" lê todas as respostas e gera um relatório com consensos, divergências e uma conclusão unificada.

Me inspirei no Model Council da Perplexity, mas quis algo totalmente local com Ollama. Evitei dependências pesadas para rodar tanto em ARM64 (Snapdragon X) quanto em Intel.

Pré-requisitos: Ollama rodando com pelo menos dois modelos baixados.

No Windows, basta executar o run_council.bat. Ele cria o ambiente virtual, instala as dependências e sobe o servidor em http://127.0.0.1:8501.

https://github.com/andreocc/Conselho-de-Modelos

Fico curioso pra saber se já exploraram abordagens parecidas, se a ideia do "Juiz" faz sentido, e qualquer feedback sobre a arquitetura ou próximos passos. Valeu!

Carregando publicação patrocinada...
1
mik3lang3lo

É bem interessante, acho que a maioria aqui já usa o modo Arena em seu CLI ou IDE, mas a ideia de ter um juiz é como vemos os modos agentes atuando, principalmente quando colocamos modelos diferentes para planejar e executar. Boa sorte

1
JorgeLuis

Muito interessante, um tempo atrás comecei fazer um projeto parecido(inspirado no Magi de Evangelion), a ideia era colocar 3 modelos e a resposta teria de ser um consenso entre eles,mas acabei deixando de lado por falta de tempo.

1
twfbusiness

Isso é comum em orquestradores, tenho um sistema de testes com IA assim, dou motas baseado noa critérios de minha escolha, muito bom para testar ias locais, rags e outros. Nao vi seu projeto, mas o juiz deve ter os parâmetros e prompt dele. Tipo avalie de acordo com legibilidade, acertividade e palavras, de nota de 0 a 10 pada cada uj dos critérios e selecione o vencedor.

1