Construí um tribunal com 25 IAs pra julgar ideias. Depois mandei ele julgar a ideia de um tribunal que julga ideias.

Nunca foi tão barato construir. Uma tarde, um editor com IA, e você tem landing, backend e um app no ar. O que ficou caro é a única pergunta que importa: isso merecia existir?

E é aí que mora o problema. Toda ferramenta de "validar ideia com IA", e o próprio ChatGPT, devolve a mesma coisa: encorajamento. Amigo é educado, sócio é otimista, e LLM é treinado pra concordar. Ninguém te fala a verdade. A primeira versão que eu fiz era uma IA só dando um parecer, e caiu exatamente nesse buraco: mais uma voz sendo simpática comigo.

Então joguei fora e reconstruí como um julgamento de verdade. Não uma IA, mas um elenco de 25 IAs de 16 casas diferentes: 3 na promotoria, 3 na defesa, 6 testemunhas (metade a favor, metade contra), um júri de 12 modelos e 1 juiz. A ideia é a casca. O que me prendeu foi o problema de engenharia por baixo, e ele foi mais fundo do que eu esperava.

Um julgamento são ~47 chamadas de LLM encadeadas, com dependências e fan-out (os 12 jurados votam em paralelo). Isso não sobrevive a um Promise.all ingênuo: sem retry por etapa, concorrência controlada e observabilidade por passo, um único modelo lento trava o espetáculo inteiro. E como o elenco é grande, alguém sempre cai. Por isso cada cadeira crítica tem fallback: quando um modelo cai no meio, outro assume a cadeira sozinho, sem parar o julgamento. Degradação graciosa deixou de ser conceito de slide e virou a diferença entre "mensagem de erro no meio do show" e "funciona lindamente".

O coração é o multi-LLM de verdade. O júri não são 12 clones do mesmo modelo: são 12 casas diferentes (Anthropic, OpenAI, Google, xAI, Mistral, Amazon, DeepSeek, Qwen, Moonshot, MiniMax, Zhipu, Meta), como um júri real é uma amostra da sociedade. E eles se leem de forma anônima, cada um lendo a nota do outro sem saber de quem é, e mudam o voto. Reduz o efeito manada. Em cima disso, o veredito é calculado: a nota final é fórmula sobre o voto do júri em 9 critérios, e o juiz (um LLM) só escreve a prosa da sentença, nunca decide o número. Foi decisão de design pra tirar o achismo e deixar a nota auditável. E pra não ser mais um gerador de elogio, antes de julgar o sistema busca na web e ancora a crítica em dor real com fonte linkada: a acusação não diz "acho arriscado", ela cita de onde tirou.

Aí veio a única coisa honesta a fazer. Pra provar que não era teatro, botei a própria ideia do projeto no banco dos réus. Deu 81, inocente. Apelei achando que ia subir, me recusei a entregar meus números no interrogatório, e o meu próprio tribunal me rebaixou pra 78, com o juiz escrevendo, preto no branco, que minha defesa era "inteligente, mas circular" (eu estava usando o próprio veredito como prova de que ele era bom). Foi implacável até com seu criador.

E é essa a real que fica. Construir ficou trivial. O que virou raro é julgar com honestidade, inclusive o próprio trabalho. Foi mais difícil aceitar o veredito do que escrever o código que me condenou.

Se alguém quiser ver rodando ou trocar sobre as decisões (orquestração, multi-LLM, veredito determinístico), deixo o link nos comentários.