Pitch: Criamos um benchmark open source para descobrir o que as IAs realmente sabem sobre o Congresso brasileiro
Fala, pessoal!
Quero compartilhar um projeto open source que estamos desenvolvendo no Como Votam: o Teor, um benchmark de modelos de linguagem sobre o processo legislativo brasileiro.
A ideia surgiu de uma pergunta que parece simples, mas tem implicações técnicas interessantes: como saber se um modelo de IA realmente compreendeu uma informação legislativa, em vez de apenas produzir uma resposta convincente?
Por exemplo, se eu perguntar a uma LLM quantos votos favoráveis uma proposta recebeu no Senado, ela pode responder corretamente porque conhece aquele fato, porque conseguiu interpretar os registros que forneci ou simplesmente porque acertou por acaso.
Como separar essas coisas?
O benchmark
Construímos um conjunto de 3.000 itens em português, derivados de registros oficiais da Câmara dos Deputados e do Senado Federal, e organizamos a avaliação em oito trilhas:
- Texto: compreensão de proposições, autoria e referências normativas.
- Regras: interpretação e aplicação de regras legislativas.
- Votações: contagem de votos, distribuição partidária e resultados oficiais.
- Tramitação: compreensão da sequência de órgãos e do histórico de proposições.
- Previsão: estimativas de aprovação e voto individual.
- Grounding: produção de afirmações acompanhadas de evidências.
- Ferramentas: capacidade de consultar informações para responder.
- Paridade: comparação de cenários contrafactuais que alteram referências partidárias.
Já publicamos 27 execuções de modelos e três referências de comparação, incluindo modelos das famílias Gemini, GPT e Claude.
Os resultados estão disponíveis em uma matriz de capacidades, na qual é possível comparar tarefas, filtrar por casa legislativa e examinar os intervalos de confiança.
Um resultado que achei particularmente interessante
Na tarefa de identificar referências normativas em proposições da Câmara, a execução do gemini-3.5-deep-think obteve:
- 63,0% sem contexto
- 95,0% com contexto
Já na tarefa de identificar a sequência de órgãos pelos quais uma proposição passou no Senado, a nota foi de 46,7% sem contexto e 80,0% com contexto.
Isso ilustra uma distinção que considero muito importante: um modelo ser bom em interpretar um documento não significa que ele conheça os fatos presentes naquele documento.
Para quem desenvolve aplicações com LLMs, RAG ou agentes, essa diferença importa bastante.
Algumas decisões técnicas do projeto
1. Não temos uma nota geral.
Ser bom em contar votos, interpretar documentos e prever eventos são capacidades diferentes. Uma média de tudo isso pode esconder justamente a deficiência relevante para uma aplicação.
2. O conjunto de dados é reproduzível.
A coleta gera snapshots com manifestos, datas e hashes. Os itens são construídos a partir desses registros, e as execuções identificam os conjuntos e protocolos utilizados.
3. Os splits respeitam famílias factuais.
Uma proposição, suas variantes e votações relacionadas não devem ser espalhadas aleatoriamente entre desenvolvimento e teste. Isso reduziria a independência dos conjuntos.
4. O modelo pode se abster.
Nem toda pergunta pode ser respondida com as informações disponíveis. Criamos casos em que faltam informações necessárias e avaliamos se o modelo reconhece essa insuficiência, em vez de inventar uma resposta.
5. Uma citação existente não é necessariamente uma evidência válida.
Na trilha de grounding, é possível verificar automaticamente se um trecho citado existe. Mas determinar se ele realmente sustenta o significado da afirmação exige outra avaliação.
6. Acurácia não é suficiente para avaliar previsão.
Se uma classe é muito frequente, uma estratégia extremamente simples pode acertar bastante. Por isso, também avaliamos probabilidades, referências e qualidade preditiva por meio do Brier score.
E o código?
O projeto é aberto sob a licença Apache 2.0 e possui uma CLI em Python para coletar dados, construir conjuntos, executar avaliações, calcular métricas e exportar resultados.
Uma possibilidade legal é executar o benchmark com um modelo que você esteja estudando e submeter os resultados ao projeto.
Também disponibilizamos um explorador de itens, um console SQL e um desafio interativo com dez perguntas para comparar seu desempenho com o dos modelos.
Site: https://teor.comovotam.com.br/
GitHub: https://github.com/como-votam/teor
Metodologia: https://teor.comovotam.com.br/metodologia/
Estou especialmente interessado em ouvir quem trabalha com IA e avaliação de modelos:
Se vocês fossem desenvolver uma aplicação que responde perguntas sobre documentos públicos brasileiros, quais dessas capacidades considerariam indispensáveis antes de colocar o sistema em produção?
E que outras tarefas ou falhas vocês gostariam de ver avaliadas em um benchmark desse tipo?