Como medir se um classificador de documentos acerta: um gabarito fictício no CI do GClaude Indexer
Faz uns meses publiquei aqui o GClaude Indexer, um programa para Windows que lê uma pasta de documentos (PDF, digitalizações, Word, Excel, e-mails) sem mandar nada para a nuvem e monta um índice que o Claude consegue usar. A versão de hoje é a 1.10.2, e quero contar a parte que mais mudou o projeto: parar de achar que o índice estava bom e passar a medir.
O problema
O programa separa cada documento em itens (um contrato, uma ata, um laudo) e dá a cada um tipo, data, autor e página. Há dois jeitos de fazer isso: um motor de regras, que reconhece padrões no texto e termina em segundos, e um modelo local (qwen3.5 via Ollama), que lê cada trecho e demora mais. Por muito tempo eu só tinha uma "nota de qualidade" que media a confiança declarada pelo motor e quantos campos ele preencheu. Isso não diz se a classificação está certa.
O gabarito
O repositório agora traz demo/acervo, um acervo inteiramente inventado: 72 páginas e 41 itens, com dois volumes de processo em PDF, um contrato, um memorando em Word, uma planilha, uma carta digitalizada e um e-mail. O arquivo demo/gabarito.csv diz o que é cada página. Como tudo é fictício, posso publicar, versionar e rodar no GitHub Actions sem expor documento de ninguém.
A cada mudança no classificador, um teste roda o acervo de demonstração e compara o índice com o gabarito: páginas perdidas, itens encontrados, tipo, data e autor.
O que a medição mostrou
- Nenhuma página perdida com nenhum dos dois motores. Esse era o requisito que eu não negociava: mesmo quando o tipo ou a data saem errados, toda página está no índice e o Claude confere o texto no original antes de responder.
- Regras: 36 de 41 itens em 4 segundos, tipo certo em 94% deles, mas data em só metade e autor em um a cada cinco.
- Modelo local (qwen3.5:9b): 4 minutos, data certa em 89% e autor em 84% dos itens encontrados, mas fatiou mais itens do que devia.
Ou seja: o motor de regras acerta o "o que é" e erra o "quando" e o "quem". O modelo acerta bem mais data e autor, mas corta o documento em mais pedaços do que deveria. Sem o gabarito eu teria continuado otimizando a nota errada.
O que mais entrou desde a 1.3
- Detecção de mudanças: o programa avisa algo como "14 novos, 3 alterados, 1 removido" e só relê essa parte.
- Busca de texto completo em todas as páginas.
- Lista das leis citadas no acervo, com link para o texto no LexML.
- Conjuntos: vários acervos num só Projeto do Claude.
- Orçamento de tokens medido antes de baixar o pacote.
- Interface em português, inglês e espanhol, 8 temas, paleta de comandos (Ctrl+K).
Onde eu quero ajuda
- O gabarito tem 41 itens. Se você trabalha com processo, contrato ou arquivo de órgão público e quiser montar documentos fictícios parecidos com os reais, um gabarito maior mudaria o jogo.
- Autor é o campo mais fraco do motor de regras. Ideias de heurística são bem-vindas.
- Críticas de instalação e de uso, sem dó. Comentário aqui, nas Discussões do GitHub ou numa issue.
Abri tarefas marcadas para quem quer começar: https://github.com/alexccastilho/gclaude-indexer/labels/good%20first%20issue
Discussões: https://github.com/alexccastilho/gclaude-indexer/discussions
GPL-3.0, offline, sem telemetria. Código e instalador:
https://github.com/alexccastilho/gclaude-indexer