1

Como medir se um classificador de documentos acerta: um gabarito fictício no CI do GClaude Indexer

Faz uns meses publiquei aqui o GClaude Indexer, um programa para Windows que lê uma pasta de documentos (PDF, digitalizações, Word, Excel, e-mails) sem mandar nada para a nuvem e monta um índice que o Claude consegue usar. A versão de hoje é a 1.10.2, e quero contar a parte que mais mudou o projeto: parar de achar que o índice estava bom e passar a medir.

O problema

O programa separa cada documento em itens (um contrato, uma ata, um laudo) e dá a cada um tipo, data, autor e página. Há dois jeitos de fazer isso: um motor de regras, que reconhece padrões no texto e termina em segundos, e um modelo local (qwen3.5 via Ollama), que lê cada trecho e demora mais. Por muito tempo eu só tinha uma "nota de qualidade" que media a confiança declarada pelo motor e quantos campos ele preencheu. Isso não diz se a classificação está certa.

O gabarito

O repositório agora traz demo/acervo, um acervo inteiramente inventado: 72 páginas e 41 itens, com dois volumes de processo em PDF, um contrato, um memorando em Word, uma planilha, uma carta digitalizada e um e-mail. O arquivo demo/gabarito.csv diz o que é cada página. Como tudo é fictício, posso publicar, versionar e rodar no GitHub Actions sem expor documento de ninguém.

A cada mudança no classificador, um teste roda o acervo de demonstração e compara o índice com o gabarito: páginas perdidas, itens encontrados, tipo, data e autor.

O que a medição mostrou

  • Nenhuma página perdida com nenhum dos dois motores. Esse era o requisito que eu não negociava: mesmo quando o tipo ou a data saem errados, toda página está no índice e o Claude confere o texto no original antes de responder.
  • Regras: 36 de 41 itens em 4 segundos, tipo certo em 94% deles, mas data em só metade e autor em um a cada cinco.
  • Modelo local (qwen3.5:9b): 4 minutos, data certa em 89% e autor em 84% dos itens encontrados, mas fatiou mais itens do que devia.

Ou seja: o motor de regras acerta o "o que é" e erra o "quando" e o "quem". O modelo acerta bem mais data e autor, mas corta o documento em mais pedaços do que deveria. Sem o gabarito eu teria continuado otimizando a nota errada.

O que mais entrou desde a 1.3

  • Detecção de mudanças: o programa avisa algo como "14 novos, 3 alterados, 1 removido" e só relê essa parte.
  • Busca de texto completo em todas as páginas.
  • Lista das leis citadas no acervo, com link para o texto no LexML.
  • Conjuntos: vários acervos num só Projeto do Claude.
  • Orçamento de tokens medido antes de baixar o pacote.
  • Interface em português, inglês e espanhol, 8 temas, paleta de comandos (Ctrl+K).

Onde eu quero ajuda

  1. O gabarito tem 41 itens. Se você trabalha com processo, contrato ou arquivo de órgão público e quiser montar documentos fictícios parecidos com os reais, um gabarito maior mudaria o jogo.
  2. Autor é o campo mais fraco do motor de regras. Ideias de heurística são bem-vindas.
  3. Críticas de instalação e de uso, sem dó. Comentário aqui, nas Discussões do GitHub ou numa issue.

Abri tarefas marcadas para quem quer começar: https://github.com/alexccastilho/gclaude-indexer/labels/good%20first%20issue
Discussões: https://github.com/alexccastilho/gclaude-indexer/discussions

GPL-3.0, offline, sem telemetria. Código e instalador:
https://github.com/alexccastilho/gclaude-indexer

Carregando publicação patrocinada...