2

Pitch: Como casei 300 mil questões de concurso com os tópicos de um edital (e o que deu errado no caminho)

Há alguns meses comecei um projeto para quem estuda para concurso público: a pessoa escolhe o concurso, o sistema lê o edital e monta um plano de estudo com questões reais da banca, assunto por assunto. Parece simples. Não é. Quero dividir aqui as decisões técnicas e os erros que mais me ensinaram, porque quase todos valem para qualquer projeto que precise organizar muito texto que veio de fontes bagunçadas.

O problema em uma frase

Um edital lista dezenas de itens em texto livre ("Lei nº 8.112/1990 e alterações: regime disciplinar"), e as questões chegam com rótulos que cada banca escreve do seu jeito. Juntando tudo, encontrei 1.028 rótulos diferentes só para nomes de disciplina. Para o plano funcionar, cada questão precisa cair no mesmo "endereço" que o item do edital.

Decisão 1: um vocabulário único, com trava

A primeira versão tinha mais de 20 scripts gravando assunto livremente e quatro fontes de vocabulário que divergiam entre si. O resultado era o aluno vendo o mesmo assunto duplicado com acento e sem acento.

A correção foi tratar o vocabulário como lei: um único documento no banco (hoje com 29 disciplinas curadas e seus capítulos), com controle de versão otimista. Capítulo novo só entra por um script de curadoria que exige um motivo. Todo script que grava assunto passa por uma função de validação, e um teste quebra o CI se algum gravador não usar essa função. Um vigia diário funde sozinho diferenças de caixa e acento e manda o resto para uma fila de revisão.

Lição: se o dado tem dono, ele precisa de uma porta de entrada só.

Decisão 2: tirar a questão do PDF sem estragar a questão

As provas são PDFs, cada banca com um layout. Escrevi um parser por banca, e os defeitos mais caros foram os silenciosos:

  • A alternativa E cortada. Numa das bancas, as linhas depois da última alternativa ficavam num buffer que era descartado quando a questão seguinte começava. 43,6% das alternativas E terminavam sem pontuação final. Depois da correção, 11,5%, praticamente o mesmo índice das alternativas A a D (9,7%), que é o normal de texto que termina sem ponto.
  • O enunciado que começa no meio da frase. Quando o número da questão se perdia na leitura por coordenada, o parser abria a questão pela última linha vista. A detecção foi simples: enunciado de prova sempre começa com maiúscula. Mas a regra tem uma exceção importante: em provas de Certo ou Errado, a minúscula é o normal, porque o item continua o comando "Julgue o item a seguir". Das 167 questões de uma banca que a regra marcava, 155 eram legítimas. Sem a exceção, eu teria apagado questões boas.

Decisão 3: casar caderno e gabarito por identificador, nunca por nome

Gabarito errado é o pior defeito possível num banco de questões. Cada caderno precisa casar com o bloco certo do gabarito, e o caminho óbvio é comparar o nome do cargo. Testei cinco variantes de comparação por nome em 228 cadernos com resposta conhecida:

RegraDecideErra
Corte fino de nome + nome mais longo1210
Margem de 0,10 + nome mais longo1291
Corte fino + cobertura da referência1323

Toda variante mais permissiva decidia mais e errava mais. O ganho grande veio de outro lugar: identificadores que a própria banca imprime nos dois documentos (um código no rodapé da folha de rascunho, o rótulo exato do cargo na capa, o tipo e a cor da prova). Só um desses códigos, que eu estava descartando, recuperou 24 cadernos de uma vez.

Um erro meu que vale contar: medi uma das variantes sem colocar o critério novo na ordenação e deu zero erro. Com o critério na ordenação, que é como ele funcionaria em produção, deu três. Medição que não simula a regra real mede outra coisa.

Decisão 4: classificar no capítulo com portão e quarentena

Para colocar cada questão no capítulo certo, uso um classificador local. No começo ele escolhia o capítulo "à força" entre os disponíveis, mesmo com confiança baixa. O resultado apareceu num caso concreto: um capítulo de estatutos militares tinha 855 questões, e 406 vinham de órgãos que não têm nada de militar (tribunais, Ministério Público, OAB), servidas a quem estudava para o Corpo de Bombeiros.

A correção teve duas partes: um portão de confiança de 0,85 e uma lista de capítulos restritos (capítulo militar só aceita questão de órgão militar). O que não passa vai para uma quarentena, nunca para o lixo. Descarte silencioso é o tipo de bug que você só descobre meses depois.

Para esvaziar a quarentena, usei um modelo de linguagem com três travas: ele só pode escolher entre os capítulos numerados daquela disciplina, um segundo classificador barra quando discorda da disciplina com confiança alta, e todo o lote fica marcado com a origem para poder ser auditado ou desfeito em bloco.

A armadilha mais engraçada: na primeira versão do prompt, eu mostrava a questão e pedia "um array de números". O modelo respondia as questões. A concordância com a referência foi de 22,7%. Depois de dar a ele o papel explícito de catalogador, proibir responder e exigir um schema de saída, subiu para 80% (96 de 120). E parte da discordância restante era o modelo escolhendo um capítulo mais específico que a própria referência.

Decisão 5: duplicatas têm causa, não azar

Ao medir o banco, 15,3% dos documentos eram duplicados. Eu suspeitava de reimportação. Não era: a causa era o mesmo caderno de conhecimentos gerais gravado uma vez para cada cargo do concurso. 87% do excedente era isso. Entender a causa mudou a correção (apagar com segurança, porque o plano seleciona por disciplina e assunto, não por concurso) e evitou que o problema voltasse.

Decisão 6: alias também tem custo

Para casar o texto do edital com os capítulos, mantenho uma lista de aliases ("como o edital escreve cada capítulo"). Descobri que alias não é neutro: o casamento consome o item do edital, então um alias desnecessário "rouba" o item e deixa outro capítulo de fora. Hoje só adiciono alias onde um relatório de itens sem casamento mostra que nada chegou ali, e comparo a lista de capítulos antes e depois procurando o que saiu.

O que eu levaria para qualquer projeto

  1. Antes de afrouxar uma regra para "pegar mais casos", meça quanto ela erra a mais.
  2. Nada sai do pipeline em silêncio: quarentena com motivo, sempre.
  3. Identificador impresso pela fonte vale mais que qualquer comparação de texto.
  4. Uma porta de entrada para o vocabulário, com teste que quebra o CI.
  5. Toda operação em lote marcada com a origem, para poder desfazer.

O projeto é o Yatta Concursos (https://yattaconcursos.com). Se alguém trabalha com extração de PDF, classificação de texto ou casamento de entidades e quiser trocar ideia sobre alguma dessas decisões, fico feliz em responder nos comentários.

Carregando publicação patrocinada...