Não pergunte qual detector “pega mais” — pergunte com que frequência eles concordam
Charles Li / HumanPen
Nos campi, relatórios de AI writing viram disputa de “ferramenta dura / leve”. Outra pergunta, útil mesmo em amostra pequena: no mesmo conjunto de textos, com que frequência vários detectores concordam?
Texto sobre literacia do relatório. Sem promessa de nota e sem guia de contorno.
Por que concordância
O “% AI” é saída de classificador com limiar sobre prosa contínua avaliada — não medida direta de autoria. Se dois instrumentos divergem no mesmo parágrafo, pelo menos um errou (ou olham segmentos/legendas diferentes). Escolher “o mais severo” pode piorar a justiça procedimental.
Mini-protocolo local
- Alguns textos com origem conhecida (humano declarado / LLM com prompt fixo / reescrita documental — condições explícitas).
- ≥2 detectores como “avaliadores”.
- Resultado principal: taxa de acordo + kappa de Cohen (sem taxa pass/bypass).
- Divulgar prompts, modelos, settings e conflitos de interesse.
Lado estudante
Abra o relatório completo; separe unscored / excluded / high-confidence; se houver segundo instrumento, compare só trechos sobrepostos, não percentuais totais.
Fluxo em documento: HumanPen. Sem promessa sobre o próximo cartão.
Ponto: concordância primeiro; corrida de severidade depois.