AI detector: por que um resultado positivo não prova autoria por IA

Um texto que você escreveu recebe o rótulo “provavelmente gerado por IA”. E agora? Antes de reescrever tudo ou questionar a autoria de alguém, vale fazer uma pergunta menos óbvia: o que esse resultado realmente mede?

Um detector de texto por IA é um classificador: procura padrões associados a textos humanos ou gerados por modelos, conforme seu método e seus dados de avaliação. O resultado pode orientar uma revisão, mas, sozinho, não comprova autoria. Também não verifica plágio nem confirma se as informações do texto estão corretas.

Para colocar a discussão em algo concreto, o Solvely AI Detector é uma ferramenta desse tipo. Ao experimentar um detector, use um texto que possa compartilhar e observe como o resultado é apresentado. A questão aqui não é recomendar um vencedor, e sim entender que evidência seria necessária para confiar na classificação. Este artigo não apresenta um benchmark do Solvely ou de outro produto.

“90% de IA” pode significar coisas diferentes

Dependendo da ferramenta, a interface pode mostrar um score do classificador, uma proporção de trechos sinalizados ou uma probabilidade estimada. Essas medidas não são intercambiáveis.

Se 90% dos trechos foram sinalizados, isso não significa automaticamente que exista 90% de chance de o autor ter usado IA. Mesmo um score entre 0 e 1 só pode ser interpretado como probabilidade quando há evidência de calibração para aquele contexto.

Em um sistema bem calibrado, entre muitos casos com previsão de 0,8, aproximadamente 80% deveriam pertencer à classe prevista. Isso precisa ser verificado em dados de avaliação; não decorre do fato de a interface exibir uma porcentagem.

Antes de interpretar o número, procure três respostas:

• O percentual se refere ao documento, aos trechos ou à confiança de uma classificação?
• A avaliação inclui português, o gênero textual e o tamanho do seu documento?
• Qual é a taxa de falsos positivos no limiar usado para marcar um texto?

Sem essas informações, o número continua sendo uma indicação do sistema, não uma medida comprovada da autoria.

A conta que costuma ficar fora da interface

Imagine um conjunto de 1.000 documentos. Sabemos, pela origem registrada, que 100 foram gerados por IA e 900 foram escritos por pessoas. Agora suponha um detector com:

• Sensibilidade de 90%: sinaliza 90 dos 100 textos gerados por IA.
• Taxa de falsos positivos de 5%: sinaliza 45 dos 900 textos humanos.

No total, ele marca 135 documentos. Desses, 90 realmente pertencem à classe “gerado por IA”. Portanto, 90 / 135 ≈ 66,7% dos resultados positivos estão corretos nesse cenário.

Os outros 33,3% são falsos positivos. Isso não contradiz a sensibilidade de 90%: estamos respondendo a outra pergunta.

Todos esses números são hipotéticos. Não representam o desempenho de nenhuma ferramenta citada.

A sensibilidade responde: “Entre os textos de IA, quantos foram detectados?”. Já o valor preditivo positivo responde: “Entre os textos detectados, quantos são de IA?”. Confundir as duas perguntas é uma forma de ignorar a taxa-base.

Dá para reproduzir o cálculo em JavaScript:

// Valores hipotéticos, entre 0 e 1.
function valorPreditivoPositivo(sensibilidade, falsoPositivo, prevalencia) {
  const positivosReais = sensibilidade * prevalencia;
  const alarmesFalsos = falsoPositivo * (1 - prevalencia);
  const total = positivosReais + alarmesFalsos;
  return total === 0 ? null : positivosReais / total;
}

console.log(valorPreditivoPositivo(0.90, 0.05, 0.10)); // 0.6667...
console.log(valorPreditivoPositivo(0.90, 0.05, 0.01)); // 0.1538...

Mantendo as mesmas taxas de acerto e erro, quando a proporção de textos de IA cai de 10% para 1%, o valor preditivo positivo cai para aproximadamente 15,4%. O detector não mudou; mudou a população em que foi aplicado.

Esse cálculo descreve um conjunto de casos sob as hipóteses adotadas. Não transforma o score de um documento específico em probabilidade de autoria. Na prática, sensibilidade e falsos positivos também podem mudar quando mudam o idioma, o domínio ou os modelos geradores.

Como avaliar um detector para textos em português

Um teste útil começa antes de abrir a ferramenta: é preciso definir o que conta como “texto de IA”. Um artigo inteiramente gerado, um texto humano com correção gramatical e um rascunho de IA profundamente revisado não são o mesmo caso.

Um protocolo pequeno, mas informativo, pode seguir estes passos:

1. Monte um conjunto com origem conhecida. Use textos humanos com rascunhos ou histórico de versões e textos gerados com modelo, data e prompt registrados. Separe os casos mistos. Não use outro detector para determinar a resposta correta.
2. Compare materiais semelhantes. Separe por idioma, gênero e comprimento. Um README, uma redação escolar e um resumo acadêmico têm padrões diferentes. Registre também se houve tradução.
3. Separe ajuste e avaliação. Se escolher um limiar olhando um lote de textos, avalie o resultado em outro lote. Evite versões quase idênticas do mesmo documento nos dois grupos.
4. Registre a matriz de confusão. Conte verdadeiros positivos, falsos positivos, verdadeiros negativos e falsos negativos. Informe os denominadores: “3 de 60 textos humanos foram sinalizados” é mais auditável que “boa precisão”.
5. Teste revisões como uma condição separada. Compare original e versão revisada para medir estabilidade. Não interprete uma queda de score como prova de que o texto se tornou humano.
6. Documente limites e versões. Anote data, ferramenta, configurações disponíveis e composição da amostra. Resultados com poucos exemplos têm grande incerteza e não justificam alegações gerais de superioridade.

Acurácia isolada pode enganar. Se apenas 1% dos documentos de um conjunto forem de IA, um sistema que sempre responde “humano” terá 99% de acurácia e detectará exatamente zero textos de IA.

Também não basta usar três detectores e decidir por maioria. Se compartilham sinais ou limitações semelhantes, seus erros podem ser correlacionados. Concordância não equivale a três evidências independentes.

Meu texto foi marcado como IA. O que fazer?

Primeiro, preserve o original, os rascunhos, as fontes consultadas e o histórico de edição. Se o resultado estiver sendo usado para questionar seu trabalho, esses registros ajudam a contextualizar o processo de escrita.

Depois, peça que o resultado seja analisado junto com o texto e com a política aplicável. Um trecho padronizado, uma citação ou uma revisão de estilo precisam de contexto. Se houve assistência de IA, descreva o uso de acordo com as regras da atividade.

Evite entrar em um ciclo de trocar palavras até obter “0%”. Isso otimiza o texto para um score e pode piorar clareza, precisão e referências. Um resultado negativo também não comprova que não houve IA.

Para quem revisa conteúdo, a sequência mais útil é: conferir afirmações e fontes, examinar o processo quando necessário e usar o detector como sinal auxiliar. Uma classificação isolada não deveria determinar uma acusação de fraude.

Se você vai integrar isso a um produto

Uma API de detecção devolve um resultado; a aplicação precisa decidir o significado operacional dele. Essa é uma decisão de produto, não só de modelo.

Uma interface responsável deve permitir o estado “inconclusivo”, explicar o que o score representa e oferecer revisão humana antes de uma consequência relevante. O limiar deve considerar o custo dos erros: sinalizar um texto para revisão editorial é diferente de bloquear automaticamente uma submissão.

Também vale verificar retenção, uso dos dados e condições de privacidade antes de enviar documentos de clientes, alunos ou colegas. Remover o nome não necessariamente elimina informações identificáveis no corpo do texto.

Uma referência para aprofundar

O trabalho Can AI-Generated Text be Reliably Detected?, de Sadasivan e colaboradores, discute limites de confiabilidade e robustez da detecção, incluindo cenários de paráfrase. Ele ajuda a entender por que o desempenho depende das condições de avaliação. Não é uma validação específica de uma ferramenta comercial nem um benchmark de textos em português.

A pergunta prática deixa de ser “qual detector garante que este texto é humano?” e passa a ser: “qual evidência esse resultado acrescenta, em qual contexto e com qual taxa de erro?”

Quem já avaliou detectores em português: como separou textos humanos, gerados e revisados? Seria interessante comparar protocolos, tamanho das amostras e falsos positivos — não apenas prints de porcentagens.