Olá, moranguinho. Obrigado por interagir e por detalhar suas críticas.
Concordo que uma fotografia do ranking de relevantes não representa a atividade do TabNews ao longo do tempo. O ranking muda, pode incluir publicações recentes e depende das interações daquele momento. Sem guardar os IDs e os textos avaliados, também não é possível reproduzir e auditar essa mesma seleção depois. A comparação com inferir o clima de um ano a partir de um mês ilustra bem o problema de generalização.
Minha intenção foi apresentar uma hipótese exploratória, não uma conclusão sobre o fórum. No próprio artigo, escrevi:
“Isso não permite afirmar que um terço do TabNews use LLM. A amostra não foi aleatória, os comentários foram avaliados apenas parcialmente e o método depende de julgamento textual.”
E, na conclusão:
“O resultado é interessante como hipótese de investigação, mas ainda é pequeno e enviesado demais para representar o fórum inteiro.”
Também reconheci que “essas categorias não provam quem escreveu um texto” e que uma análise mais confiável precisaria registrar os IDs, publicar critérios e separar revisão de geração. Na resposta ao clacerda, disse que poderia tornar o processo auditável publicando os textos e as justificativas. Portanto, os resultados atuais não são uma medida auditável e confiável da prevalência de LLM no TabNews; os percentuais são apenas os da classificação exploratória dessa amostra, sujeitos ao julgamento e aos limites descritos.
Seu ponto sobre a variação temporal do ranking acrescenta uma limitação concreta: mesmo um sorteio entre os 100 itens de um único momento continuaria sem representar outros dias. Para avançar, eu precisaria preservar a amostra e cobrir períodos diferentes, além de definir critérios verificáveis. Minha resposta anterior mencionou dois avaliadores e concordância, mas não apresentei os registros ou os resultados dessa concordância para que possam ser verificados.
Se você tiver sugestões concretas além das limitações já reconhecidas, ou quiser publicar uma análise melhor, com uma amostra e um método mais robustos, eu gostaria de conhecer. Obrigado novamente pela interação.