2

O que foi postado não é um trabalho válido, mesmo se tivesse sido feito únicamente por um humano ou revisado por um.

Uma amostra de 100 registros de relevânete não é válido, os relevantes estão constantimente mudando, então mesmo se usar como fonte, amanhã, já não é possível fazer a mesma análise.

Além disso dentro de 100 relevantes estão postagens de recentes, o que invalida até mesmo como uma amostra do que a comunidade considera interessante.

Por exemplo se eu for um autor que costuma receber upvotes e posto um conteúdo slap, se não houver muita interação no dia, eu irei automaticamente aparecer nos relevantes.

E uma amostra de 100 é muito pequena, se considerar que dentro de status, normalmente há 40 postagens por dia.

1, 2, 5 dias, não são uma amostra relevânte. É a mesma coisa de falar que 1900 foi um ano quente por em dezembro de 1900 foi quente, enquanto todos os outros meses foram frios.

Carregando publicação patrocinada...
1

Olá, moranguinho. Obrigado por interagir e por detalhar suas críticas.

Concordo que uma fotografia do ranking de relevantes não representa a atividade do TabNews ao longo do tempo. O ranking muda, pode incluir publicações recentes e depende das interações daquele momento. Sem guardar os IDs e os textos avaliados, também não é possível reproduzir e auditar essa mesma seleção depois. A comparação com inferir o clima de um ano a partir de um mês ilustra bem o problema de generalização.

Minha intenção foi apresentar uma hipótese exploratória, não uma conclusão sobre o fórum. No próprio artigo, escrevi:

“Isso não permite afirmar que um terço do TabNews use LLM. A amostra não foi aleatória, os comentários foram avaliados apenas parcialmente e o método depende de julgamento textual.”

E, na conclusão:

“O resultado é interessante como hipótese de investigação, mas ainda é pequeno e enviesado demais para representar o fórum inteiro.”

Também reconheci que “essas categorias não provam quem escreveu um texto” e que uma análise mais confiável precisaria registrar os IDs, publicar critérios e separar revisão de geração. Na resposta ao clacerda, disse que poderia tornar o processo auditável publicando os textos e as justificativas. Portanto, os resultados atuais não são uma medida auditável e confiável da prevalência de LLM no TabNews; os percentuais são apenas os da classificação exploratória dessa amostra, sujeitos ao julgamento e aos limites descritos.

Seu ponto sobre a variação temporal do ranking acrescenta uma limitação concreta: mesmo um sorteio entre os 100 itens de um único momento continuaria sem representar outros dias. Para avançar, eu precisaria preservar a amostra e cobrir períodos diferentes, além de definir critérios verificáveis. Minha resposta anterior mencionou dois avaliadores e concordância, mas não apresentei os registros ou os resultados dessa concordância para que possam ser verificados.

Se você tiver sugestões concretas além das limitações já reconhecidas, ou quiser publicar uma análise melhor, com uma amostra e um método mais robustos, eu gostaria de conhecer. Obrigado novamente pela interação.