1

Primeiro, este trabalho não pretende ser uma crítica, mas observar um fenômeno que representa um novo momento da internet em geral, por isso não soa hipocrisia como você faz parecer.

Como o próprio texto sugere, dizer que um conteúdo teve uso de LLM não significa que ele foi 100% produzido por uma inteligência artificial. Pode ter havido revisão, reescrita, organização de ideias ou apenas auxílio pontual.

A provocação sobre o método de comparação é pertinente. As análises consideram sinais observáveis, como estrutura excessivamente regular, generalizações, transições artificiais, repetição de ideias, tom impessoal, listas padronizadas e ausência de detalhes verificáveis.

Dois avaliadores independentes classificaram cada texto sem conhecer a avaliação do outro. Depois foram medidas a concordância entre ambos e os casos divergentes passaram por uma revisão conjunta.

O método é inspirado em critérios semelhantes aos usados por detectores tradicionais de LLM, mas realmente não podemos considerar esses sinais como prova de autoria. Eles servem apenas como indícios para uma investigação adicional.

Se houver interesse, posso ampliar a amostra e tornar todo o processo de classificação auditável, publicando os critérios, os textos analisados e as justificativas de cada classificação.

Se te tranquiliza, todo processo foi auditado e aprovado por um humano.

Obrigado por interagir.

Carregando publicação patrocinada...
2

O que foi postado não é um trabalho válido, mesmo se tivesse sido feito únicamente por um humano ou revisado por um.

Uma amostra de 100 registros de relevânete não é válido, os relevantes estão constantimente mudando, então mesmo se usar como fonte, amanhã, já não é possível fazer a mesma análise.

Além disso dentro de 100 relevantes estão postagens de recentes, o que invalida até mesmo como uma amostra do que a comunidade considera interessante.

Por exemplo se eu for um autor que costuma receber upvotes e posto um conteúdo slap, se não houver muita interação no dia, eu irei automaticamente aparecer nos relevantes.

E uma amostra de 100 é muito pequena, se considerar que dentro de status, normalmente há 40 postagens por dia.

1, 2, 5 dias, não são uma amostra relevânte. É a mesma coisa de falar que 1900 foi um ano quente por em dezembro de 1900 foi quente, enquanto todos os outros meses foram frios.

1

Olá, moranguinho. Obrigado por interagir e por detalhar suas críticas.

Concordo que uma fotografia do ranking de relevantes não representa a atividade do TabNews ao longo do tempo. O ranking muda, pode incluir publicações recentes e depende das interações daquele momento. Sem guardar os IDs e os textos avaliados, também não é possível reproduzir e auditar essa mesma seleção depois. A comparação com inferir o clima de um ano a partir de um mês ilustra bem o problema de generalização.

Minha intenção foi apresentar uma hipótese exploratória, não uma conclusão sobre o fórum. No próprio artigo, escrevi:

“Isso não permite afirmar que um terço do TabNews use LLM. A amostra não foi aleatória, os comentários foram avaliados apenas parcialmente e o método depende de julgamento textual.”

E, na conclusão:

“O resultado é interessante como hipótese de investigação, mas ainda é pequeno e enviesado demais para representar o fórum inteiro.”

Também reconheci que “essas categorias não provam quem escreveu um texto” e que uma análise mais confiável precisaria registrar os IDs, publicar critérios e separar revisão de geração. Na resposta ao clacerda, disse que poderia tornar o processo auditável publicando os textos e as justificativas. Portanto, os resultados atuais não são uma medida auditável e confiável da prevalência de LLM no TabNews; os percentuais são apenas os da classificação exploratória dessa amostra, sujeitos ao julgamento e aos limites descritos.

Seu ponto sobre a variação temporal do ranking acrescenta uma limitação concreta: mesmo um sorteio entre os 100 itens de um único momento continuaria sem representar outros dias. Para avançar, eu precisaria preservar a amostra e cobrir períodos diferentes, além de definir critérios verificáveis. Minha resposta anterior mencionou dois avaliadores e concordância, mas não apresentei os registros ou os resultados dessa concordância para que possam ser verificados.

Se você tiver sugestões concretas além das limitações já reconhecidas, ou quiser publicar uma análise melhor, com uma amostra e um método mais robustos, eu gostaria de conhecer. Obrigado novamente pela interação.