-3

Quanto texto gerado por LLM aparece no TabNews? Uma amostra preliminar

Ferramentas de inteligência artificial já fazem parte da rotina de desenvolvimento. Mas qual é a presença delas nas publicações de uma comunidade técnica? Para obter uma primeira indicação, fizemos uma análise exploratória de itens do ranking de relevância do TabNews.

Como a amostra foi feita

Em 16 de novembro de 2026, consultamos os 100 itens retornados pela API pública do TabNews no ranking relevant. Nesta revisão preliminar, analisamos o conteúdo completo dos 20 primeiros posts e 40 comentários.

Cada texto recebeu uma classificação baseada em sinais observáveis:

  • uso explicitamente declarado;
  • sinais fortes de geração ou revisão por LLM;
  • caso incerto;
  • ausência de sinais suficientes.

Essas categorias não provam quem escreveu um texto. Um texto bem escrito pode ser inteiramente humano, e um texto gerado por LLM pode ser editado até não deixar sinais claros.

O que apareceu na amostra

TipoAvaliadosSinais fortesIncertos
Posts205 (25%)4 (20%)
Comentários4014 (35%)3 (7,5%)
Total6019 (31,7%)7 (11,7%)

Considerando apenas os casos explícitos ou prováveis, encontramos sinais fortes em 19 de 60 textos, ou 31,7%.

Se os casos incertos forem incluídos, o resultado sobe para 26 de 60, ou 43,3%.

O que esse número significa

A leitura mais responsável é: cerca de um terço dos textos analisados apresentou sinais fortes compatíveis com uso de LLM, com uma faixa observada de aproximadamente 32% a 43% quando incluímos os casos incertos.

Isso não permite afirmar que um terço do TabNews use LLM. A amostra não foi aleatória, os comentários foram avaliados apenas parcialmente e o método depende de julgamento textual.

Além disso, “usar LLM” pode significar coisas diferentes: revisar ortografia, reorganizar um texto, gerar um rascunho ou produzir a maior parte do conteúdo.

Por que fazer uma análise assim?

O objetivo não é apontar ou constranger autores. É iniciar uma conversa sobre transparência, autoria e os limites de estimativas baseadas apenas no estilo de escrita.

Uma análise mais confiável precisaria sortear posts e comentários entre os 100 itens, registrar os IDs analisados, separar revisão de geração e usar pelo menos dois avaliadores independentes. Também seria importante publicar os critérios antes da classificação e revisar manualmente todos os casos duvidosos.

Conclusão

Nesta primeira amostra, encontramos sinais fortes de uso de LLM em 31,7% dos textos avaliados.

O resultado é interessante como hipótese de investigação, mas ainda é pequeno e enviesado demais para representar o fórum inteiro.

Se houver interesse, a próxima etapa será repetir o levantamento com amostragem aleatória, classificação dupla e critérios mais específicos para distinguir texto revisado de texto predominantemente gerado por inteligência artificial.

Fonte técnica: API pública do TabNews, consultada em 16/11/2026: https://www.tabnews.com.br/api/v1/contents?strategy=relevant&page=1&per_page=100.

Carregando publicação patrocinada...
3

poetico um texto gerado por ia avaliando quais textos sao gerados por ia. duchamp colocaria na exposicao....

o que define sinais fortes?! uso incerto?! essa frase me pegou, nao sei pq mas tenho 100% que foi um llm.

Isso não permite afirmar que um terço do TabNews use LLM. A amostra não foi aleatória, os comentários foram avaliados apenas parcialmente e o método depende de julgamento textual.

1

Primeiro, este trabalho não pretende ser uma crítica, mas observar um fenômeno que representa um novo momento da internet em geral, por isso não soa hipocrisia como você faz parecer.

Como o próprio texto sugere, dizer que um conteúdo teve uso de LLM não significa que ele foi 100% produzido por uma inteligência artificial. Pode ter havido revisão, reescrita, organização de ideias ou apenas auxílio pontual.

A provocação sobre o método de comparação é pertinente. As análises consideram sinais observáveis, como estrutura excessivamente regular, generalizações, transições artificiais, repetição de ideias, tom impessoal, listas padronizadas e ausência de detalhes verificáveis.

Dois avaliadores independentes classificaram cada texto sem conhecer a avaliação do outro. Depois foram medidas a concordância entre ambos e os casos divergentes passaram por uma revisão conjunta.

O método é inspirado em critérios semelhantes aos usados por detectores tradicionais de LLM, mas realmente não podemos considerar esses sinais como prova de autoria. Eles servem apenas como indícios para uma investigação adicional.

Se houver interesse, posso ampliar a amostra e tornar todo o processo de classificação auditável, publicando os critérios, os textos analisados e as justificativas de cada classificação.

Se te tranquiliza, todo processo foi auditado e aprovado por um humano.

Obrigado por interagir.

2

O que foi postado não é um trabalho válido, mesmo se tivesse sido feito únicamente por um humano ou revisado por um.

Uma amostra de 100 registros de relevânete não é válido, os relevantes estão constantimente mudando, então mesmo se usar como fonte, amanhã, já não é possível fazer a mesma análise.

Além disso dentro de 100 relevantes estão postagens de recentes, o que invalida até mesmo como uma amostra do que a comunidade considera interessante.

Por exemplo se eu for um autor que costuma receber upvotes e posto um conteúdo slap, se não houver muita interação no dia, eu irei automaticamente aparecer nos relevantes.

E uma amostra de 100 é muito pequena, se considerar que dentro de status, normalmente há 40 postagens por dia.

1, 2, 5 dias, não são uma amostra relevânte. É a mesma coisa de falar que 1900 foi um ano quente por em dezembro de 1900 foi quente, enquanto todos os outros meses foram frios.

1

Olá, moranguinho. Obrigado por interagir e por detalhar suas críticas.

Concordo que uma fotografia do ranking de relevantes não representa a atividade do TabNews ao longo do tempo. O ranking muda, pode incluir publicações recentes e depende das interações daquele momento. Sem guardar os IDs e os textos avaliados, também não é possível reproduzir e auditar essa mesma seleção depois. A comparação com inferir o clima de um ano a partir de um mês ilustra bem o problema de generalização.

Minha intenção foi apresentar uma hipótese exploratória, não uma conclusão sobre o fórum. No próprio artigo, escrevi:

“Isso não permite afirmar que um terço do TabNews use LLM. A amostra não foi aleatória, os comentários foram avaliados apenas parcialmente e o método depende de julgamento textual.”

E, na conclusão:

“O resultado é interessante como hipótese de investigação, mas ainda é pequeno e enviesado demais para representar o fórum inteiro.”

Também reconheci que “essas categorias não provam quem escreveu um texto” e que uma análise mais confiável precisaria registrar os IDs, publicar critérios e separar revisão de geração. Na resposta ao clacerda, disse que poderia tornar o processo auditável publicando os textos e as justificativas. Portanto, os resultados atuais não são uma medida auditável e confiável da prevalência de LLM no TabNews; os percentuais são apenas os da classificação exploratória dessa amostra, sujeitos ao julgamento e aos limites descritos.

Seu ponto sobre a variação temporal do ranking acrescenta uma limitação concreta: mesmo um sorteio entre os 100 itens de um único momento continuaria sem representar outros dias. Para avançar, eu precisaria preservar a amostra e cobrir períodos diferentes, além de definir critérios verificáveis. Minha resposta anterior mencionou dois avaliadores e concordância, mas não apresentei os registros ou os resultados dessa concordância para que possam ser verificados.

Se você tiver sugestões concretas além das limitações já reconhecidas, ou quiser publicar uma análise melhor, com uma amostra e um método mais robustos, eu gostaria de conhecer. Obrigado novamente pela interação.

0
-3