7

Mandou bem! A análise foi muito bem feita.

Creio que o comentário que você mencionou seja esse, de 4 anos atrás: https://www.tabnews.com.br/Silva97/a8a7ddfd-64ca-4103-a881-4ce9f8192726

Quando eu escrevo (seja post ou comentário), eu me preocupo bastante com a qualidade e utilidade do texto. Se eu não posso garantir a qualidade técnica do texto ou não vejo utilidade nele, eu nem escrevo.

Sua análise é apenas sobre quantidade, mas em termos de qualidade os números mudariam bastante. Sem mencionar nomes, é nítido como muitos dos membros mais ativos neste site escrevem comentários/posts mais pensando em si mesmo do que nos outros. Isto é, só escrevem para "bancar o sênior".

Se você perder seu tempo lendo os comentários de certos membros ativos daqui, você vai ter a infelicidade de notar que é só lero-lero. O site é cheio de comentários que não servem para nada além de fazer "sinalização de fodice".

Não estou querendo censurar que tipo de comentários ou posts as pessoas podem escrever no site. Mas quem faz esse tipo de coisa deveria refletir para quem está escrevendo. Porque texto escrito para si mesmo não costuma ser um bom texto.

Muito embora seja claro que as pessoas dão upvote em qualquer comentário significativamente longo e que soe "educado", claramente sem ler para verificar se o comentário é realmente útil ou só lero-lero (eu sempre leio tudo, até o fim). Daí eu fico me perguntando se quem escreve lero-lero faz isso só para ganhar upvotes, se é para fingir que entende de algo que não entende ou alguma outra razão...

Eu gostaria muito de ver uma análise da qualidade dos comentários no site, mas não me parece viável. Se feito por IA, vai ter que confiar no modelo. Se feito por humano, vai ter que confiar na imparcialidade do humano. De um jeito ou de outro, os resultados não seriam confiáveis. Mas se fosse feito, eu tenho certeza que a maioria dos comentários seriam classificados como lero-lero kkkk.

Dito isto, a análise quantitativa ainda é útil. Então, obrigado pelo seu trabalho. o/

Carregando publicação patrocinada...
3

É esse comentário mesmo, obrigado por achar. Fiquei com vontade de saber quantas outras pessoas chegaram no livro pelo mesmo caminho, e não tenho como medir isso.

Sobre quantidade e qualidade, você está certo e essa é a limitação que mais me incomoda no que eu fiz. Eu meço o que foi publicado, votado e comentado. Não meço se prestava.

Mas tem um número meu que apoia em parte a sua hipótese. Olhando os 117 mil comentários por faixa de tamanho:

tamanho do comentáriotabcoins médios
até 100 caracteres0,87
100 a 3001,34
300 a 8001,54
800 a 2 mil1,91
mais de 2 mil2,74

Comentário longo rende três vezes mais que comentário curto, e a relação é monotônica, sem uma exceção sequer. Isso é exatamente o que você descreveu.

Só que o dado sozinho não decide entre as duas explicações. Pode ser que as pessoas premiem tamanho sem ler, como você diz, ou pode ser que comentário longo seja em média melhor mesmo. As duas hipóteses produzem a mesma curva, e eu não consigo separá-las com o que tenho.

Sobre a sua objeção de que a análise de qualidade não seria confiável, concordo com o diagnóstico e discordo da conclusão.

Você está certo de que não existe juiz neutro aqui. IA carrega o viés do modelo, humano carrega o próprio. O que dá para fazer não é eliminar o viés, é deixá-lo inspecionável. Uma coisa é dizer "confie em mim, 70% é lero-lero". Outra é publicar o critério antes de rodar, publicar cada classificação individual, e publicar quanto o classificador discordou de mim numa amostra que eu revisei na mão.

Pensei em fazer assim, e vou tentar (caso encontre tempo na minha rotina maluca haha):

  1. Escrever o critério primeiro, com exemplos de cada categoria, e publicar antes de rodar em cima do acervo
  2. Classificar com um modelo mais forte que os que eu vinha usando, provavelmente o Claude Fable da Anthropic
  3. Revisar manualmente uma amostra aleatória, sem ver o que o modelo respondeu, e medir a taxa de concordância
  4. Publicar o conjunto classificado inteiro, para quem discordar poder conferir comentário por comentário

Se a concordância entre mim e o modelo for baixa, isso é o resultado: significa que "lero-lero" não é uma categoria estável o suficiente para medir, e aí você estava certo desde o começo. Se for alta, o número passa a valer alguma coisa, ainda que com a ressalva de que dois juízes concordarem não os torna corretos.

De qualquer forma o resultado é publicável. Método que dá errado de forma verificável ainda é melhor que impressão.

Uma coisa que me interessa mais que o percentual é que você apostou que a maioria seria classificada como lero-lero. Se eu rodar isso, sua aposta vira uma previsão registrada antes do teste, o que é bem mais honesto que analisar depois e concluir o que a gente já achava.