É esse comentário mesmo, obrigado por achar. Fiquei com vontade de saber quantas outras pessoas chegaram no livro pelo mesmo caminho, e não tenho como medir isso.
Sobre quantidade e qualidade, você está certo e essa é a limitação que mais me incomoda no que eu fiz. Eu meço o que foi publicado, votado e comentado. Não meço se prestava.
Mas tem um número meu que apoia em parte a sua hipótese. Olhando os 117 mil comentários por faixa de tamanho:
| tamanho do comentário | tabcoins médios |
|---|---|
| até 100 caracteres | 0,87 |
| 100 a 300 | 1,34 |
| 300 a 800 | 1,54 |
| 800 a 2 mil | 1,91 |
| mais de 2 mil | 2,74 |
Comentário longo rende três vezes mais que comentário curto, e a relação é monotônica, sem uma exceção sequer. Isso é exatamente o que você descreveu.
Só que o dado sozinho não decide entre as duas explicações. Pode ser que as pessoas premiem tamanho sem ler, como você diz, ou pode ser que comentário longo seja em média melhor mesmo. As duas hipóteses produzem a mesma curva, e eu não consigo separá-las com o que tenho.
Sobre a sua objeção de que a análise de qualidade não seria confiável, concordo com o diagnóstico e discordo da conclusão.
Você está certo de que não existe juiz neutro aqui. IA carrega o viés do modelo, humano carrega o próprio. O que dá para fazer não é eliminar o viés, é deixá-lo inspecionável. Uma coisa é dizer "confie em mim, 70% é lero-lero". Outra é publicar o critério antes de rodar, publicar cada classificação individual, e publicar quanto o classificador discordou de mim numa amostra que eu revisei na mão.
Pensei em fazer assim, e vou tentar (caso encontre tempo na minha rotina maluca haha):
- Escrever o critério primeiro, com exemplos de cada categoria, e publicar antes de rodar em cima do acervo
- Classificar com um modelo mais forte que os que eu vinha usando, provavelmente o Claude Fable da Anthropic
- Revisar manualmente uma amostra aleatória, sem ver o que o modelo respondeu, e medir a taxa de concordância
- Publicar o conjunto classificado inteiro, para quem discordar poder conferir comentário por comentário
Se a concordância entre mim e o modelo for baixa, isso é o resultado: significa que "lero-lero" não é uma categoria estável o suficiente para medir, e aí você estava certo desde o começo. Se for alta, o número passa a valer alguma coisa, ainda que com a ressalva de que dois juízes concordarem não os torna corretos.
De qualquer forma o resultado é publicável. Método que dá errado de forma verificável ainda é melhor que impressão.
Uma coisa que me interessa mais que o percentual é que você apostou que a maioria seria classificada como lero-lero. Se eu rodar isso, sua aposta vira uma previsão registrada antes do teste, o que é bem mais honesto que analisar depois e concluir o que a gente já achava.