1

Meu ML de preço de jogo da Steam ganhava 66% do baseline. Troquei o baseline e caiu para 30%

Fala, pessoal. Eu queria saber se dá para prever quando um jogo da Steam vai ficar mais barato. Treinei um gradient boosting, medi, e o primeiro resultado foi bonito demais: o erro caía 66% contra o baseline (a 90 dias). Fui conferir o baseline.

Spoiler: o ML ainda ganha, mas bem menos.

Do preço do jogo até a nota

O que eu medi

Se eu esperar 30 ou 90 dias, aparece um preço menor que o de hoje? E quanto menor (o menor preço do período, em P10, P50 e P90)? Os preços vêm da API do IsThereAnyDeal (chave grátis, em reais): 1.160 jogos populares e colecionados, dos quais 1.156 viraram série.

Sem olhar o futuro

Retreino a cada 180 dias, só com alvos que já terminaram: 8 cortes, de 01/01/2023 a 02/11/2026. Todos os modelos usam as mesmas origens (198.212 a 30 dias, 188.819 a 90). Um teste mexe nos dados do futuro e confere que a previsão do passado não muda.

Janela deslizante

O baseline que me enganou

Meu baseline era a frequência do jogo: quanto aquele jogo costuma ter preço menor depois. Contra ele, o Brier do ML caiu 41,6% (30 dias) e 65,7% (90 dias).

Só que ele não sabe se o jogo já está em promoção hoje, e o ML sabe (o desconto atual é um atributo). A 30 dias, 60,7% das origens no preço cheio veem um preço menor depois, contra 4,2% das que já estão em promoção. O baseline dava a mesma chance aos dois.

Criei dois baselines que sabem do estado: a taxa por estado (em promoção ou no preço cheio) e a frequência do jogo dado o estado.

Ganho do ML por régua

BaselineBrier 30 diasBrier 90 dias
frequência do jogo0,23670,1943
taxa por estado0,19800,1241
frequência do jogo dado o estado0,16830,0948
gradient boosting0,13820,0666

Brier é o erro quadrático da chance prevista (menor é melhor). Contra o melhor baseline, o ML reduz o Brier em 17,9% (30 dias) e 29,8% (90 dias), e o pinball do menor preço em 10,6% e 30,3%. Ganha em todos os anos; o único quase empate é o pinball de 2023 a 30 dias (−0,1%).

Ganho do ML por ano

Stardew Valley

Custa R$ 24,99, sem desconto. O modelo dá 83,8% de chance de aparecer um preço menor em 30 dias e 97,6% em 90. O menor preço esperado em 30 dias fica entre R$ 10,15 e R$ 20,76 (P10 a P90), com mediana de R$ 14,34.

Stardew Valley: chance e faixa do menor preço

Com skin de CS2 foi mais duro

Com 232 itens do Mercado da Steam, o baseline forte já existia desde o começo (o "naive com intervalo"). O ML ganhou 5,0% a 7 dias e só 2,1% a 30, e esse ganho vinha quase todo de 2024.

Skins: ML contra a referência

O que isso não prova

  • O universo são os jogos populares de hoje: viés de sobrevivência.
  • As origens são semanais e se sobrepõem, e os jogos andam juntos: não são 1.086 amostras independentes.
  • O modelo não sabe a data da próxima liquidação, só a época do ano.
  • Backtest não garante o futuro, e isso não é recomendação de compra.

O repositório

Aberto: github.com/Juan-Severiano/steam-price-forecast. Tem um site de demonstração com dados simulados e um terminal que simula o pipeline (não roda Python). O dado real do IsThereAnyDeal não está no repositório: cada um coleta com a sua chave.

Site de demonstração, com exemplo simulado

Preços fornecidos por IsThereAnyDeal. O projeto não é afiliado a eles nem à Valve.

Se você achar algum furo na avaliação, me fala nos comentários.

Carregando publicação patrocinada...