Meu ML de preço de jogo da Steam ganhava 66% do baseline. Troquei o baseline e caiu para 30%
Fala, pessoal. Eu queria saber se dá para prever quando um jogo da Steam vai ficar mais barato. Treinei um gradient boosting, medi, e o primeiro resultado foi bonito demais: o erro caía 66% contra o baseline (a 90 dias). Fui conferir o baseline.
Spoiler: o ML ainda ganha, mas bem menos.

O que eu medi
Se eu esperar 30 ou 90 dias, aparece um preço menor que o de hoje? E quanto menor (o menor preço do período, em P10, P50 e P90)? Os preços vêm da API do IsThereAnyDeal (chave grátis, em reais): 1.160 jogos populares e colecionados, dos quais 1.156 viraram série.
Sem olhar o futuro
Retreino a cada 180 dias, só com alvos que já terminaram: 8 cortes, de 01/01/2023 a 02/11/2026. Todos os modelos usam as mesmas origens (198.212 a 30 dias, 188.819 a 90). Um teste mexe nos dados do futuro e confere que a previsão do passado não muda.

O baseline que me enganou
Meu baseline era a frequência do jogo: quanto aquele jogo costuma ter preço menor depois. Contra ele, o Brier do ML caiu 41,6% (30 dias) e 65,7% (90 dias).
Só que ele não sabe se o jogo já está em promoção hoje, e o ML sabe (o desconto atual é um atributo). A 30 dias, 60,7% das origens no preço cheio veem um preço menor depois, contra 4,2% das que já estão em promoção. O baseline dava a mesma chance aos dois.
Criei dois baselines que sabem do estado: a taxa por estado (em promoção ou no preço cheio) e a frequência do jogo dado o estado.

| Baseline | Brier 30 dias | Brier 90 dias |
|---|---|---|
| frequência do jogo | 0,2367 | 0,1943 |
| taxa por estado | 0,1980 | 0,1241 |
| frequência do jogo dado o estado | 0,1683 | 0,0948 |
| gradient boosting | 0,1382 | 0,0666 |
Brier é o erro quadrático da chance prevista (menor é melhor). Contra o melhor baseline, o ML reduz o Brier em 17,9% (30 dias) e 29,8% (90 dias), e o pinball do menor preço em 10,6% e 30,3%. Ganha em todos os anos; o único quase empate é o pinball de 2023 a 30 dias (−0,1%).

Stardew Valley
Custa R$ 24,99, sem desconto. O modelo dá 83,8% de chance de aparecer um preço menor em 30 dias e 97,6% em 90. O menor preço esperado em 30 dias fica entre R$ 10,15 e R$ 20,76 (P10 a P90), com mediana de R$ 14,34.

Com skin de CS2 foi mais duro
Com 232 itens do Mercado da Steam, o baseline forte já existia desde o começo (o "naive com intervalo"). O ML ganhou 5,0% a 7 dias e só 2,1% a 30, e esse ganho vinha quase todo de 2024.

O que isso não prova
- O universo são os jogos populares de hoje: viés de sobrevivência.
- As origens são semanais e se sobrepõem, e os jogos andam juntos: não são 1.086 amostras independentes.
- O modelo não sabe a data da próxima liquidação, só a época do ano.
- Backtest não garante o futuro, e isso não é recomendação de compra.
O repositório
Aberto: github.com/Juan-Severiano/steam-price-forecast. Tem um site de demonstração com dados simulados e um terminal que simula o pipeline (não roda Python). O dado real do IsThereAnyDeal não está no repositório: cada um coleta com a sua chave.

Preços fornecidos por IsThereAnyDeal. O projeto não é afiliado a eles nem à Valve.
Se você achar algum furo na avaliação, me fala nos comentários.