Fiz uma API para pesquisas de jogos do site da instant-gaming.com usando Flask.
Site: https://instantgaming.vercel.app/
Repositório: https://github.com/diogolourencodev/instantgaming-api
Deem dicas/ideias aí por favor :)
webscraping é legal, mas talvez nesse caso tenha sido desnecessário, o site tem uma "API" disponível...
METHOD:
POST
HEADERS:
Accept-Encoding: gzip, deflate, br, zstd Accept-Language: pt-BR,pt;q=0.9,en-US;q=0.8,en;q=0.7 Cache-Control: no-cache Connection: keep-alive Content-Length: 149 DNT: 1 Host: qknhp8tc3y-dsn.algolia.net Origin: https://www.instant-gaming.com Pragma: no-cache Referer: https://www.instant-gaming.com/ Sec-Fetch-Dest: empty Sec-Fetch-Mode: cors Sec-Fetch-Site: cross-site User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/142.0.0.0 Safari/537.36 accept: application/json content-type: application/x-www-form-urlencoded sec-ch-ua: "Chromium";v="142", "Google Chrome";v="142", "Not_A Brand";v="99" sec-ch-ua-mobile: ?0 sec-ch-ua-platform: "Linux"
PAYLOAD FORM-DATA:
{"params":"query=minecraft&hitsPerPage=60&filters=(sites%3Aig)%20AND%20(region%3AWorldwide%20OR%20region%3A%22BR%22%20OR%20region%3A%22Latin%20America%22)"}
Acho que o propósito do colega foi facilitar mesmo, pois uma API cuja consulta externa seja via POST não parece tão acessível, faz sentido um GET mesmo. Se for possível , coloca o curl desse endpoint pois recebi um 400 ao usar os mesmos parâmetros acima e tentar obter dados do minefraft como seu pAYLOAD buscou.
Precisa obter a sessão com uma request antes, e o mesmo endpoint poderia se tornar uma requisição GET na API Flask dele, talvez você não tenha entendido a dica que dei a ele.
Vou tentar ser mais claro:
Ao invés de usar webscraping com os módulos re e BS4 acesse normalmente via requests, obtenha a sessão e use o endpoint sugerido passando via POST, mas disponiblize na API Flask o mesmo endpoint GET.
Acredito que tenha ficado claro agora.