Entendo, no momento o bot faz varredura apenas na OLX, estava começando a criar o bot para varrer também webmotors, mas decidir validar se valeria a pena.
Respondendo a "Não sei se pagariam por isso, quando mexe no bo..." dentro da publicação Procuro parceiro para projeto Node.js que automatiza a busca de veículos
1
1
Cara, eu tenho uma sugestão de um pitch que meu gestor onde trabalho atualmente queria fazer comigo, seria similar a isso, mas sair do ambiente de carros e ir pro ambiente geral, ao invés de muitos grupos como aí que ficam espamando promos, seria o inverso, um contato no whatsapp onde você pudesse ir e digitar o nome de algum produto e o chat retornar as 5 melhores opções de compra daquele produto, isso seria especialmente útil pq estaria centralizado em um App de uso massivo no dia a dia das pessoas, a rentabilidade poderia vir de algumas formas, como produtos associados e/ou um ambiente para outros vendedores adicionarem seus produtos para terem uma espécie de melhor rankeamento nas indicações.
1
Pow cara a ideia é boa.
Mas para fazer um web scraping massivo como esse, vai ser preciso um serviço de proxy, e um servidor parrudo, pois desenvolvendo esse projeto descobri que web scraping consome mita ram.
Se quiser tocar esse projeto, vai ser um prazer participar.
1
Rapaz, pra um MVP eu iria pra API's prontas inicialmente, tem dois serviços bem massinha que supre a esse propósito, eles buscam no google e realizam o webscraping inclusive por tipo de conteúdo pq não pegam só produtos em si.
O Python é legal porque tem muita lib pronta já para esse propósito, mas sendo bem sincero não iria nele só por ter lib pronta e linguagem de alto nível, acaba perdendo em outros prontos essenciais.
Deixaria inicialmente a API suprir, usando JavaScript mesmo pra cuidar disso, não tem gargalo para iniciar e requisito de onde botar pra rodar baixíssimo, se fosse algo que saísse da bolha da comunidade que irão testar rsrs, e fosse realmente pro mundo dos usuários normais, aí valeria a pena já evoluir pro Go talvez pq tem muita performance entre outros parâmetros.
Resumindo: MVP até a v1 ou v2, depende da adesão: JS + Serviço de Webscraping prontos (API), depois se for algo que dê dinheiro ao ponto de te solicitar tempo pra isso, aí correria pra mesclar o Go na jogada, e desenvolver o Web Scraping próprio ou quase próprio é claro com JavaScript mesmo, por conta da quantidade massiva de conteúdos Js presente nas páginas, mais fácil de extrair essa galera.
Isso é uma reflexão bem por cima, não sei se de fato é o melhor caminho do melhor dos mundos, mas isso supre bem.
E sobre o convite, cara, seria muito daora e gostaria muito, mas no momento não consigo chegar junto, além do trabalho durante o dia na empresa, ainda tô trabalhando em um projeto pessoal, um ambiente para gestão de gráficas.