Pow cara a ideia é boa.
Mas para fazer um web scraping massivo como esse, vai ser preciso um serviço de proxy, e um servidor parrudo, pois desenvolvendo esse projeto descobri que web scraping consome mita ram.
Se quiser tocar esse projeto, vai ser um prazer participar.
Rapaz, pra um MVP eu iria pra API's prontas inicialmente, tem dois serviços bem massinha que supre a esse propósito, eles buscam no google e realizam o webscraping inclusive por tipo de conteúdo pq não pegam só produtos em si.
O Python é legal porque tem muita lib pronta já para esse propósito, mas sendo bem sincero não iria nele só por ter lib pronta e linguagem de alto nível, acaba perdendo em outros prontos essenciais.
Deixaria inicialmente a API suprir, usando JavaScript mesmo pra cuidar disso, não tem gargalo para iniciar e requisito de onde botar pra rodar baixíssimo, se fosse algo que saísse da bolha da comunidade que irão testar rsrs, e fosse realmente pro mundo dos usuários normais, aí valeria a pena já evoluir pro Go talvez pq tem muita performance entre outros parâmetros.
Resumindo: MVP até a v1 ou v2, depende da adesão: JS + Serviço de Webscraping prontos (API), depois se for algo que dê dinheiro ao ponto de te solicitar tempo pra isso, aí correria pra mesclar o Go na jogada, e desenvolver o Web Scraping próprio ou quase próprio é claro com JavaScript mesmo, por conta da quantidade massiva de conteúdos Js presente nas páginas, mais fácil de extrair essa galera.
Isso é uma reflexão bem por cima, não sei se de fato é o melhor caminho do melhor dos mundos, mas isso supre bem.
E sobre o convite, cara, seria muito daora e gostaria muito, mas no momento não consigo chegar junto, além do trabalho durante o dia na empresa, ainda tô trabalhando em um projeto pessoal, um ambiente para gestão de gráficas.