Que massa! Fiz bem em postar isso aqui, deu uma boa clareada dos caminhos possíveis.
Uma última dúvida se puder responder, a empresa proprietária que está "sofrendo" a webscrapping, não pode barrar isso de alguma forma ou processar ou algo nesse sentido? Na sua experiência já aconteceu algo assim?
Desde já, obrigado pela ajuda meu amigo.
O que estou sugerindo nao eh um webscrapping de todo o site ou semelhante.
Eh pegar uma pagina da empresa que forneca dados de uma carga baseado em uma consulta (p.ex. CNPJ).
Estes dados sao entao examinados (p.ex. via XML ou DOM) e extraidos/convertidos para JSON e entao inseridos na sua aplicacao.
Como eh algo pontual (conforme consulta) eh improvavel que seja bloqueado.
O maior problema eh que se encontrar alguma pagina que tenha a consulta via CAPTCHA, e contornar isso as vezes pode ser chato.