Excelente artigo! Tenho estudado bastante sobre esse assunto e confesso que suas explicações mostram bem os desafios que enfrento no dia a dia 😂. Desenvolvi um bot que varre sites que eu defino para coletar dados de anúncios, mas acabo sofrendo alguns banimentos. Mesmo configurando o script para simular ao máximo o comportamento humano e realizando poucas requisições, alguns sistemas ainda conseguem identificar que se trata de um bot. Os dados coletados são posteriormente indexados no naveideal.com.br.