"HTML mudou e meu web scrapper quebrou" - Como vocês lidam com isso?
Já deve ter acontecido uma situação parecida com alguem aqui: Já passou do horário de trabalho e te ligam dizendo que o algo parou de funcionar. Você vai investigar e descobre que é por que o seu script que pegava dados de um site in "real-time" parou de funcionar e agora você tem que ficar analisando o HTML da pagina porque o dono dela mudou a localização de um título - por exemplo....
Bati tanta cabeça com isso que decidi fazer um projetinho de 1 mês pra resolver esse problema. A maioria das vezes é só o nome do selector que mudou ou algo bobo assim... Algo que a IA poderia facilmente acertar.
Portanto, criei o zenscrap.com pra ajudar nisso - ele detecta se o script quebrou apos um numero X de error consecutivos (configurado por você) e usa a IA pra tentar acertar o script se for algo mais simples
Como vocês lidam com esse problema na empresa de vocês? Ou é sempre um "barata voa" quando o site que vocês fazem scrapping muda o HTML dele?