1

Arquitetura híbrida de Web scraping com IA: Compile-once, zero-token runtime

Opa galera, tudo bem?

Nas últimas semanas, venho desenvolvendo um projeto testando uma arquitetura híbrida para web scraping e monitoramento de páginas com IA: usar um LLM apenas uma vez durante a etapa inicial de compilação para inspecionar o DOM e gerar um plano de extração determinístico, e depois rodar todas as coletas agendadas com 0 custo de tokens (código puro em Cheerio/Playwright).

Recentemente rodei um benchmark com diversos sites para avaliar como essa abordagem se comporta na prática, e queria compartilhar os resultados e detalhes da arquitetura pra trocar uma ideia e pegar feedbacks com vocês.

O Problema Central

A maioria dos scrapers ( que eu encontrei ) acabam caindo em um dos dois extremos:

  1. Parsing via LLM a cada requisição: Envia o HTML completo ou Markdown da página para um LLM toda vez que o job executa. Nem preciso falar que deve gastar token até os dentes a ponto de ser inviável pra verificações em escala.
  2. Scripts manuais: Saudades de escrever esses aqui na mão, mas não faz muito sentido como uma tentativa genérica, já que os benditos dos sites mudam direto e lá vai o coitado do dev reescrever o script pela milésima vez.

A ideia aqui é unir o melhor dos dois mundos tratando o LLM estritamente como um compilador inicial: a IA inspeciona o DOM e configura o plano de extração, enquanto as execuções agendadas rodam como código puro e determinístico sem gastar tokens e com latência baixa.


Benchmark

Montei um benchmark com 75 sites diversos (portais de notícia como G1, UOL, TechCrunch, The Guardian, além de e-commerces, documentações técnicas, releases do GitHub e tabelas da Wikipedia).

  • Testei utilizando o GPT-6-Luna (medium). Obviamente, os resultados podem variar conforme o modelo utilizado.

Resultados:

  • Taxa Geral de Sucesso: 72,0% (54 / 75)
    • 49 (65,3%) CORRETOS: Plano compilado em 1 a 3 turnos, 100% de correspondência com o schema esperado e validado.
    • 5 (6,7%) PARCIAIS: Extração válida capturando um subconjunto ou com pequenas variações.
  • Falhas (28,0% — 21 / 75):
    • 11 (plano inválido): SPAs pesadas com virtual scrolling (ex: TradingView, CoinGecko) ou feeds infinitos onde o modelo esgotou o orçamento de decisões sem isolar um container estável.
    • 5 (timeout): Rate-limiting de IP nos endpoints após requisições consecutivas (ex: rodar 6 repositórios de release seguidos no GitHub), estourando o timeout de fallback do unblocker.
    • 3 (validação semântica): Travas intencionais de segurança. O modelo selecionou um widget secundário de sidebar e o validador semântico rejeitou para não salvar dados incorretos.
    • 2 (valores incorretos): Extraiu o texto bruto perfeitamente, mas falhou na validação de formato esperado (ex: anos do Oscar extraídos como "1927/28(1st)" em vez de formato de 4 dígitos).

O tempo médio de compilação inicial ficou entre 1,5 e 4 minutos por site. Uma vez compilado, as execuções de rotina rodam abaixo de 400ms em páginas estáticas (SSR) e ~2s em páginas dinâmicas.


Arquitetura: Compilação Única + Execução Determinística

Aqui vai um resumo de como o pipeline executa atualmente: ( Ficaria muito feliz com perguntas e/ou sugestões :D )

  1. Compilação:

    • Recebe a URL alvo + a intenção em linguagem natural.
    • Um agente interage com a página headless via ferramentas de observação de DOM (contagem de seletores, inspeção de JSON-LD e interceptação de respostas JSON).
    • Gera um plano JSON declarativo e tipado, contendo seletores de container, fallbacks de campos, condições de prontidão (ready) e diretivas de paginação.
  2. Validação Semântica:

    • Antes de salvar o plano, o motor executa os seletores gerados contra o DOM real em uma sessão limpa usando Cheerio/Playwright.
    • Roda uma auditoria semântica para garantir que os dados extraídos batem com a intenção original. Se a IA pegou um banner ou menu de navegação aleatório, ele é rejeitado e entra em self-healing dentro do limite de tempo e tool calling da sessão.
  3. Execução agendada (0 Tokens, Código Puro):

    • Uma vez aprovado, os jobs rodam estritamente como código determinístico (Cheerio para páginas SSR/HTTP e Playwright para SPAs que exigem renderização no cliente), sem gastar nenhum token.
  4. Máquina de Estados pra Self-Healing:

    • Monitora falhas consecutivas de validação do schema.
    • Só aciona o LLM se uma mudança de layout causar 2 quedas consecutivas de validação, passando o diff do seletor que quebrou pra ajustar apenas o que mudou, sem precisar recompilar do zero.
  5. Cascata de Acesso e Proxies:

    • Começa com requisição direta/proxies residenciais e só escala para unblockers com browser e outras APIs quando um captcha (Cloudflare, etc.) é detectado. A ideia é gastar o mínimo possível e só em caso de falhas ir tentando umas paradas mais cabulosas.

Detalhes

Coloquei uma versão no ar para testes gratuitos aqui: Specter

Para criar um monitor, basta clicar em "Create Monitor", inserir a URL do site, descrever em qualquer língua o que você quer extrair e definir o intervalo de agendamento (ex: de hora em hora ou diário). Se quiser pode cadastrar email e/ou telegram pra receber o aviso quando houver mudança nos dados (ou pode ver direto pelo site mesmo).

É totalmente gratuito pra testar. Como não sou nenhum sheik árabe, deixei alguns limites só pra evitar algum indivíduo provido de imensa empatia e boa vontade derrubando minha infra que custou 1 coxinha e 1 caldo de cana.

Se vc precisa buscar dados que só consegue ver logado e etc, na teoria a aplicação suporta páginas autenticadas via cookies de sessão, mas recomendo não usar isso agora. Por questões óbvias de segurança, ninguém deve compartilhar cookies de sessão de contas pessoais em uma aplicação que ainda está em fase de testes e ainda nem tá open-source de um maluco aleatório ( inclusive, foi o jeito mais seguro que encontrei pra fazer isso, se alǵuem tiver alguma ideia pra evitar ter que usar cookies etc, agradeço).

Se quiser rodar no seu próprio pc, pelo que testei da pra rodar em um notebook da positivo (nada contra kk). Então se alguém quiser, por algum motivo, me fala que eu deixo o código open-source tranquilamente.


Discussão

Se alguém, por acaso, tentar algum site específico, encontrar alguma falha e puder me avisar nos comentários, eu ficaria muito grato. A ideia dessa postagem é justamente pra tentar melhorar esse pipeline e quem sabe ajudar alguém que precisa monitorar o preço de algum produto ou algo do tipo (alô black friday).

Se alguém aqui costuma trabalhar com scraping e afins, e puder dar um palpite:

  • 72% é um resultado modesto? Não achei benchmarks de scrapers genéricos e relacionados. Pra ser sincero achei pouca coisa parecida pra ter como base. A maioria era fechada ou paga e eu n vou pagar nem ***.
  • Obviamente a arquitetura não tem nenhuma revolução ou ideia mirabolante, mas como eu não achei muita coisa de código aberto, queria saber se é um caminho bom ou se tem um estado da arte pra esse tipo de coisa que eu, com meu cognitivo limitado, não encontrei.

Resumindo:

  • Não achei muita coisa com a proposta de ser um scraper genérico ( pagos eu nem olhei... to duro )
  • A ideia de ter algo simples (se não conseguir colocar uma url e digitar oq vc quer, vai dormir) pra monitorar a maioria dos sites me deixa bem animado, considerando que já penei fazendo código manual (bons tempos) pra um site específico e ainda tinha que atualizar cada vez que os abençoados mudavam o html
  • Consigo deixar gratuito pq só tenho gastos com LLM uma vez pra cada site/valores solicitados, e a infinidade de execuções que vem depois gasta só uma merreca de cpu/memória
  • Se você, jovem padawan, tiver com a ideia de monitorar o preço de alguma coisa ou sabe-se-lá-o-que mais alguém poderia querer monitorar, pode acabar te ajudando. E como eu não sou Jesus, em troca, a ideia é que eu consiga validar e melhorar os resultados do pipeline.
Carregando publicação patrocinada...