Pitch: Cansei de brigar com o Playwright e PDFs do Governo: Criei uma micro-API com Llama-3 que cospe JSON

Pessoal, quem aqui já tentou fazer scraping de Diário Oficial ou portal de licitações sabe o inferno que é. PDFs escaneados tortos, SSL vencido, captchas e layouts que mudam toda a semana. Meus agentes LangChain estavam quebrando todo o dia.

Decidi mudar a arquitetura para B2A (Business-to-Agent). Desacoplei o web scraping pesado. Agora uso Google Dorks para achar os arquivos em cache, passo tudo num worker em background com Llama-3 (Groq) e sirvo os editais já estruturados e tipados em JSON usando FastAPI + SQLite.

O tempo de resposta caiu para 50ms e o contexto do LLM fica limpo.

Deixei o endpoint aberto na Vercel/Hetzner (com rate limit) para a galera testar a latência e ver o payload (as primeiras chamadas são por minha conta): https://redactproxy.com/docs

Alguém mais lidando com dados caóticos do governo por aqui? Alguma dica de otimização de cache M2M?