Pitch: Como estou rodando um agregador de vagas com bot em Python + Cloudflare Workers + D1 · lemes

Há um tempo eu criei um bot para coletar vagas (principalmente tech) de múltiplas fontes. No começo era tudo acoplado: API em FastAPI + Celery + PostgreSQL, eu fiz por uma demanda de uma pessoa que queria uma api, no final o projeto acabou.

Recentemente resolvi simplificar e migrar parte da stack, queria fazer um teste mais profundo com claude code. O resultado ficou assim:

Arquitetura atual

Bot em Python → coleta vagas de +10 fontes
O bot envia as vagas para uma fila
Worker (Cloudflare) consome a fila
Dados são persistidos no SQLite (D1)
API em Hono expõe os dados

Front-end simples para busca

Fluxo:

Bot -> Queue -> Worker -> D1 -> API -> Front

Por que mudei?

Redução de infra (não preciso mais manter Postgres rodando + ecs)
Deploy mais simples usando Cloudflare
Custos menores
Menos estado espalhado

Decisões importantes:

Mantive o bot em Python porque já estava estável
Migrei API para Hono por simplicidade no edge
Troquei PostgreSQL por SQLite (D1) porque:
- workload é majoritariamente leitura
- inserções são lineares
- não preciso de joins complexos

Programar está virando mais desenhar fluxo do que escrever código linha por linha
Inclusive, boa parte da migração (Hono + D1 + API) foi gerada com ajuda de IA.
Eu atuei mais nas decisões do que na implementação bruta.

Sobre o projeto

Ele agrega vagas remotas de múltiplas fontes.
Sem cadastro, sem paywall.
Majoritariamente tech, mas não exclusivamente.

Se alguém quiser sugerir fontes novas, estou adicionando aos poucos.

https://jobradar.com.br