Cloudflare permitirá que sites ofereçam conteúdo em Markdown para crawlers de IA

A Cloudflare anunciou uma nova funcionalidade que permite aos sites disponibilizarem seus conteúdos em formato Markdown, em vez de HTML, especificamente para crawlers e agentes de IA.

A iniciativa busca reduzir o custo computacional do consumo de conteúdo por esses sistemas, já que o Markdown é mais simples, legível e apresenta menos ruído do que o HTML tradicional.

Com a novidade, a infraestrutura da Cloudflare passa a responder a requisições de crawlers com conteúdo em Markdown, desde que o agente inclua “text/markdown” no header Accept durante o processo de negociação. Quando o editor do site habilita a nova opção, a resposta é entregue automaticamente nesse formato.

Em um exemplo prático apresentado pela empresa, um post do blog da Cloudflare passou de 16.180 tokens em HTML para 3.150 tokens em Markdown, o que representa uma redução de cerca de 80%. A funcionalidade, no entanto, é restrita a páginas HTML e não se aplica a outros formatos, como PDFs.