Novo padrão baseado no RSS expande arquivo “robots.txt” para bloquear bots que não remuneram criadores de conteúdo

Foi lançado o padrão “Really Simple Licensing” (RSL), que amplia as instruções do arquivo “robots.txt” ao incorporar uma camada automatizada de licenciamento destinada a bloquear bots que não remuneram criadores de conteúdo de forma justa.

Gratuito e aberto para adoção por qualquer publisher, o RSL permite definir termos claros de uso e pagamento para materiais utilizados em treinamentos de IA.

O protocolo foi desenvolvido pelo RSL Collective, com participação de Eckart Walther, cocriador do padrão RSS. Inspirado no RSS, o RSL pode ser aplicado a diferentes tipos de conteúdo digital, como páginas web, livros, vídeos e bases de dados, e suporta múltiplos modelos de remuneração, incluindo gratuito, assinatura, atribuição, pay-per-crawl (pagamento a cada rastreamento) e pay-per-inference (pagamento a cada vez que o conteúdo é usado para gerar uma resposta).

Ainda não está definido se empresas como Google, Meta, OpenAI e xAI irão adotar o padrão, já que não participaram do processo de criação. A implementação será feita por meio da inclusão de termos legíveis por máquina no arquivo robots.txt, com suporte técnico da Fastly e possível participação de provedores como a Cloudflare.

Exemplo:

# NOTICE: all crawlers and bots are strictly prohibited from using this

# content for AI training without complying with the terms of the RSL

# Collective AI royalty license. Any use of this content for AI training

# without a license is a violation of our intellectual property rights.

License: https://rslcollective.org/royalty.xml