OCadernoBot
O robô que lê a internet para O Caderno se identifica, respeita o robots.txt e pode ser bloqueado a qualquer momento.
Identificação
OCadernoBot/1.0 (+https://ocaderno.com/bot)
O que ele faz
Lê feeds RSS e mapas de notícias públicos e busca a página dos artigos indicados por eles, com limite de requisições por domínio e cache condicional (ETag e Last-Modified). Não tenta contornar paywall, não faz login, não coleta dados pessoais e não copia imagens de terceiros.
O que fazemos com o conteúdo
O texto capturado serve para apurar fatos. Nunca é republicado. O que sai no Caderno é texto próprio, com citação curta e link para a fonte.
Como bloquear
Acrescente ao seu robots.txt:
User-agent: OCadernoBot Disallow: /
O bloqueio passa a valer na coleta seguinte. Se preferir falar com uma pessoa, escreva para contato@ocaderno.com: retiramos a sua fonte do Caderno sem discussão.