As recentes discussões no Reddit não estão mais aparecendo nos resultados de busca de mecanismos de pesquisa que não sejam o Google. A ausência é resultado de atualizações na Política de Conteúdo do Reddit que proíbem rastrear seu site sem concordar com as regras do Reddit, que proíbem o uso de conteúdo do Reddit para treinamento de inteligência artificial sem o consentimento explícito do Reddit.
Conforme relatado pela 404 Media, ao utilizar “site:reddit.com” em mecanismos de pesquisa que não sejam o Google, incluindo Bing, DuckDuckGo e Mojeek, são exibidos poucos ou nenhum resultado do Reddit da última semana. O Ars Technica fez buscas nesses e em outros mecanismos de pesquisa e pode confirmar os resultados. O Brave, por exemplo, às vezes exibe alguns resultados do Reddit (exemplos aqui e aqui), mas não chega nem perto da quantidade que aparece no Google ao usar consultas idênticas. Um destaque é o Kagi, que é um mecanismo pago que paga ao Google por parte de seu índice de pesquisa e ainda exibe resultados recentes do Reddit.
Como observado pela 404 Media, o Protocolo de Exclusão de Robôs do Reddit (arquivo robots.txt) bloqueia bots de raspar o site. O protocolo também afirma: “O Reddit acredita em um Internet aberto, mas não no uso indevido de conteúdo público.” O Reddit aprovou raspadores do Internet Archive e algumas entidades focadas em pesquisa.
Leia os 14 parágrafos restantes | Comentários
. Redação Confraria Tech
Referências:
Non-Google search engines blocked from showing recent Reddit results
