防止内容被抓取训练AI:百度百科屏蔽谷歌/必应等搜索引擎
网络知识 2024-08-23 08:08www.168986.cn长沙seo优化
据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。
百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。
虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。
不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。
长沙网络推广
- 安福网站优化的全面指南:提升网站流量与可见
- 天翼云老域名备案出售:提升您网站影响力的机
- 开江百度网站优化:提升网站可见性与流量的策
- 甘肃百度快照排名如何做QQ群营销
- 北京哪有关键词排名优化如何进行精准的客户引
- 广西SEO优化怎么做网站推广
- 天津SEO网站推广线上下单和线下实体店下单哪个
- 南江百度快照排名:如何提升你的网站竞争力?
- 北京百度快照排名怎样收费比较合理
- 霍州网站排名优化 - 提升你的网站竞争力
- 广东整站优化怎样提升在搜索引擎中的排名
- 山东百度快照排名如何进行精准的客户引流
- 璧山SEO关键词优化:提升你的网站排名
- 唐山SEO主要做什么工作?
- 吉林网站SEO如何操作能实现客户列表
- 南靖SEO:提升网站可见性的全新策略