我不想我的网站被Baiduspider访问,我该怎么做?
我不想我的网站被Baiduspider访问,我该怎么做?
Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法,请参看我们的介绍robots.txt写作方法
您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对Baiduspider设置禁止抓取。
以下robots实现禁止所有来自百度的抓取
User-agent: Baiduspider
Disallow: /
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
请注意Baiduspider-cpro抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-cpro给您造成了困扰,请联系union1@baidu.。
Baiduspider-ads抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-ads给您造成了困扰,请联系您的客户服务专员。
seo排名培训
- seo推广是什么意思呢 seo是什么推广网站
- seo免费优化网站 seo网站优化优化排名
- seo关键词排名优化 seo关键词排名优化多少钱
- seo是什么职业 seo属于什么职业
- seo具体怎么优化 seo常用优化技巧
- seo搜索引擎排名优化seo搜索引擎排名优化案例分
- seo关键词优化软件 seo网站优化软件
- seo从入门到精通 seo零基础入门到精通
- seo百度发包工具 seo发包程序
- seo推广网址 seo推广的网站和平台有哪些
- seo排名快速优化 seo技巧seo排名优化
- seo关键词优化 百度搜索关键词排名优化推广
- seo的基本步骤 seo的基本步骤顺序
- seo具体怎么优化 seo具体怎么优化内容
- seo关键词首页排名 seo关键词排名得分公式
- seo排名优化公司价格 seo排名优化服务