我不想我的网站被Baiduspider访问,我该怎么做?
我不想我的网站被Baiduspider访问,我该怎么做?
Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站,或者禁止 Baiduspider访问您网站上的部分文件。 注意禁止Baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于 robots.txt的写作方法,请参看我们的介绍robots.txt写作方法
您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对Baiduspider设置禁止抓取。
以下robots实现禁止所有来自百度的抓取
User-agent: Baiduspider
Disallow: /
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
请注意Baiduspider-cpro抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-cpro给您造成了困扰,请联系union1@baidu.。
Baiduspider-ads抓取的网页并不会建入索引,只是执行与客户约定的操作,所以不遵守robots协议,如果Baiduspider-ads给您造成了困扰,请联系您的客户服务专员。
seo排名培训
- 金溪网站优化公司:提升企业在线曝光的最佳选
- 东安百度快照排名:提升你网站曝光度的关键策
- 四川SEO网站推广怎样付费比较合理
- 福建百度seo排名有哪些渠道可以进行合作
- 贵州网站SEO怎么做网站推广
- 辽宁seo关键词优化怎样跟客户谈判容易签下合同
- 龙州SEO网站推广的全面指南
- 黑龙江百度seo排名怎样提升在搜索引擎中的排名
- 龙州网站SEO:提升网站曝光率的关键策略
- 甘肃SEO价格合理性的看法
- 北海百度网站优化:提升您网站的知名度和流量
- 四川SEO推广怎么做才能放大客户需求
- 光山百度网站优化:提升您网站的可见性与访问
- 广东百度快照排名怎么做才能放大客户需求
- 平安哪有关键词排名优化的最佳实践
- 霸州SEO主要做什么工作