从那些方面找收录页面在百度中的错误

seo优化 2018-10-28 14:36www.168986.cn长沙seo优化

  从那些方面来找出收录页面在百度中的错误。

  1.服务器错误

  服务器错误主要的问题就是百度蜘蛛发起抓取网页的时候,httpcode返回的都是5XX状态码,这样会造成百度抓取不到规范的网页。造成服务器错误的原因有多种:网站处于正在进行维护;该网站有程序出现批量错误。好的解决办法就是找出程序的错误并做出适当的修改,如果是网站正在进行维护,请采用百度站长平台的闭站保护进行规范后然后再进行操作。

  2.访问被拒绝

  访问被拒绝主要的问题就是百度蜘蛛发起抓取网页的时候,httpcode返回的都是403状态码,这样同样会造成百度蜘蛛抓取不到规范的网页。造成访问被拒绝的原因也有多种:网站权限受限制;IP地址被拒绝;服务器流量超负荷。这几种错误原因解决办法也很容易,找出网页所在目录给与百度蜘蛛足够的权限去抓取页面,查看百度蜘蛛的IP地址是否被封禁,服务器流量过大的话那就升级服务器。

  3.找不到页面

  找不到页面主要的问题就是百度蜘蛛发起抓取网页的时候,httpcode返回的都是404状态码,这种错误是网页主要的,几乎所有的网站都有这种页面存在。造成找不到页面的原因可以列举一大把:过期的团购网页;误删数据库;论坛垃圾帖子删除。其实这些问题能够轻而易举的就解决了,建立合适的404页面,遇到404状态码就返回404页面。

  4.其他错误

  其他错误包括的项目就比较多了,但问题大概还是差不多的,就是百度蜘蛛抓起网页的时候httpcode返回的4XX状态码,除了403和404之外的其他状态码。这种问题的来源也是蛮多的:请求的URL太长【参数太多】;要求验证身份;不支持的媒体类型;浏览器不接收所请求的页面。解决这些问题比较复杂,URL过长的话需要解决参数的排序位置,身份验证的就要从部分网站权限控制和其他程序问题来控制了,媒体类型尽量做到每个类型就覆盖到自己的网站。

  总之,运用好百度站长平台的抓取异常这个栏目选项,你就能找到百度蜘蛛在抓取网页的时候遇到的瓶颈,解决掉这些对蜘蛛爬取的有阻拦的问题,你就能把所有在百度已经收录的页面统计出来,然后根据不同的问题解决掉就可以了。

Copyright © 2016-2025 www.168986.cn 狼蚁网络 版权所有 Power by