谷歌/百度SEO原创内容之网页去重原理

随着时间的推移，互联网上产生的页面越来越多，无论是谷歌搜索引擎还是百度，据统计几乎重复的网页数量占据整个页面数量的30%，比如一篇文章在知名的平台上投稿后，过后会有很多平台会去采集，放在自己的网站上。比如搜索最近比较热门的文章，互联网上面会有很多很多的重复重复内容，如果仔细看会发现，有新站有老站，有修改发布时间的，还有调整文章内容的。本文以百度为例，谷歌同理。

网页重复可以分为4个种类

一、如果两个网页，除了网址之外，它的内容和模板都一模一样，则叫做完全重复。

二、如果两个网页，除了网址之外，它的内容一模一样模板布局不同，则叫做内容重复。

三、如果两个网页，除了网址之外，它的内容有部分的重复，模板布局一模一样，则叫做模板布局重复。

四、如果两个网页，除了网址之外，它的内容有部分的重复，模板布局也不相同，则叫做部分重复。

搜索引擎通过一些相关的算法快速的发现这些网页信息的重复性，并且这个指标已经成为互联网硬性标准。那么对于搜索引擎来讲到底如何的重要呢？

1、可以在服务器上找到这些重复的页面并且清除掉，可以让搜索引擎把空间留给更加高质量的页面。

2、我们都知道网页的快照时间是会更新的，通过重复页面的抓取和统计，可以让搜索引擎选择部分页面而更新快照。

3、要是一个网页在某段时间内的有大量的镜像页面，说明这个网页的内容比较受到用户的欢迎，从而导致搜索引擎认为改网页很重要，给予其较高的权重。

4、，如果用户打开一个网页发现是404页面，那么可以通过打开相同的页面来解决自己的需求，这样也是增加了用户体验。

在搜索引擎实际的抓取过程中，当蜘蛛抓取到一个url，会对网页的内容进行识别，然后在与已经建立索引的页面进行对比，如果重复度很高，那么就会直接抛弃掉，这个也要看网页的权重，比如新浪博客，即使是复制粘贴，依然会有排名而且排名还不错，也相当的稳定。

我们说起来比较简单，搜索引擎要处理那么庞大的网页数据，技术难度还是不容小视的，个大搜索引擎去重算法其实是近乎一致的。比如指纹对比法从网页中抽取一些特征集合，seo资讯网,免费制作seo,汽车seo,seo权威入门教程,网上seo,这些特征包含了页面的重要信息。过滤掉了不重要的信息，如果过滤的信息越多则丢失重要的信息概率就越大。既然是特征集合那么就可以进入到了相似文档的阶段。经过这些过滤将有价值的网页，建立索引从而参与排名。