你知道网站推广工作者介绍的网络爬虫的分类吗

　   相信SEO工作者对网络爬虫都不陌生，都知道这是一种虚拟的虫子，是搜索引擎获取信息的程序。深入地了解网络爬虫，对SEO工作的帮助是很有帮助的。工作者告诉大家，网络爬虫有多种不同的分类，各有特点。接下来他就为大家简单介绍一下。


　　1、通用网络爬虫

　　通用网络爬虫，又称为“全网爬虫”，从一些种子网站开始爬行，逐步扩展到整个互联网。通用网络爬虫策略，就是深度优先策略和广度优先策略。

　　2、聚焦网络爬虫

　　聚焦网络爬虫，又称为“主题网络爬虫”，预先选择一个(或几个)相关主题，仅爬行并抓取这一类的相关页面。聚焦网络爬虫策略，聚焦网络爬虫增加了链接和内容评价模块，所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。

　　3、增量式网络爬虫

　　增量式网络爬虫，是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。增量式网络爬虫策略，包括广度优先策略和Page Rank优先策略等。

　　4、Deep Web爬虫

　　搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”，某些不能通过静态链接获得的页面称之为“深层网页”，Deep Web爬虫就是抓取深层网页的爬虫体系。

　　相信通过网站推广工作者对网络爬虫的分类的介绍，大家一定对网络爬虫更加了解了。