网页的抓取策略分深度优先、广度优先和佳优先
网页的抓取策略分深度优先、广度优先和佳优先三种
网页的抓取策略可以分为深度优先、广度优先和佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题,目前常见的是广度优先和佳优先方法。
广度优先搜索
广度优先搜索策略是指在抓取过程中,广州外包,大连外包,百度推广外包,郑州网络推广外包公司,在完成当前层次的搜索后,才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页,一般使用广度优先搜索方法。也有很多研究将广度优先搜索策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。一种方法是将广度优先搜索与网页过滤技术结合使用,先用广度优先策略抓取网页,再将其中无关的网页过滤掉。这些方法的缺点在于,随着抓取网页的增多,大量的无关网页将被下载并过滤,算法的效率将变低。
佳优先搜索
佳优先搜索策略按照一定的网页分析算法,预测候选URL与目标网页的相似度,或与主题的相关性,并选取评价好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是,在爬虫抓取路径上的很多相关网页可能被忽略,因为佳优先策略是一种局部优搜索算法。需要将佳优先结合具体的应用进行改进,以跳出局部优点。将在第4节中结合网页分析算法作具体的讨论。研究表明,这样的闭环调整可以将无关网页数量降低30%~90%。
深度优先搜索
深度优先搜索策略从起始网页开始,选择一个URL进入,分析这个网页中的URL,选择一个再进入。如此一个链接一个链接地抓取下去,直到处理完一条路线之后再处理下一条路线。深度优先策略设计较为简单。门户网站提供的链接往往具价值,PageRank也很高,但每深入一层,网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近,而过度深入抓取到的网页却价值很低。泸州SEO,泸州网络推广,泸州网站建设,泸州seo排名,泸州网络外包,,这种策略抓取深度直接影响着抓取命中率以及抓取效率,对抓取深度是该种策略的关键。相对于其他两种策略而言。此种策略很少被使用。
seo排名培训
- seo推广是什么意思呢 seo是什么推广网站
- seo免费优化网站 seo网站优化优化排名
- seo关键词排名优化 seo关键词排名优化多少钱
- seo是什么职业 seo属于什么职业
- seo具体怎么优化 seo常用优化技巧
- seo搜索引擎排名优化seo搜索引擎排名优化案例分
- seo关键词优化软件 seo网站优化软件
- seo从入门到精通 seo零基础入门到精通
- seo百度发包工具 seo发包程序
- seo推广网址 seo推广的网站和平台有哪些
- seo排名快速优化 seo技巧seo排名优化
- seo关键词优化 百度搜索关键词排名优化推广
- seo的基本步骤 seo的基本步骤顺序
- seo具体怎么优化 seo具体怎么优化内容
- seo关键词首页排名 seo关键词排名得分公式
- seo排名优化公司价格 seo排名优化服务