基于curl数据采集之正则处理函数get_matches的使用
网络编程 2021-07-05 09:49www.168986.cn编程入门
本篇文章介绍了,基于curl数据采集之正则处理函数get_matches的使用。需要的朋友参考下
根据前两篇的博文
已经可以得到了我们需要的html文件,现在需要处理得到的文件获取到我们需要的采集的数据。
对于html文档的解析,没有像XML那样的解析类,因为HTML文档有很多不成对的标签,很不严格。这个时候就需要采用其他的一些辅助类了,simplehtmldom是一个类似于JQuery方式操作HTML文档的解析类。可以很方便的得到想要的数据,可惜速度慢。这里不是我们这里讨论的重点,我主要使用正则来匹配我所需要的采集的数据,可以很快速的得到我需要采集的信息。
考虑到get_html可以判断返回的数据,get_htmls没有办法判断,为了方便调式和调用写了如下两个函数
代码如下:
function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){
if(!$multi){
if(!preg_match($pattern,$html,$matches,$flags,$offset)){
echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n";
return false;
}
}else{
if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){
echo $err_msg."! 错误信息: ".get_preg_err_msg()."\n";
return false;
}
}
return $matches;
}
function get_preg_err_msg(){
$error_code = preg_last_error();
switch($error_code){
case PREG_NO_ERROR :
$err_msg = 'PREG_NO_ERROR';
break;
case PREG_INTERNAL_ERROR:
$err_msg = 'PREG_INTERNAL_ERROR';
break;
case PREG_BACKTRACK_LIMIT_ERROR:
$err_msg = 'PREG_BACKTRACK_LIMIT_ERROR';
break;
case PREG_RECURSION_LIMIT_ERROR:
$err_msg = 'PREG_RECURSION_LIMIT_ERROR';
break;
case PREG_BAD_UTF8_ERROR:
$err_msg = 'PREG_BAD_UTF8_ERROR';
break;
case PREG_BAD_UTF8_OFFSET_ERROR:
$err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR';
break;
default:
return '未知错误!';
}
return $err_msg.': '.$error_code;
}
可以这样调用
代码如下:
$url = 'http://.baidu.';
$html = get_html($url);
$matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true);
if($matches){
var_dump($matches);
}
或者这样调用
代码如下:
$urls = array('http://.baidu.','http://.hao123.');
$htmls = get_htmls($urls);
foreach($htmls as $html){
$matches = get_matches('!<a[^<]+</a>!',$html,'没有找到链接',true);
if($matches){
var_dump($matches);
}
}
就可以得到所需的信息,无论单页面采集还是多页面采集,最终PHP还是只能处理一个页面,由于使用get_matches了,可以对返回的值进行判断真假,得到正确的数据,由于使用正则的时候遇到了超过正则回溯的问题,增加get_preg_err_msg来提示正则信息。
由于采集数据的时候,经常是采集列表页,根据列表页得到的内容页链接再采集内容页,或者更多的层次,那么循环嵌套会很多,对于代码的控制会感觉力不从心。那我们是否可以把采集列表页的代码和采集内容页的代码,或者更多的层次的采集代码分离开,甚至循环都简化呢?
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程