PHP一个简单的无需刷新爬虫
网络编程 2021-07-04 23:24www.168986.cn编程入门
今天长沙网络推广就为大家分享一篇关于PHP一个简单的无需刷新爬虫,长沙网络推广觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随长沙网络推广来看看吧
由于只是一个小示例,所以过程化简单写了,小菜随便参考,大神大可点解
<?php //设置最大执行时间 set_time_limit(0); function getHtml($url){ // 1. 初始化 $ch = curl_init(); // 2. 设置选项,包括URL curl_set($ch,CURLOPT_URL,$url); curl_set($ch,CURLOPT_RETURNTRANSFER,1); curl_set($ch,CURLOPT_HEADER,0); // 3. 执行并获取HTML文档内容 $output = curl_exec($ch); if($output === FALSE ){ $output = ''; } // 4. 释放curl句柄 curl_close($ch); return $output; } function getPageData($url){ // 获取整个网页内容 $html = getHtml($url); // 初步获取主块内容 preg_match("/教程列表.教程列表/s",$html,$body_html); // 返回数据 $data = array(); //判断是否存在要获取的内容 if(count($body_html)){ // 获取页面指定信息 preg_match_all('/<a class="avatar".user_id="(\S)" href="(\S)" rel="external nofollow" /',$body_html[0],$info_1); preg_match_all('/<a href="(.)" rel="external nofollow" .title="(.)"/',$body_html[0],$info_2); $info = array_merge($info_1,$info_2); //组合的信息 for($index=0; $index<count($info[0]); $index++){ //以文章信息作为key存数组,以及覆盖旧数据 $data[$info[4][$index]] = array( 'user_id' => $info[1][$index], 'user_home' => $info[2][$index], 'a_url' => $info[4][$index], 'a_title' => $info[5][$index], ); } } return $data; } header("Content-type: text/html; charset=utf-8"); echo '<pre>'; // 初始化数据 $page_no = 1; $data_all = array(); // 分页获取数据 do{ $url = 'http://.thinkphp./code/examples/p/' . $page_no; $data = getPageData($url); $data_all += $data; $page_no ++; }while ($page_no <= 10); //当前只获取10页,如果要全部获取则把条件换成$data或!empty($data) var_dump($data_all); ?>
接下的入表库就不写了,那些更小意思了~就此别过吧~
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对狼蚁SEO的支持。如果你想了解更多相关内容请查看狼蚁网站SEO优化相关链接
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程