PHP批量采集下载美女图片的实现代码
网络编程 2021-07-05 09:49www.168986.cn编程入门
最近在浏览某个美女网站，考虑到网速问题，这种网站打开速度慢，广告多，随机想到使用php采集一下这些美女图片
设计思路
考虑到单纯的采集一个网页的图片，太麻烦，所以直接采集他的列表页，获取列表的url然后在一一采集，用php匹配列表页的url太麻烦，第一列表页有很多无效url这对我这个正则小菜鸟实在是个问题，看了一下列表页的结构，果断采用jquery获取url，jquery的万能选择器又强大起来了。
jquery获取url，然后ajax传递url—>对应PHP文件，遍历url参数—->单页面采集保存图片
jquery程序
<script src="http://.cztv./uibase/jquery.js"></script>
<script >
$(document).ready(function(){
var hrefs ='';
$('.f_folder>a').each(function(i){
var href = $('.f_folder:eq('+i+')>a:eq(0)').attr('href');
if(href!='undefined'){
hrefs +=href+',';
}
})
$.getJSON("http://../365/getimg.php?hrefs="+hrefs+"&callback=?", function(data){
//alert(data.info);
});
});
</script>
这里把url拼接成‘，'分割的字符串传递url，使用getjson是为了跨域需要，关于getjson常见的几个问题可以参看<$.getjson遇到的几个问题>
PHP采集程序
<?php
// 抓起365图片
error_reporting(E_ALL ^ E_NOTICE);
set_time_limit(0);//设置PHP超时时间
/
得到当前时间
/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
$stime = getMicrotime();
$callback = $_GET['callback'];
$hrefs = $_GET['hrefs'];
$urlarray = explode(',',$hrefs);
//获取指定url的所有图片
function getimgs($url){
$dirname = basename($url,".php");
if(!file_exists($dirname)){
mkdir('365/'.$dirname.'');
}
clearstatcache();
$data = file_get_contents($url);
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $data, $matches);
//$matches[3] = array_unique($matches[3]);
unset($data);
$i=0;
if(count($matches[3])>0){
foreach($matches[3] as $k=>$v){
//简单判断是否是标准url，而不是相对路径
if(substr($v,0,4)=='http'){
$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展
if(!file_exists('365/'.$dirname.'/'.$k.'.'.$ext)){
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
$i++;
}else{
unset($v);
}
clearstatcache();
}else{
unset($v);
}
}
unset($matches);
return $i;
}
}
foreach($urlarray as $k=>$v){
if($v!=''){
$j +=getimgs($v);
}
}
$etime = getMicrotime();
echo "合计采集了".$j."张图片";
echo "用时".($etime-$stime)."秒";
考虑到性能问题在getimgs方法中所用的变量都是使用后便注销（unset）了，以便释放内存。
设计到的几个知识点
判断是否是标准有效图片url
if(substr($v,0,4)=='http')这个只是简单的判断一下匹配到的图片url是否是标准的url，因为采集的图片可能是相对路径的，这里我直接放弃这种图片的采集，你也可以把这种图片还原成标准图片路径，还有一个问题就是即使是标准url格式，这样的图片也未必可以采集，因为你不知道这个图片是否还有，也许这个图片url已经无效了，如果你想更严格的判断这个图片url是否真实有效可以推荐看我之前的《》有三种方法可以验证是否是有效url。
获取图片格式
$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展
这里使用了pathinfo的方法，有7种方法可以获取到文件的格式，推荐文章《》
下载保存到本地
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
file_put_contents() 函数把一个字符串写入文件中。
与依次调用 fopen()，fwrite() 以及 fclose() 功能一样。
file_get_contents() 函数把整个文件读入一个字符串中。
因为服务器支持file_get_contents，如果服务器把这个函数禁用了，可以使用curl，这个工具要比file_get_contents更加强大，推荐学习《》，可以使用curl的多线程下载存储，效果更牛逼
清除文件操作缓存
clearstatcache() 函数清除文件状态缓存。clearstatcache() 函数会缓存某些函数的返回信息，以便提供更高的性能。有时候，比如在一个脚本中多次检查同一个文件，而该文件在此脚本执行期间有被删除或修改的危险时，你需要清除文件状态缓存，以便获得正确的结果。要做到这一点，就需要使用 clearstatcache() 函数。官方手册
程序执行时间计算
/
得到当前时间
/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
可以参考本博客文章；《》
看一下效果；
409秒采集了214张图片，大概2秒下载保存了一张图片，图片总大小约62M，这样看来
一个小时6060可以大约下载1800张美女图片。
考虑到单纯的采集一个网页的图片，太麻烦，所以直接采集他的列表页，获取列表的url然后在一一采集，用php匹配列表页的url太麻烦，第一列表页有很多无效url这对我这个正则小菜鸟实在是个问题，看了一下列表页的结构，果断采用jquery获取url，jquery的万能选择器又强大起来了。
jquery获取url，然后ajax传递url—>对应PHP文件，遍历url参数—->单页面采集保存图片
jquery程序
代码如下:
<script src="http://.cztv./uibase/jquery.js"></script>
<script >
$(document).ready(function(){
var hrefs ='';
$('.f_folder>a').each(function(i){
var href = $('.f_folder:eq('+i+')>a:eq(0)').attr('href');
if(href!='undefined'){
hrefs +=href+',';
}
})
$.getJSON("http://../365/getimg.php?hrefs="+hrefs+"&callback=?", function(data){
//alert(data.info);
});
});
</script>
这里把url拼接成‘，'分割的字符串传递url，使用getjson是为了跨域需要，关于getjson常见的几个问题可以参看<$.getjson遇到的几个问题>
PHP采集程序
代码如下:
<?php
// 抓起365图片
error_reporting(E_ALL ^ E_NOTICE);
set_time_limit(0);//设置PHP超时时间
/
得到当前时间
/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
$stime = getMicrotime();
$callback = $_GET['callback'];
$hrefs = $_GET['hrefs'];
$urlarray = explode(',',$hrefs);
//获取指定url的所有图片
function getimgs($url){
$dirname = basename($url,".php");
if(!file_exists($dirname)){
mkdir('365/'.$dirname.'');
}
clearstatcache();
$data = file_get_contents($url);
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $data, $matches);
//$matches[3] = array_unique($matches[3]);
unset($data);
$i=0;
if(count($matches[3])>0){
foreach($matches[3] as $k=>$v){
//简单判断是否是标准url，而不是相对路径
if(substr($v,0,4)=='http'){
$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展
if(!file_exists('365/'.$dirname.'/'.$k.'.'.$ext)){
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
$i++;
}else{
unset($v);
}
clearstatcache();
}else{
unset($v);
}
}
unset($matches);
return $i;
}
}
foreach($urlarray as $k=>$v){
if($v!=''){
$j +=getimgs($v);
}
}
$etime = getMicrotime();
echo "合计采集了".$j."张图片";
echo "用时".($etime-$stime)."秒";
考虑到性能问题在getimgs方法中所用的变量都是使用后便注销（unset）了，以便释放内存。
设计到的几个知识点
判断是否是标准有效图片url
if(substr($v,0,4)=='http')这个只是简单的判断一下匹配到的图片url是否是标准的url，因为采集的图片可能是相对路径的，这里我直接放弃这种图片的采集，你也可以把这种图片还原成标准图片路径，还有一个问题就是即使是标准url格式，这样的图片也未必可以采集，因为你不知道这个图片是否还有，也许这个图片url已经无效了，如果你想更严格的判断这个图片url是否真实有效可以推荐看我之前的《》有三种方法可以验证是否是有效url。
获取图片格式
$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展
这里使用了pathinfo的方法，有7种方法可以获取到文件的格式，推荐文章《》
下载保存到本地
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
file_put_contents() 函数把一个字符串写入文件中。
与依次调用 fopen()，fwrite() 以及 fclose() 功能一样。
file_get_contents() 函数把整个文件读入一个字符串中。
因为服务器支持file_get_contents，如果服务器把这个函数禁用了，可以使用curl，这个工具要比file_get_contents更加强大，推荐学习《》，可以使用curl的多线程下载存储，效果更牛逼
清除文件操作缓存
clearstatcache() 函数清除文件状态缓存。clearstatcache() 函数会缓存某些函数的返回信息，以便提供更高的性能。有时候，比如在一个脚本中多次检查同一个文件，而该文件在此脚本执行期间有被删除或修改的危险时，你需要清除文件状态缓存，以便获得正确的结果。要做到这一点，就需要使用 clearstatcache() 函数。官方手册
程序执行时间计算
代码如下:
/
得到当前时间
/
function getMicrotime() {
list ($usec, $sec) = explode(" ", microtime());
return ((float) $usec + (float) $sec);
}
可以参考本博客文章；《》
看一下效果；
409秒采集了214张图片，大概2秒下载保存了一张图片，图片总大小约62M，这样看来
一个小时6060可以大约下载1800张美女图片。
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程：电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示：编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程