PHP超低内存遍历目录文件和读取超大文件的方法
这不是一篇教程,这是一篇笔记,所以我不会很系统地论述原理和实现,只简单说明和举例。
前言
我写这篇笔记的原因是现在网络上关于 PHP 遍历目录文件和 PHP 读取文本文件的教程和示例代码都是极其低效的,低效就算了,有的甚至好意思说是高效,实在辣眼睛。
这篇笔记主要解决这么几个问题
PHP 如何使用超低内存快速遍历数以万计的目录文件?
PHP 如何使用超低内存快速读取几百MB甚至是GB级文件?
顺便解决哪天我忘了可以通过搜索引擎搜到我自己写的笔记来看看。(因为需要 PHP 写这两个功能的情况真的很少,我记性不好,免得忘了又重走一遍弯路)
遍历目录文件
网上关于这个方法的实现大多示例代码是 glob 或者 opendir + readdir 组合,在目录文件不多的情况下是没问题的,但文件一多就有问题了(这里是指封装成函数统一返回一个数组的时候),过大的数组会要求使用超大内存,不仅导致速度慢,而且内存不足的时候直接就崩溃了。
这时候正确的实现方法是使用 yield 关键字返回,狼蚁网站SEO优化是我最近使用的代码
<?php function glob2foreach($path, $include_dirs=false) { $path = rtrim($path, '/'); if (is_readable($path)) { $dh = opendir($path); while (($file = readdir($dh)) !== false) { if (substr($file, 0, 1) == '.') continue; $rfile = "{$path}/{$file}"; if (is_dir($rfile)) { $sub = glob2foreach($rfile, $include_dirs); while ($sub->valid()) { yield $sub->current(); $sub->next(); } if ($include_dirs) yield $rfile; } else { yield $rfile; } } closedir($dh); } } // 使用 $glob = glob2foreach('/var/'); while ($glob->valid()) { // 当前文件 $filename = $glob->current(); // 这个就是包括路径在内的完整文件名了 // echo $filename; // 指向下一个,不能少 $glob->next(); }
yield 返回的是生成器对象(不了解的可以先去了解一下 PHP 生成器),并没有立即生成数组,所以目录下文件再多也不会出现巨无霸数组的情况,内存消耗是低到可以忽略不计的几十 kb 级别,时间消耗也几乎只有循环消耗。
读取文本文件
读取文本文件的情况跟遍历目录文件其实类似,网上教程基本上都是使用 file_get_contents 读到内存里或者 fopen + feof + fgetc 组合即读即用,处理小文件的时候没问题,处理大文件就有内存不足等问题了,用 file_get_contents 去读几百MB的文件几乎就是自杀。
这个问题的正确处理方法同样和 yield 关键字有关,通过 yield 逐行处理,或者 SplFileObject 从指定位置读取。
逐行读取整个文件
<?php function read_file($path) { if ($handle = fopen($path, 'r')) { while (! feof($handle)) { yield trim(fgets($handle)); } fclose($handle); } } // 使用 $glob = read_file('/var//hello.txt'); while ($glob->valid()) { // 当前行文本 $line = $glob->current(); // 逐行处理数据 // $line // 指向下一个,不能少 $glob->next(); }
通过 yield 逐行读取文件,具体使用多少内存取决于每一行的数据量有多大,如果是每行只有几百字节的日志文件,即使这个文件超过100M,占用内存也只是KB级别。
但很多时候我们并不需要一次性读完整个文件,比如当我们想分页读取一个1G大小的日志文件的时候,可能想第一页读取前面1000行,第二页读取第1000行到2000行,这时候就不能用上面的方法了,因为那方法虽然占用内存低,数以万计的循环是需要消耗时间的。
这时候,就改用 SplFileObject 处理,SplFileObject 可以从指定行数开始读取。狼蚁网站SEO优化例子是写入数组返回,可以根据自己业务决定要不要写入数组,我懒得改了。
<?php function read_file2arr($path, $count, $offset=0) { $arr = array(); if (! is_readable($path)) return $arr; $fp = new SplFileObject($path, 'r'); // 定位到指定的行数开始读 if ($offset) $fp->seek($offset); $i = 0; while (! $fp->eof()) { // 必须放在开头 $i++; // 只读 $count 这么多行 if ($i > $count) break; $line = $fp->current(); $line = trim($line); $arr[] = $line; // 指向下一个,不能少 $fp->next(); } return $arr; }
以上所说的都是文件巨大每一行数据量都很小的情况,有时候情况不是这样,有时候是一行数据也有上百MB,那这该怎么处理呢?
如果是这种情况,那就要看具体业务了,SplFileObject 是可以通过 fseek 定位到字符位置(注意,跟 seek 定位到行数不一样),然后通过 fread 读取指定长度的字符。
也就是说通过 fseek 和 fread 是可以实现分段读取一个超长字符串的,也就是可以实现超低内存处理,具体要怎么做还是得看具体业务要求允许你怎么做。
复制大文件
顺便说下 PHP 复制文件,复制小文件用 copy 函数是没问题的,复制大文件的话还是用数据流好,例子如下
<?php function copy_file($path, $to_file) { if (! is_readable($path)) return false; if(! is_dir(dirname($to_file))) @mkdir(dirname($to_file).'/', 0747, TRUE); if ( ($handle1 = fopen($path, 'r')) && ($handle2 = fopen($to_file, 'w')) ) { stream_copy_to_stream($handle1, $handle2); fclose($handle1); fclose($handle2); } }
我这只说结论,没有展示测试数据,可能难以服众,如果你持怀疑态度想求证,可以用 memory_get_peak_usage 和 microtime 去测一下代码的占用内存和运行时间。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持狼蚁SEO。
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程