基于Node.js实现压缩和解压缩的方法
压缩格式
zip 和 gzip 是两种我们最常见到的压缩格式,,gzip 在 Windows 下很少有人接触。
tar 是一种归档格式,它默认不会压缩,需要结合 gzip 来将最终的 tar 文件以 gzip 格式压缩成为一个 tar.gz 文件,通常我们会缩写为 tgz。
为什么没有提到 rar?因为它是专利保护的算法,你可以免费获得解压工具,而压缩工具是需要付费的。所以我们一般应用场景下,很少会提供 rar 压缩文件。
本文将分别介绍 gzip,tar,tgz 和 zip 的压缩和解压缩在 Node.js 下如何实现。
未压缩文件库
本文所使用的未压缩文件库来自于 ,需要先 clone 它下来到指定目录。
git clone nodejs-pressing-demo
gzip
在 Linux 的世界,每个工具的职责会很纯粹,非常单一,如 gzip,它只会对文件进行压缩,至于文件夹如何打包压缩,跟它没关系,那是 tar 要去负责的事情。
gzip 命令行压缩一个文件
例如我们要将 nodejs-pressing-demo/lib/urllib.js 文件进行 gzip 压缩,会得到一个 urllib.js.gz 文件,源文件会被删除。
$ ls -l nodejs-pressing-demo/lib/urllib.js -rw-r--r-- 1 a a 31318 Feb 12 11:27 nodejs-pressing-demo/lib/urllib.js $ gzip nodejs-pressing-demo/lib/urllib.js $ ls -l nodejs-pressing-demo/lib/urllib.js.gz -rw-r--r-- 1 a a 8909 Feb 12 11:27 nodejs-pressing-demo/lib/urllib.js.gz # 还原压缩文件 $ gunzip nodejs-pressing-demo/lib/urllib.js.gz
文件大小从 31318 字节减少到 8909 字节,超过 3.5 倍的压缩效果。
还可以通过 pipe 方式,结合 cat 命令,将文件压缩并保存为任意文件
$ ls -l nodejs-pressing-demo/README.md -rw-r--r-- 1 a a 13747 Feb 12 11:27 nodejs-pressing-demo/README.md $ cat nodejs-pressing-demo/README.md | gzip > README.md.gz $ ls -l README.md.gz -rw-r--r-- 1 a a 4903 Feb 12 11:50 README.md.gz
Node.js 实现 gzip
,我们不会真的从零开始实现一个 gzip 算法和工具,在 Node.js 的世界,早已有人为你准备好这些基础库,我们只需要开箱即用。
本文将会使用 模块,实现所有压缩和解压缩代码。
为什么会选择 pressing?因为它有足够充分的代码质量和单元测试保证,处于活跃的维护状态,API 非常友好,而且还支持流式接口。
Promise 接口
const pressing = require('pressing'); // 选择 gzip 格式,然后调用 pressFile 方法 pressing.gzip.pressFile('nodejs-pressing-demo/lib/urllib.js', 'nodejs-pressing-demo/lib/urllib.js.gz') .then(() => { console.log('suess'); }) .catch(err => { console.error(err); }); // 解压缩是反响过程,接口都统一为 unpress pressing.gzip.unpress('nodejs-pressing-demo/lib/urllib.js.gz', 'nodejs-pressing-demo/lib/urllib.js2') .then(() => { console.log('suess'); }) .catch(err => { console.error(err); });
结合 async/await 的编程模型,代码写起来就是一个普通的异步 io 操作。
const pressing = require('pressing'); async function main() { try { await pressing.gzip.pressFile('nodejs-pressing-demo/lib/urllib.js', 'nodejs-pressing-demo/lib/urllib.js.gz'); console.log('suess'); } catch (err) { console.error(err); } // 解压缩 try { await pressing.gzip.unpress('nodejs-pressing-demo/lib/urllib.js.gz', 'nodejs-pressing-demo/lib/urllib.js2'); console.log('suess'); } catch (err) { console.error(err); } } main();
Stream 接口
需要特别注意的是,使用 Stream 模式编程,需要处理每个 stream 的 error 事件,并且要。
fs.createReadStream('nodejs-pressing-demo/lib/urllib.js') .on('error', handleError) .pipe(new pressing.gzip.FileStream()) // It's a transform stream .on('error', handleError) .pipe(fs.createWriteStream('nodejs-pressing-demo/lib/urllib.js.gz2')) .on('error', handleError); // 解压缩,就是 pipe 的方向倒转过来 fs.createReadStream('nodejs-pressing-demo/lib/urllib.js.gz2') .on('error', handleError) .pipe(new pressing.gzip.UnpressStream()) // It's a transform stream .on('error', handleError) .pipe(fs.createWriteStream('nodejs-pressing-demo/lib/urllib.js3')) .on('error', handleError);
根据官方的推荐,我们应该使用 模块来配合 Stream 模式编程,由 pump 来完成这些 Stream 的清理工作。
const pump = require('pump'); const source = fs.createReadStream('nodejs-pressing-demo/lib/urllib.js'); const target = fs.createWriteStream('nodejs-pressing-demo/lib/urllib.js.gz2'); pump(source, new pressing.gzip.FileStream(), target, err => { if (err) { console.error(err); } else { console.log('suess'); } }); // 解压缩 pump(fs.createReadStream('nodejs-pressing-demo/lib/urllib.js.gz2'), new pressing.gzip.FileStream(), fs.createWriteStream('nodejs-pressing-demo/lib/urllib.js3'), err => { if (err) { console.error(err); } else { console.log('suess'); } });
Stream 接口的优势
Stream 接口看起来比 Promise 接口复杂多了,为何还会有这种应用场景呢?
其实在 HTTP 服务领域,Stream 模型会有更大的优势,因为 HTTP 请求本身就是一个 Request Stream,如要将一个上传文件以 gzip 压缩返回,使用 Stream 接口不需要将上传文件保存到本地磁盘,而是直接消费这个文件流。
使用 ,我们稍微改造一下,就能实现 gzip 压缩然后返回。
const pump = require('pump'); class UploadFormController extends Controller { // ... other codes async upload() { const stream = await this.ctx.getFileStream(); // 直接将压缩流赋值给 ctx.body,实现边压缩边返回的流式响应 this.ctx.body = pump(stream, new pressing.gzip.FileStream()); } }
tar | gzip > tgz
gzip 章节可以提前知道,tar 是负责对文件夹进行打包:package:的。
例如要对 nodejs-pressing-dem o 整个文件夹打包成一个文件发送给别人,可以通过 tar 命令完成。
$ tar -c -f nodejs-pressing-demo.tar nodejs-pressing-demo/ $ ls -l nodejs-pressing-demo.tar -rw-r--r-- 1 a a 206336 Feb 12 14:01 nodejs-pressing-demo.tar
如大家所见,tar 打包出来的文件一般都比较大,因为它是未压缩的,大小跟实际文件夹总大小接近。所以我们都会在打包进行压缩。
$ tar -c -z -f nodejs-pressing-demo.tgz nodejs-pressing-demo/ $ ls -l nodejs-pressing-demo.tgz -rw-r--r-- 1 a a 39808 Feb 12 14:07 nodejs-pressing-demo.tgz
tar 和 tgz 超过 5 倍大小的差异,可以大大减少网络传输带宽。
Node.js 实现 tgz
Promise 接口
先使用 pressing.tar.pressDir(sourceDir, targetFile) 将一个文件夹打包到一个 tar 文件,然后使用上文的 gzip 压缩方式,将 tar 文件压缩为 tgz 文件。
const pressing = require('pressing'); pressing.tar.pressDir('nodejs-pressing-demo', 'nodejs-pressing-demo.tar') .then(() => { return pressing.gzip.pressFile('nodejs-pressing-demo.tar', 'nodejs-pressing-demo.tgz'); }); .then(() => { console.log('suess'); }) .catch(err => { console.error(err); }); // 解压缩 pressing.gzip.unpress('nodejs-pressing-demo.tgz', 'nodejs-pressing-demo.tar') .then(() => { return pressing.tar.unpress('nodejs-pressing-demo.tar', 'nodejs-pressing-demo2'); }); .then(() => { console.log('suess'); }) .catch(err => { console.error(err); });
结合 async/await 的编程模型,代码写起来会更加容易阅读
const pressing = require('pressing'); async function main() { try { await pressing.tar.pressDir('nodejs-pressing-demo', 'nodejs-pressing-demo.tar'); await pressing.gzip.pressFile('nodejs-pressing-demo.tar', 'nodejs-pressing-demo.tgz'); console.log('suess'); } catch (err) { console.error(err); } // 解压缩 try { await pressing.gzip.unpress('nodejs-pressing-demo.tgz', 'nodejs-pressing-demo.tar'); await pressing.tar.unpress('nodejs-pressing-demo.tar', 'nodejs-pressing-demo2'); console.log('suess'); } catch (err) { console.error(err); } } main();
Stream 接口
通过 pressing.tar.Stream 类,可以动态添加任意文件、文件夹到一个 tar stream 对象中,非常灵活。
const tarStream = new pressing.tar.Stream(); // dir tarStream.addEntry('dir/path/to/press'); // file tarStream.addEntry('file/path/to/press'); // buffer tarStream.addEntry(buffer); // stream tarStream.addEntry(stream); const destStream = fs.createWriteStream('path/to/destination.tgz'); pump(tarStream, new pressing.gzip.FileStream(), destStream, err => { if (err) { console.error(err); } else { console.log('suess'); } });
zip
zip 其实可以看作是 tar + gzip 的「商业化」结合,它让使用者不需要区分是压缩文件还是压缩文件夹,反正用我 zip 就对了。
使用 zip 命令行工具压缩一个文件夹的例子
$ zip -r nodejs-pressing-demo.zip nodejs-pressing-demo/ adding: nodejs-pressing-demo/ (stored 0%) adding: nodejs-pressing-demo/test/ (stored 0%) ... adding: nodejs-pressing-demo/.travis.yml (deflated 36%) $ ls -l nodejs-pressing-demo. -rw-r--r-- 1 a a 206336 Feb 12 14:06 nodejs-pressing-demo.tar -rw-r--r-- 1 a a 39808 Feb 12 14:07 nodejs-pressing-demo.tgz -rw-r--r-- 1 a a 55484 Feb 12 14:34 nodejs-pressing-demo.zip
通过 tgz 和 zip 文件大小对比,可以看出默认的压缩参数下,gzip 的效果会比 zip 好。
Node.js 实现 zip
实现代码跟 tar 类似,只不过默认是压缩的,不需要再添加 gzip 的过程。
const pressing = require('pressing'); pressing.zip.pressDir('nodejs-pressing-demo', 'nodejs-pressing-demo.zip') .then(() => { console.log('suess'); }) .catch(err => { console.error(err); }); // 解压缩 pressing.zip.unpress('nodejs-pressing-demo.zip', 'nodejs-pressing-demo3') .then(() => { console.log('suess'); }) .catch(err => { console.error(err); });
基于 Node.js 实现的压缩和解压缩是否比想象中简单?感谢 npm 这个巨人,让我们编程也能拥有命令行工具那样简单的体验。
无论是 Promise 接口,还是 Stream 接口,都有它最合适的场景,你会选择了吗?
到此,你拥有的压缩和解压缩能力,你能够做什么样的服务和功能呢?
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持狼蚁SEO。
编程语言
- 如何快速学会编程 如何快速学会ug编程
- 免费学编程的app 推荐12个免费学编程的好网站
- 电脑怎么编程:电脑怎么编程网咯游戏菜单图标
- 如何写代码新手教学 如何写代码新手教学手机
- 基础编程入门教程视频 基础编程入门教程视频华
- 编程演示:编程演示浦丰投针过程
- 乐高编程加盟 乐高积木编程加盟
- 跟我学plc编程 plc编程自学入门视频教程
- ug编程成航林总 ug编程实战视频
- 孩子学编程的好处和坏处
- 初学者学编程该从哪里开始 新手学编程从哪里入
- 慢走丝编程 慢走丝编程难学吗
- 国内十强少儿编程机构 中国少儿编程机构十强有
- 成人计算机速成培训班 成人计算机速成培训班办
- 孩子学编程网上课程哪家好 儿童学编程比较好的
- 代码编程教学入门软件 代码编程教程