并行压缩

冯纪忠雄

Feb 13, 2020

我知道可以使用pigz进行多线程并行压缩。

在Ubuntu中可如下安装pigz：

$ sudo apt install pigz

在Centos中可如下安装pigz：

$ sudo yum install pigz

使用pigz压缩某个文件夹：

$ tar -cf - /home/user/example | pigz -p 7 > example.tgz

/home/user/example 是要压缩的文件夹路径
example.tgz 是被压缩后的压缩文件名称
上面的数字7只是一个示例，代表开7个线程进行并行压缩

使用pigz解压tgz文件：

$ tar --use-compress-program=pigz -xvf example.tgz

经过亲自测试，pigz确实是可以开多线程，以翻倍的速度并行压缩；但能翻多少倍，取决因素不仅仅在于多少个线程，影响因素不只一种。但基本上明显可以看出，pigz确实能带来大幅度的压缩速率的提高。