tar之多线程解压缩

大家好，我是早九晚十二，目前是做运维相关的工作。写博客是为了积累，希望大家一起进步！
我的主页：早九晚十二

文章目录

• • 关于tar
  • 多线程安装
  • 结果测试
  • • 单线程压缩
    • 多线程压缩

关于tar

我们平常在服务器上操作时，经常会使用到tar命令，这是Unix和类Unix系统上的压缩打包工具，可以将多个文件合并为一个文件，打包后的文件后缀亦为“tar”。它可以在任何用户下使用。
同时，它有多个压缩率不同的版本，如tar.xz和tar.gz，前者的压缩率更高，但可能有兼容性问题。
如果大家使用过tar，一定都会有这个感受：当你在解压或者压缩一个超大文件时，速度会很慢！这是由于tar解压缩操作是用单线程去操作的，如果你在解压的时候，使用top命令，常常会看到某一个cpu飙升到100%。

今天我们就介绍一下，tar的多线程操作。

多线程安装

yum -y install pigz

pigz命令来自于英文词组”parallel implementation of gzip“的缩写，其功能是用于多线程的解压缩文件。与其他解压缩命令不同的是pigz命令支持多线程的并行处理方式，同比gzip能快60%以上，当然CPU的消耗也会更高。

#压缩文件tar --use-compress-program=pigz -cvpf  app.tar.gz  app#解压文件tar --use-compress-program=pigz -xvpf     app.tar.gz

--use-compress-program=pigz即代表使用的pigz工具，那么究竟效果如果呢，我们一起期待一下

结果测试

我们可以编写一个脚本，计算使用pigz和不使用的时间。

#!/bin/bashecho "starttime: `date +"%Y-%m-%d %H:%M:%S"`" > tar.txtsleep 5 #在这里填写我们的压缩命令echo "endtime: `date +"%Y-%m-%d %H:%M:%S"`" >> tar.txtstart=`awk '{print $2,$3}' tar.txt | sed -n '1p'` end=`awk '{print $2,$3}' tar.txt | sed -n '2p' `echo $startecho $endstarttime=$(date -d "$start" +%s) #转化为系统时间endtime=$(date  -d "$end"  +%s)runtime=$(($endtime-$starttime))  #计算程序运行时间echo $runtime

单线程压缩

将sleep 5替换为tar -cvpf app.tar.gz app/后执行，输出结果为26s

多线程压缩

将sleep 5替换为tar --use-compress-program=pigz -cvpf app.tar.gz app后执行，输出结果为15s

根据以上测试结果，可以看到时间缩短了11s。解压的话，小伙伴们可以自己测试一下。

码字不易，希望大家有用到的可以三连支持一波。哪里有问题的话可以指出，谢谢大家！

风车动漫