hadoop压缩和解压

　　最近有一个hadoop集群上的备份需求。源文件有几百G，如果直接复制太占用磁盘空间。将文件从hadoop集群下载到本地，压缩之后再上传到hadoop则太耗时间。于是想到能否直接在HDFS文件系统上进行压缩和解压。

　　经过粗略的了解，使用pig脚本可轻松的实现以上目标。

　　压缩

set output.compression.enabled true;

set output.compression.codec org.apache.hadoop.io.compress.GzipCodec;

uncompress = load '$uncompress';

store uncompress into '$compress';

　　解压

compress = load '$compress';

set output.compression.enabled false;

store compress into '$uncompress';

巴特西

hadoop压缩和解压

最新文章

热门文章