高性能的数据压缩库libzling

　　libzling（https://github.com/richox/libzling）是一款高性能的数据压缩库，在压缩时间和压缩率上都超过了流行的zlib/gzip。libzling使用的是ROLZ字典算法和Polar编码，这两个算法的说明可以参考这两篇文章：http://www.cnblogs.com/richselian/archive/2012/11/10/2764427.html、http://www.cnblogs.com/richselian/archive/2012/11/09/2763162.html。

　　libzling使用的是1阶ROLZ字典编码和0阶Polar编码，在权威的 Large Text Compression Benchmark 测评上，压缩时间、解压时间和压缩率都分别超过gzip约50%、20%、10%左右。libzling最适用于一般的文本数据，对大量冗余的文本日志数据性能更佳，压缩率可以压缩gzip的30%以上。

　　使用libzling的方式很简单，首先从github上clone最新的版本：

git clone https://github.com/richox/libzling

　　然后cd到build目录下，使用cmake编译（cmake的具体安装方法可以Google）：

cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local

make

make install

　　以下是最简单的使用libzling的方式，具体的接口文档现在还没有完成，可以参考源代码中的demo程序：./sample/zling.cpp

　　代码可以使用g++编译，编译选项加上-lzling即可。

 #include "libzling.h"

 int main() {

     // compress

     {

         FILE* fin = fopen("./1.txt", "rb");

         FILE* fout = fopen("./1.txt.zlng", "wb");

         baidu::zling::FileInputer  inputer(fin);

         baidu::zling::FileOutputer outputer(fout);

         baidu::zling::Encode(&inputer, &outputer);

         fclose(fin);

         fclose(fout);

     }

     // decompress

     {

         FILE* fin = fopen("./1.txt.zlng", "rb");

         FILE* fout = fopen("./2.txt", "wb");

         baidu::zling::FileInputer  inputer(fin);

         baidu::zling::FileOutputer outputer(fout);

         baidu::zling::Decode(&inputer, &outputer);

         fclose(fin);

         fclose(fout);

     }

     return ;

 }

巴特西

高性能的数据压缩库libzling

最新文章

热门文章