Note: Migratory Compression: Coarse-grained Data Reordering to Improve Compressibility
2024-08-28 05:52:53
思路/方法
设计了Migratory Compression。
调整chunk相对位置,将相似chunk排列在一起,通过压缩来减少data store占用的实际存储空间。
https://en.wikipedia.org/wiki/Delta_encoding
工作量
- mzip: 单文件上进行Migratory Compression - 三种途径调整chunk顺序(In-Memory、Chunk-level、Multi-pass)
- Intra-file Delta Compression: 单文件用delta编码
- 基于DDFS做mzip
- 三个数据集(WorkstationBackup、EmailServerBackup、VMImage)
- 测试bzip2、7z、rzip(有无MC)
- 在内存文件系统、SSD、HDD上进行实验。
- 敏感性分析:chunkSize、chunkingAlgorithm、压缩窗口大小、chunk相似度
- 在DDFS的基础上实现MC
最新文章
- openlayers3 画扇形
- HTML5中判断横屏竖屏
- 学习使用 SVG 创建材料设计涟漪(Ripple)效果
- MySQL入门(一)
- LeetCode OJ-- Word Ladder II ***@
- Linux安装卸载JDK(1.7 rpm)
- <;Think Complexity>; 用字典实现图
- js 复制网页内容,兼容各浏览器
- 利用php的ob缓存机制实现页面静态化
- BeanFactory调用getbean()对象
- 移动web页面支持弹性滚动的3个方案
- Spring MVC 基础笔记
- AMDP + XSLX Workbench 报表开发模式
- BZOJ3622 已经没有什么好害怕的了
- RNN(Recurrent Neural Network)的几个难点
- 使用python进行24bit音频处理
- SHELL脚本--tr命令用法和特性全解
- 解决Chrome 70版本以后谷歌不再信任赛门铁克证书问题
- kernel解析dtb为节点
- JavaScript中的关于this
热门文章
- Tomcat处理HTTP请求源码分析(上)
- eclipse中集成velocity插件
- 创建HTML5/CSS3单页Web布局
- node.js+express+jade系列三:404错误的配置
- 将任意一个jQuery对象进行表单序列化,免除了提交请求时大量拼写表单数据的烦恼,支持键值对<;name&;value>;格式和JSON格式。
- Using SMOTEBoost(过采样) and RUSBoost(使用聚类+集成学习) to deal with class imbalance
- 串行总线 —— I2C、UART、SPI
- ffmpeg avpicture_fill的一些使用
- NYOJ-127 快速求幂,最小生成树
- ACM学习历程—HDU 5443 The Water Problem(RMQ)(2015长春网赛1007题)