原来 Linux 日志文件系统是这样工作的~
关注「开源Linux」,选择“设为星标”
回复「学习」,有我为您特别筛选的学习资料~
作者:Linux Performance
链接:http://linuxperf.com/?p=153
文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据(metadata)包括 Superblock、inode bitmap、inode、data block bitmap等,所以写操作无法一步完成,如果其中任何一个步骤被打断,就会造成数据的不一致或损坏。
举一个简化的例子,我们对一个文件进行写操作,要涉及以下步骤:
1、从data block bitmap中分配一个数据块;
2、在inode中添加指向数据块的指针;
3、把用户数据写入数据块。
如果步骤2完成了,3未完成,结果是数据损坏,因为该文件认为数据块是自己的,但里面的数据其实是垃圾;
如果步骤2完成了,1未完成,结果是元数据不一致,因为该文件已经把数据块据为己有,然而文件系统却还认为该数据块未分配、随后又可能会把该数据块分配给别的文件、造成数据覆盖;
如果步骤1完成了、2未完成,结果就是文件系统分配了一个数据块,但是没有任何文件用到这个数据块,造成空间浪费;
如果步骤3完成了,2未完成,结果就是用户数据写入了硬盘数据块中,但白写了,因为文件不知道这个数据块是自己的。
日志文件系统(Journal File System)就是为解决上述问题而诞生的。
它的原理是在进行写操作之前,把即将进行的各个步骤(称为transaction)事先记录下来,保存在文件系统上单独开辟的一块空间上,这就是所谓的日志(journal),也被称为write-ahead logging,日志保存成功之后才进行真正的写操作、把文件系统的元数据和用户数据写进硬盘(称为checkpoint),这样万一写操作的过程中掉电,下次挂载文件系统之前把保存好的日志重新执行一遍就行了(术语叫做replay),避免了前述的数据损坏场景。
有人问如果保存日志的过程中掉电怎么办?最初始的想法是把一条日志的数据一次性写入硬盘,相当于一个原子操作,然而这并不可行,因为硬盘通常以512字节为单位进行操作,日志数据一超过512字节就不可能一次性写入了。所以实际上是这么做的:给每一条日志设置一个结束符,只有在日志写入成功之后才写结束符,如果一条日志没有对应的结束符就会被视为无效日志,直接丢弃,这样就保证了日志里的数据是完整的。
一条日志在它对应的写操作完成之后就没用了,占用的硬盘空间就可以释放。保存日志的硬盘空间大小是有限的,被循环使用,所以日志也被称为circular log。
至此可以总结一下日志文件系统的工作步骤了:
Journal write : 把transaction写入日志中;
Journal commit : 在一条日志保存好之后,写入结束符;
Checkpoint : 进行真正的写操作,把元数据(metadata)和用户数据(user data)写入文件系统;
Free : 回收日志占用的硬盘空间。
以上方式把用户数据(user data)也记录在日志中,称为Data Journaling,Linux EXT3文件系统就支持这种方式,这种方式存在效率问题:
就是每一个写操作涉及的元数据(metadata)和用户数据(user data)实际上都要在硬盘上写两次,一次写在日志里,一次写在文件系统上。元数据倒也罢了,用户数据通常比较大,拷贝几个GB的电影文件也要乘以2实在是降低了效率。
一个更高效的方式是Metadata Journaling,不把用户数据(user data)记录在日志中,它防止数据损坏的方法是先写入用户数据(user data)、再写日志,即在上述”Journal write”之前先写用户数据,这样就保证了只要日志是有效的,那么它对应的用户数据也是有效的,一旦发生掉电故障,最坏的结果也就是最后一条日志没记完,那么对应的用户数据也会丢,效果与Data Journaling丢弃日志一样,重要的是文件系统的一致性和完整性是有保证的。
Metadata Journaling又叫Ordered Journaling,大多数文件系统都采用这种方式。像Linux EXT3文件系统也是可以选择Data Journaling还是Ordered Journaling的。
参考资料:Crash Consistency: FSCK and Journaling
关注「开源Linux」加星标,提升IT技能
最新文章
- linux 学习随笔-shell简单编写
- JavaScript模板引擎artTemplate.js——为什么使用模板引擎?
- 【mysql的编程专题⑤】自定义函数
- Spark Streaming揭秘 Day21 动态Batch size实现初探(下)
- SVN:冲突解决 合并别人的修改
- js框架——angular.js(3)
- 主java程序猿知识体系结构
- 【NOI2015】程序自动分析
- 一步步教你开发、部署第一个去中心化应用(Dapp) - 宠物商店
- K-Means 聚类
- .NET:持续进化的统一开发平台
- Linux 匿名页的反向映射
- VC++常用数据类型
- ECMAScript 6 入门之Proxy代理和set
- windows下解决python输出utf-8中文
- XSS 攻击的防御
- pthreads v3下的Volatile介绍与使用
- javascript-dom文档对象模型1
- Mysql select语句设置默认值
- spring注解没起作用
热门文章
- Oracle 关于v$之类的视图使用说明
- kafka消费组创建和删除原理
- SpringMVC常用的注解有哪些?
- 详细描述一下 Elasticsearch 索引文档的过程 ?
- java程序如何确保多线程的运行安全?
- Effective Java —— 用私有构造器或枚举类型强化单例属性
- python学习笔记(六)——程序调试
- Kurento安装与入门02——运行示例前的准备
- 基 vue-element-admin升级的Vue3 +TS +Element-Plus 版本的后端管理前端解决方案 vue3-element-admin 正式对外发布,有来开源组织又一精心力作,毫无保留开放从0到1构建过程
- Python使用逻辑回归估算OR值