图片存储系统TFS
2024-08-30 20:37:50
1 TFS和GFS比较
1.1 GFS的应用场景
第一,百万级别的文件,并且是大文件,文件都是100MB以上,1G级别的文件很常见。
第二,集群是建立在商业计算机之上,并不可靠,监控各个节点的状态,当一个节点坏掉了,可以里面恢复。因此需要一个master来管理着多个slave。
1.2 TFS的应用场景
第一,百亿级别的小文件,特别是图片文件,大小为18KB左右。
第二,集群同样建立在商业计算机之上。
2 数据的完整性
第一,备份;
第二,将数据划分为chunk和block,计算每个block的checksum;
第三,checksum放在log中,log和数据分开存放;
第四,传输数据前检查checksum,发现错误,删除错误数据,拷贝备份数据。
3 TFS的扁平设计
TFS丢掉目录结构,直接用文件名来解析出block id和file id,直接得到文件的物理地址,可以大大提高访问的速度。
4 TFS践行了对象存储的思想
5 微信朋友圈的存储系统也是这个思想,纯粹是key-value的形式
因为微信朋友圈里面也有海量的图片和海量的文字,这些都是采取key-value的形式来存放的。
最新文章
- 简单分析JavaScript中的面向对象
- TThread.CreateAnonymousThread() 匿名线程对象的应用
- 最近碰到的一些 SSL 问题记录
- Liferay7 BPM门户开发之37: Liferay7下的OSGi Hook集成开发
- python中self,cls
- (转载)实现QQ侧滑边栏
- [译] TypeScript入门指南(JavaScript的超集)
- Linux网络编程2——系统函数
- ARM 开发板嵌入式linux系统与主机PC通过串口传输文件
- Navicat连接oracle数据出现的oci问题
- 2019-04-29 EasyWeb下配置Atomikos+SQLServer分布式数据源
- Ubuntu 18.04 根目录为啥只有 4G 大小
- kafka工作流程| 命令行操作
- [ACM-ICPC 2018 徐州赛区网络预赛][D. Easy Math]
- 19_python_反射
- ios实例开发精品文章推荐(8.19)
- unity, dll is not allowed to be included or could not be found
- Spring Cloud 学习网址
- 将mongodb设置为windows服务
- host is not allowed to connect to this mysql解决方案