暑假学习五 8.28日 hdfs
2024-10-21 18:56:00
- 文件系统
- 文件系统:存储和组织数据的方式,实现了数据的存储,分级组织,访问和获取,使用树状结构
- 数据:数据本身。文件系统元数据:文件大小,最后修改时间....描述性的数据
- 分布式文件系统
- 核心属性:
- 分布式存储,无限扩展
- 元数据记录,方便寻找
- 分块存储,针对并行操作提供效率
- 副本机制,冗余存储,保障数据安全
- 核心属性:
- hdfs的介绍:
- 分布式文件系统,大数据的最底层
- hdfs使用多台计算机存储,但是使用统一的接口
- 设计目标:大数据的运行
- 对文件的要求:write-one-read-many,文件写入后不支持修改 hdfs系统,不编辑,但是可以分析
- 移动计算比移动数据简单
- 更容易多平台之间进行移植
- hdfs的重要特性:
- 主从架构
- master/slave
- namdenode 主节点 datanode从节点
- 分块存储,128M一块,不足128本身就是一块
- 副本机制,本身1,备份2
- 元数据管理
- 元数据,解释性数据,文件自身属性信息,文件块位置映射信息
- 主角色管理
- namespace
- 传统的层次文件组织‘
- 统一的抽象目录树
- 主角色管理
- 数据块存储
- 由从角色负责
- 每个block可以在多个datanode上存储
- 主从架构
最新文章
- MMORPG大型游戏设计与开发(服务器 AI 控制器)
- Nginx 1.10.1 编译、配置文档(支持http_v2,TLSv1.2,openssl v1.0.2)
- DevExpress TreeList 全选和反选 z
- Android真机访问PC端服务器
- LVS_DR模式构建配置
- POJ 2421(prim)
- Kmeans聚类算法原理与实现
- Linux 本人常用到的基本命令
- MiniCrowler
- 低功耗蓝牙4.0BLE编程-nrf51822开发(9)
- 总结源码编译安装mysql
- hdoj 1241 Oil Deposits
- Hyperic Agent 安装配置报 - No token file found, waiting for Agent to initialize
- QueryRunner的使用
- git:fatal the current branch master has no upstream branch
- poj 1094 Sorting It All Out(图论)
- 我在网站开发中经常用到的几个js函数01
- Mysql 查询重复的记录
- QT中使用google breakpad捕获程序崩溃异常
- sql server 字符串根据指定分隔符进行分组
热门文章
- 蓝牙mesh组网实践(手机配网例程配合wch mesh手机app的使用)
- ubuntu18.04 安装cython_bbox
- exp1-Password engine-加密API实现与测试
- Pytorch实战学习(六):基础CNN
- Go组件库总结之协程睡眠唤醒
- enzyme文档
- vue3 门户网站搭建5-图标
- CH583 是集成 BLE 无线通讯的 RISC-V MCU 微控制器
- COMMON_FUNC_SPLIT_STRING
- Linux上面配置Apache2支持Https(ssl)具体方案实现