1.HDFS分布式文件系统
2024-09-05 05:30:01
- HDFS概述及设计目标
- 如果让我们自己设计一个分布式文件存储系统，怎么做？
- HDFS设计目标
- 非常巨大的分布式文件系统
- 运行在普通廉价的硬件上
- 易扩展，为用户提供性能不错的文件存储系统
- HDFS架构
Master（NameNode/NN），带N个Slaves（DataNode/DN）
HDFS/YARN/HBase 架构一样
1个文件会被拆分成多个Block
blocksize ：128M
130M ==》 2个block ：128M 和2M
NameNode：
1.负责客户端请求的响应
2.负责元数据（文件的名称，副本系数，Block存放的DN）的管理
DN:
1.存储用户的文件对应的数据块（Block）
2.要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况
- HDFS副本机制
- HDFS 副本存放策略
- HDFS环境搭建
下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
版本号：hadoop-2.6.0-cdh5.7.0
安装指导：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html
帮助链接 :http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
- Hadoop伪安装步骤
etc/hadoop/core-site.xml:
etc/hadoop/hdfs-site.xml:
etc/hadoop/slaves（单机暂时不需要，但是集群很重要的参数，有多少的datanode，就把对应的主机名写道这个配置文件）
修改localhost 为 hadoop000
- haddop 启动
最新文章
- Underscore.js
- webform Repeater、地址栏传值、Response
- linux驱动的分离分层概念之LED
- NOIP2016の遊記
- 调用jar程序，读取与jar同级的配置文件。
- $.ajax()方法解析
- 编写高质量JS代码的68个有效方法（十二）
- 37.Activity之间的转换以及数据的传递（Intent）学习
- 5.6 WebDriver API实例讲解（31-35）
- 四种java代码静态检查工具
- Android软键盘遮挡的四种解决方案
- 我收集到的最好的jQuery和CSS3导航菜单
- Android 通过广播启动另一个应用的Activity
- 项目经验谈---IM新消息界面刷新异常处理记录
- （转）ios限制控制器旋转
- 读书笔记 effective c++ Item 29 为异常安全的代码而努力
- HTML5浏览器端图片预览&生成Base64
- spring的Profile使用对比和应用场景分析
- how tomcat works 总结
- vue登录拦截