搭建hadoop的HA集群模式（hadoop2.7.3+hive+spark）
参考：http://blog.51cto.com/12824426/2177663?source=drh
一、集群的规划
Zookeeper集群：
192.168.176.131 （bigdata112）
192.168.176.132 （bigdata113）
192.168.176.135 （bigdata114）
Hadoop集群：
192.168.176.131 （bigdata112） NameNode1 ResourceManager1 Journalnode
192.168.176.132 （bigdata113） NameNode2 ResourceManager2 Journalnode
192.168.176.135 （bigdata114） DataNode1 NodeManager1
192.168.176.136 （bigdata115） DataNode2 NodeManager2
二、准备工作
1、安装JDK
2、配置环境变量
3、配置免密码登录
4、配置主机名
三、配置时间同步
配置ntp启动项
chkconfig ntpd on
同步时间
ntpdate ntp.sjtu.edu.cn
启动ntpd服务
/etc/init.d/ntpd start
验证ntp服务已经运行
pgrep ntpd
初始同步
ntpdate -u ntp.sjtu.edu.cn
确认同步成功
ntpq -p
PS:可以一次性输入以上命令
chkconfig ntpd on
ntpdate ntp.sjtu.edu.cn
/etc/init.d/ntpd start
pgrep ntpd
ntpdate -u ntp.sjtu.edu.cn
ntpq -p
四、配置Zookeeper（在192.168.176.131安装）
在主节点（bigdata112）上配置ZooKeeper
（*）配置/training/zookeeper-3.4.6/conf/zoo.cfg文件
dataDir=/training/zookeeper-3.4.6/tmp
server.1=bigdata112:2888:3888
server.2=bigdata113:2888:3888
server.3=bigdata114:2888:3888（*）在/training/zookeeper-3.4.6/tmp目录下创建一个myid的空文件echo 1 > /training/zookeeper-3.4.6/tmp/myid
（*）将配置好的zookeeper拷贝到其他节点，同时修改各自的myid文件
scp -r /training/zookeeper-3.4.6/ bigdata113:/training
scp -r /training/zookeeper-3.4.6/ bigdata114:/training（*）分别修改113和114上/training/zookeeper-3.4.6/tmp/myid为2和3
~/有空再做修改吧0.0
最新文章
- MongoDB 优化器MongoDB Database Profiler（12）
- ADO.NET操作数据库（一）
- C++ 泛型基础
- Python基础（1）--Python编程习惯与特点
- Android的消息处理机制Looper,Handler,Message
- PHP文件系统处理（二）
- 【蛙蛙推荐】Lucene.net试用
- Oracle分页查询SQL实现
- 说说数据库架构，ORM缓存和路由
- POJ 3974 最长回文字串（manacher算法）
- Linux中的shell函数编写
- iOS开发tips-神奇的UITableView
- java利用WatchService实时监控某个目录下的文件变化并按行解析（注：附源代码）
- Python爬虫小实践：爬取任意CSDN博客所有文章的文字内容（或可改写为保存其他的元素），间接增加博客访问量
- redis5.0.4多实例安装
- 为什么Java的main方法必须是public static void？
- Python-接口自动化（十）
- Python字典的使用与处理
- C/C++（static）
- Javascript扩展Date的prototype实现时间format函数 2017-06-29T09:10:00.000Z日期转换