在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase
1. 所需软件下载链接(建议直接复制链接到迅雷下载更快):
①hadoop-2.7.6.tar.gz:
wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
②zookeeper-3.4.12.tar.gz:
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz
③hbase-1.2.6-bin.tar.gz:
wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz
注:hadoop与hbase版本有对应性,具体可参考apache官网:http://hbase.apache.org/book.html#quickstart,在页面上搜索:Hadoop version support matrix
④jdk-8u171-linux-x64.tar.gz:
链接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg
提取码:ky0x
2. 安装教程
①安装hadoop参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html
②安装zookeeper参考教程:https://www.cnblogs.com/frankdeng/p/9018177.html
③安装hbase参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html
3. 注意事项
3.1 在参考hadoop安装教程时:
①首先要先卸载Centos本身自带的openjdk,参考这位博主的卸载教程:
https://www.cnblogs.com/happyflyingpig/p/8068020.html
注:不卸载应该也可以吧,您可以试一下先不卸载,装好jdk,再改好/etc/profile中的JAVA_HOME重新编译生效后,最后输入:
java -version
看看版本更改过来没。
②步骤1.4:如果是以root用户安装环境时,即当前目录为~时:应当直接
cd /opt
因为/opt是根目录下的opt,在该目录下创建相应module、software文件夹,而不是先mkdir opt,再cd opt(这是root用户下的opt);但如果您已经先mkdir opt了的话,JAVA_HOME应该为:/root/opt/module/jdk1.8,而不是/opt/module/jdk1.8
总结:
cd /opt:根目录下的opt cd opt:当前登录用户下的opt
③步骤2:向其他节点复制jdk时,改用该命令更好:
scp -r /opt/module/jdk1.8 root@node22:/opt/module
3.2 在参考教程时:
一定要尽量都下载我上面提供的版本,因为我试过好几个hadoop、hbase、jdk的版本,存在好多不兼容情况,比如:我之前使用的jdk1.8_202版本,在我搭建完这些环境后,总有一些问题如java.net.connect ion拒绝连接什么的,后面我换成了jdk1.8_171就好了。
4. 最后
上述搭建大数据环境的三个教程为同一个博主@Frankdeng编写,更具统一性,安装起来命令 复制粘贴起来更方便hhh 更有参考性,非常感谢参考教程的博主!
上述主要参考教程的博主的博客地址:https://www.cnblogs.com/frankdeng/
最新文章
- Struts2入门(五)——OGNL和标签库
- [BZOJ3874][AHOI2014] 宅男计划
- php将数据库导出成excel的方法
- Spring与Hibernate整合之通用Dao的实现
- 【转】wireshark过滤规则
- Core Python Notes
- solr全文检索基本原理
- onsubmit提交前先验证(验证不通过阻止form提交)
- 2015暑假acm短训小结
- 解决 bootstrap 在IE8下的兼容问题
- MySQL数据同步,出现Slave_SQL_Running:no和slave_io_running:no问题的解决方法
- Matplotlib图例
- 黄聪:史上最详细的kali安装教程没有之一
- 剑指offer(17)层次遍历树
- win10下VS2017配置GSL库
- How to make MySQL handle UTF-8 properly
- salesforce 零基础学习(六十三)Comparable实现Object列表数据的自定义排序
- Spring mvc 4系列教程(二)——依赖管理(Dependency Management)和命名规范(Naming Conventions)
- python模块:xlsxwriter和xlrd相结合读取
- C#winform自定义滚动条
热门文章
- DNA sequence HDU - 1560
- 整合Kafka+Flink 实例(第二部分 设计思路)
- new Date在IOS下面的兼容问题
- 学会了这些redis知识点,面试官会觉得你很nb(转自十年技术大牛)
- (转)协议森林12 天下为公 (TCP堵塞控制)
- list的常用方法
- webStorm ->; Version Control _>; Repository ->; Filter By User 查看svn日志
- javascript 自动选中容器里的文字
- 集群搭建_02_集群多机版安装 HDFS HA+Federation-YARN
- postman集合测试执行