Hadoop伪分布安装详解(三)
目录:
1.修改主机名和用户名
2.配置静态IP地址
3.配置SSH无密码连接
4.安装JDK1.7
5.配置Hadoop
6.安装Mysql
7.安装Hive
8.安装Hbase
9.安装Sqoop
********************
5.配置Hadoop(伪分布式)
(1)通过SecureCRT上传到Centos中/opt目录,并解压文件
tar -zxvf hadoop-2.6.0-cdh.5.6.0
(2)[root@neusoft-master etc]# cd /opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop #配置hadoop的配置文件存放处
(3)修改hadoop-env.sh,在文件末尾追加
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0
export JAVA_HOME=/usr/java/default
(4)修改/etc/profile文件
增加HADOOP_HOME及PATH目录
配置文件生效:source /etc/profile (务必记住)
(5)修改core-site.xml,如下
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://neusoft-master:9000</value>
</property>
</configuration>
(6)修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/opt/hdfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
(7)修改mapred-site.xml
mapred-site.xml 在hadoop文件中是以临时文件存放,需要做如下修改之后在修改对应配置文件
cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(8)修改 yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>neusoft-master:8080</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>neusoft-master:8082</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
(9)修改slaves文件,如下指明了主节点同时运行Datanode和Nodemanager
(10)格式化HDFS
在第一次启动hadoop之前必须先将HDFS格式化
进入bin目录下,执行hadoop namenode -format,按照提示输入Y,格式化成功就会显示格式化成功信息。
(11)启动Hadoop并验证安装
- 启动Hadoop:如果是非root用户请赋予相应用户执行权限
chmod +x -R /opt/hadoop-2.6.0-cdh5.6.0/sbin
- root用户直接执行启动命令即可:./opt/hadoop-2.6.0-cdh5.6.0/sbin/start-all.sh
- 执行jps命令查看
(12)验证安装,执行命令不会有出错信息即可。
[root@neusoft-master ~]# hadoop dfs -ls / [root@neusoft-master ~]# hadoop dfs -ls hdfs://neusoft-master:9000/
注:如果首次安装不会出现下面两个图中的这么多文件,即首次安装不报错即可。
(13)小实验
hadoop dfs -mkdir -p /user/root/input
在linux本地文件系统 /usr/local/filecontent/中创建文件words
vi words
并写入hello you hello me 数据
hadoop dfs -put /usr/local/filecontent/words /user/root/input
hadoop jar /opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.6.0.jar wordcount /user/root/input /user/root/output
执行上述三条命令是测试Hadoop自带的测试用例进行测试,之后通过以下命令查看
hadoop dfs -cat /user/root/output/part-r-00000
END~如果对博客的内容有新的见解,请您及时给我留言,我会第一时间解决~
最新文章
- Oldboy-Homework-Week2.2
- oracle中session的查询与删除
- CSS Sprite 图标
- POJ2993——Help Me with the Game(字符串处理+排序)
- Linux-Tcp-IP
- /etc目录深入理解
- 从html字符串中获取div内容---jquery
- Android窗口管理服务WindowManagerService的简要介绍和学习计划
- ios 刷新BUG
- SRM 223 Div II Level Two: BlackAndRed,O(N)复杂度
- nodejs学习随笔
- Java Bloom filter几种实现比较
- postgresql----JOIN之多表查询
- .NET in Browser - Blazor
- c#: .net framework 2.0支持扩展方法的办法
- 获取硬盘序列号的Fortran程序
- users-and-groups-in-linux
- B+树索引和哈希索引的区别[转]
- 内部排序->;插入排序->;其它插入排序->;表插入排序
- laravel模型表建立外键约束的使用:
热门文章
- struts2防止表单重复提交的解决方案
- 每日英语:Dishing the Dirt on Hand-Washing Guidelines
- MySQL 5.7.16 zip包配置
- Fast RDP Brute暴力破解3389口令
- Centos 挂载NTFS格式的USB硬盘
- linux -- camera shot 拍照功能
- oozie调度中的重试和手工rerun一个workflow
- Cocos2d-x 3.1.1 学习日志7--7分钟让你了解cocos2d-x3.1.1 Sprite精灵类
- WebIM技术---编写前端WebSocket组件
- 离线 + 位优化 - SGU 108 Self-numbers 2