01初步启动Hadoop服务

1.rz命令将hadoop压缩包上传至Linux服务器中

2.tar -zxvf hadoop-2.7.7.tar.gz(解压即可用）

3.将解压出来的hadoop移到想要放的位置 mv hadoop-2.7.7 ../software

4.配置六个文件

　　配置文件在etc目录下

1.hadoop-env.sh

　　　　cd /opt/software/hadoop-2.7.7

　　　　vim etc/hadoop/hadoop-env.sh

　　　　export JAVA_HOME=/opt/software/jdk1.8　　　　#修改25行

　　　　export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop　　　　#修改33行

　　2.core-site.xml

　　　　<configuration>

　　　　　　<!--指定HDFS中NameNode的地址-->

　　　　　　<property>

　　　　　　　　<name>fs.defalutFS</name>

　　　　　　　　<value>hdfs://主机名:9000</value>

　　　　　　</property>

　　　　　　<!--指定hadoop运行是产生文件的存储目录-->

　　　　　　<property>

　　　　　　　　<name>hadoop.tmp.dir</name>

　　　　　　　　<value>/opt/software/hadoop-2.7.7/tmp</value>

　　　　　　</property>

　　　　</configuration>

　　3.hdfs-site.xml

　　　　<configuration>

　　　　　　<!--指定HDFS副本的数量-->

　　　　　　<property>

　　　　　　　　<name>dfs.replication</name>

　　　　　　　　<value>1</value>

　　　　　　</property>

　　　　　　

　　　　　　<property>

　　　　　　　　<name>dfs.permissions</name>

　　　　　　　　<value>false</value>

　　　　　　</property>

　　　　</configuration>

　　4.mapred-site.xml

　　　　<configuration>

　　　　　　<!--指定mr运行在yarn上-->

　　　　　　<property>

　　　　　　　　<name>mapreduce.framework.name</name>

　　　　　　　　<value>yarn</value>

　　　　　　</property>

　　　　</configuration>

　　5.yarn-site.xml

　　　　<configuration>

　　　　　　<!--指定yarn的ResourceManager的地址-->

　　　　　　<property>

　　　　　　　　<name>yarn.resourcemanager.hostname</name>

　　　　　　　　<value>主机名</value>

　　　　　　</property>

　　　　　　<!--指定reduce获取数据的方式-->

　　　　　　<property>

　　　　　　　　<name>yarn.nodemanager.aux-services</name>

　　　　　　　　<value>mapreduce_shuffle</value>

　　　　　　</property>

　　　　</configuration>

　　5.slaves

　　　　主机名

5.给hadoop配置环境变量

vim /etc/profile

　　JAVA_HOME=/opt/software/jdk1.8

　　HADOOP_HOME=/opt/software/hadoop-2.7.7

　　PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　

　　source /etc/profile

6.修改主机映射

vim /etc/hosts

　　192.168.2.121　　主机名

7.格式化文件系统

hadoop namenode -format

8.关闭安全相关

systemctl stop firewalld

systemctl disable firewalld    //关闭防火墙

vim /etc/selinux/config

SELINUX=disabled

systemctl stop NetworkManager

systemctl disable NetworkManager

9.启动hadoop服务

start-all.sh　　　　　　　　　　　　//启动所有

stop-all.sh(关闭hadoop)

hadoop-daemon.sh start namenode　　//启动NameNode

hadoop-daemon.sh start datanode    //启动DataNode

yarn-daemon.sh start resourcemanager　　//启动ResourceManager

yarn-daemon.sh start nodemanager　　　　//启动NodeManager

10.WEB端查看

http://192.168.2.121:50070        //查看NameNode的状态

http://192.168.2.121:50075        //查看DataNode的状态

http://192168.2.121:50090        //查看SecondaryNameNode的状态

11.HDFS的一些方法

1.创建文件

　　hadoop fs -mkdir -p /user/upload
2.上传文件
　　hadoop fs -put 需上传的文件路径 /user/upload
3.下载文件
　　hadoop fs -get 需下载的文件路径
4.查看文件
　　hadoop fs -ls 路径
4.删除文件
　　hadoop fs -rm 路径

注意事项：

1.多次使用hadoop namenode -format格式化时会造成spaceID不一致，启动不了datanode节点
解决方案：
　　1.停止集群
　　　　stop-all.sh
　　2.删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件夹)下面的所有数据
　　　　rm -rf tmp
　　3.重新格式化namenode
　　　　hdfs namenode -format　　　　或者　　　　hadoop namenode -format
　　4.重新启动hadoop集群
　　　　start-all.sh

巴特西

01初步启动Hadoop服务

最新文章

热门文章