Hadoop安装和基本单机部署
2024-09-04 10:41:59
下载安装
# 下载
$ cd /usr/local
$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
# 解压安装包
$ tar -zxvf hadoop-2.9.2.tar.gz && rm hadoop-2.9.2.tar.gz
# 编辑环境变量
$ vim ~/.bashrc
# 添加如下两行
export HADOOP_HOME=/usr/local/hadoop-2.9.2.tar.gz
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
# 使环境变量生效
$ source ~/.bashrc
本地SSH工具配置
# 安装ssh工具
$ sudo apt-get install ssh
$ sudo apt-get install rsync
# 运行失败, 需先生成并写入本地的id_rsa.put到已授权的keys中
$ ssh localhost
# 生成ssh key
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 添加本地的pub key到授权keys中
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 提升下权限
$ chmod 0600 ~/.ssh/authorized_keys
# 再次尝试可运行成功, 如果不行删掉~/.ssh/known_knows重试
$ ssh localhost
启动HDFS前配置
# etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
# etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
启动HDFS文件系统
$ bin/hdfs namenode -format
# 启动hdfs中的NameNode和DataNode, 此时可在host:8088中进行访问
$ start-dfs.sh
# 验证是否成功可通过jps命令
$ jps
19441 Jps
18946 NameNode
19321 SecondaryNameNode
19084 DataNode
5710 jar
# 关闭hdfs
$ stop-dfs.sh
单节点上的YARN
# etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
# etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动关闭
$ start-yarn.sh
$ stop-yarn.sh
最新文章
- AMD and CMD are dead之KMDjs集成Blob一键下载全部build包
- maven archetype生成自定义项目原型(模板)
- OData 带更新的实例,并能取得元数据格式类型
- Leetcode 35 Search Insert Position 二分查找(二分下标)
- [转]Ubuntu 16.04建议安装
- [已解决] java.net.ConnectException: Connection refused: no further information
- DB2 UDB DBA 核对清单
- LeetCode—— Median of Two Sorted Arrays
- Android 和iOS 创建本地通知
- lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02
- JSON对象与JSON数组的长度和遍历方法
- 完整的多项匹配tomcat access日志的正则
- 配置基于NotePad++工具下的C#开发环境
- 中文字符集编码Unicode ,gb2312 , cp936 ,GBK,GB18030
- Cocos2D-X屏幕适配新解
- 2019-04-29 EasyWeb下配置Atomikos+SQLServer分布式数据源
- 1.Docker简介【Docker每天5分钟】
- 数据接口测试工具 Postman 介绍
- c#连接db2数据库
- listview 异步加载图片并防止错位