Hadoop 3.1.0 在 Ubuntu 16.04 上安装时遇到的问题
2024-08-30 08:51:07
1、Hadoop 安装 pdsh localhost: Connection refused
Hadoop安装过程中使用
$ sbin/start-dfs.sh
启动节点时,发生错误提示:
pdsh@xxx: localhost: connect: Connection refused
解决办法:
其原因是 pdsh 默认采用的是rsh登录,修改成ssh登录即可,可以通过在环境变量 /etc/profile 里加入:
export PDSH_RCMD_TYPE=ssh
然后再执行 source /etc/profile 使修改生效,再启动查看即可看到hdfs服务可以启动。
2、执行 sbin/start-dfs.sh 时出现 “ ERROR: Attempting to operate on hdfs namenode as root ” 等错误
如下:
[root@server1 hadoop-3.1.]# sbin/start-dfs.sh
Starting namenodes on [server1]
ERROR: Attempting to operate on hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.
Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [server1]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
-- ::, WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决办法:
在 start-dfs.sh 和 stop-dfs.sh 两个文件中添加下面的配置参数:
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
3、在使用问题2中解决方案后,可能会遇到 “WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.” 问题
解决方法:
在上面 sbin/start-dfs.sh 和 sbin/stop-dfs.sh 文件中,将
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
改为:
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
这应该是 Hadoop 版本不同导致的问题。
4、Hadoop 安装后,不能使用浏览器登陆查看
解决方法:
原因很可能是被官方文档中的安装说明误导了,官方文档中是:
Browse the web interface for the NameNode; by default it is available at:
NameNode - http://localhost:50070/
但官方文档是基于 hadoop-2.9.1 版本介绍的,而在 Hadoop-3.1.0 版本中需要登陆的 http 地址为:
http://localhost:9870/
或者:
http://10.10.10.1:9870 (可能有问题)
5、hadoop :mkdir: 'input': No such file or directory
在执行 bin/hadoop dfs -mkdir input 时,发生错误:
hadoop :mkdir: 'input': No such file or directory
解决方法:
这个问题是由于 Hadoop 版本更新改变造成的,上面的命令适用于 Hadoop-2.x 以前的版本,hadoop-3.1.0 版本中已经将命令改成了:
bin/hdfs dfs -mkdir -p ..
最新文章
- SpringMVC后台接收list类型的数据的实现方式
- Android笔记:获取屏幕信息
- Android EditText组件drawableLeft属性设置的图片和hint设置的文字之间的距离
- 菜鸟学Windows Phone 8开发(1)——创建第一个应用程序
- apply,call,bind的区别
- Mybatis各种模糊查询
- awk 传入外部参数
- HDU2896+AC自动机
- http://www.cnblogs.com/youfan/articles/3216816.html
- EntityFramework1
- 浅谈Oracle数据库性能优化的目标
- 【STL】reverse函数用法
- Html Mailto标签详细使用方法
- 【NOIP2012】开车旅行(倍增)
- Active Record Query Interface 数据查询接口(界面) 看到第8节。
- Linux命令 ls 和 ll 的使用方法与基本区别
- 实现自己的HashMap
- 设计模式のTemplatePattern(模板模式)----行为模式
- EXEC sp_executesql with multiple parameters
- SEO高级技巧
热门文章
- php面试相关
- Java第11次作业:什么是继承?继承的好处?什么是覆写?super()?构造代码块?子父类初始化顺序? 抽象类能用final声明吗?final关键字声明类 方法 变量以及全局常量?抽象类的构造方法?
- ios sinaweibo 客户端(二)
- VueJS坎坷之路111---_self.$scopedSlots.default is not a function
- 【转】VS2010下MFC的串口编程
- NOIP模拟赛 密室逃脱
- python--以1-31的数字作为结尾的列表?论英文好的重要性!
- 模拟发送http请求的工具推荐
- python操作日志的封装
- stm32L0工程建立(HAL+IAR,无cubemx)