hadoop 3.x 配置历史服务器
2024-10-02 00:35:47
修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主机名为你自己的主机或IP,尽量不要使用中文注释)
<!--history address-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop002:10020</value>
</property>
<!--history web address-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop002:19888</value>
</property>
依次执行start-dfs.sh,start-yarn.sh后jps查看namenode,datanode等是否启动,成功启动后启动history服务进程,执行mr-jobhistory-daemon.sh start historyserver,之后jps查看进程
(停止:mr-jobhistory-daemon.sh stop historyserver)
接下来执行MapReduce程序
hadoop fs -rm -r -f /usr/tele/hadoop/wcoutput
hadoop jar /opt/module/hadoop-3.1.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /usr/tele/hadoop/wcinput /usr/tele/hadoop/wcoutput
执行完毕后进入mapreduce管理界面(主机号/ip:8088),点击history
如果无法连接,可以把防火墙关闭,或者修改/etc/sysconfig/iptables,开放我们上面配置的19888端口
-I INPUT -m state --state NEW -m tcp -p tcp --dport 19888 -j ACCEPT
之后重启下防火墙服务sudo service iptables restart,此时就可以访问了
最新文章
- Qt里获取目录的一个另类方法
- linux cntlm代理的配置
- 常用chrome插件推荐
- POJ 3258 River Hopscotch
- Excel 生成sql语句
- Spring day01
- 从POI到O2O 看百度地图如何走出未来之路
- Liferay 6开发学习(二十六):数据库连接相关问题
- VB.NET 小程序 1
- C# static成员的构造顺序
- SSCTF Final PWN
- Ubuntu 环境安装整理
- IIS部署asp.net报404错误
- linux终奌站 信息 格式 更改 /etc/bashrc
- 201521123075 《Java程序设计》第11周学习总结
- JAVA未来前景还能持续多久
- 『Python』为什么调用函数会令引用计数+2
- redis持久化策略梳理及主从环境下的策略调整记录
- WPF获取当前用户控件的父级窗体
- [No0000118]SQL Server附加数据库拒绝访问解决方法汇总