mr的logs的查看
在map或者reduce函数中使用System.out.println打印的信息沾满查看呢？
步骤1：启动history server
/usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver
步骤2：使用http://hadoop26:19888/jobhistory来查看作业log
意外情况：
如果在查看日志的时候，发生了下面的情况
在yarn-default.xml中有这样的一个配置
<property>
<description>Whether to enable log aggregation. Log aggregation collects
each container's logs and moves these logs onto a file-system, for e.g.
HDFS, after the application completes. Users can configure the
"yarn.nodemanager.remote-app-log-dir" and
"yarn.nodemanager.remote-app-log-dir-suffix" properties to determine
where these logs are moved to. Users can access the logs via the
Application Timeline Server.
</description>
<name>yarn.log-aggregation-enable</name>
<value>false</value>
</property>
我们需要把这个值改为true，也就是在yarn-site.xml中再配置一遍
配置完成后重启historyserver即可。
现在来看看logs的输出吧：
最新文章
- 无法在“EntityFramework”已存在的情况下创建影像复制该文件的解决方案
- knn原理与实践
- Linux/Unix双机建立信任教程
- DFS & BFS
- JavaScript权威指南 第二章 词法结构
- 随便谈谈alphago与人机大战
- Socket称"套接字"
- Java中各种排序算法
- C#简单多线程使用（同步和优先权）
- Hibernate插入数据效率测试
- 开源网络库的分析libev libevent nginx ....
- 使用Understand获取某个函数（方法）的静态度量指标
- Web Api初试
- 用css属性画出一棵圣诞树
- ansible-playbook相关
- [Codeforces 750E]New Year and Old Subsequence
- HTTP之状态码
- rabbitmq安装及基本操作（含集群配置）
- linux02
- myEtherWallet在线钱包的使用