HIVE-如何查看执行日志
2024-08-28 10:50:04
HIVE既然是运行在hadoop上,最后又被翻译为MapReduce程序,通过yarn来执行。所以我们如果想解决HIVE中出现的错误,需要分成几个过程
- HIVE自身翻译成为MR之前的解析错误
- Hadoop文件系统的错误
- YARN调度过程中的错误
2,3过程中的错误,请参考hadoop相关的教程,这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程出问题之后采取进一步分析。
1.HIVE默认log文件保存的地方
/tmp/<user.name>文件夹的hive.log文件中,全路径就是/tmp/当前用户名/hive.log。
2.如何定位当前job的log信息
每个job执行后都会产生Query ID,在hive.log中搜索关键字。确认时间一致后,之后的log就是当前job的信息。
Query ID = root_20171108160217_d51b321f-1902-4353-ae5b-2ebe5227f82f
3,如何查看更多的错误信息
在默认的日志级别情况下,是不能将DEBUG信息输出,这样一来出现的各种详细的错误信息都是不能数错的。但是我们可以通过以下两种方式修改log4j输出的日志级别,从而利用这些调试日志进行错误定位,具体做法如下:
$ hive --hiveconf hive.root.logger=DEBUG,console (hive启动时用该命令替代)
或者在${HIVE_HOME}/conf/hive-log4j.properties文件中找到hive.root.logger属性,并将其修改为下面的设置
hive.root.logger=DEBUG,console
具体如何查询,就看自己了。
最新文章
- 基于Netty打造RPC服务器设计经验谈
- 如何配置IIS处理多并发请求及存在的问题
- [python]CentOS 6下安装Python2.7
- Swagger - 前后端分离后的契约
- 微信公共平台开发-(.net实现)1--成为开发者
- SHA-1 加密算法破解现已只需要 10 天
- Cocos2d-X3.0 刨根问底(五)----- Node类及显示对象列表源码分析
- 转载:Javascript作用域原理
- EntityFramework 4使用存储过程分页
- activemq 异步和同步接收
- UML的基本图(一)
- 2016青岛网络赛 Sort
- 用HTTP状态码实现提交表单后刷新页面不重复提交
- Java 疑问自问自答
- Android常规布局方式和方法
- 【XSY2534】【CF835D】Palindromic characteristics 回文自动机
- 净资产收益率ROE连续3年超过15%的股票排名
- CSS实现垂直居中的5种思路
- Luogu2264 树上游戏(点分治)
- Android BLE蓝牙开发-读写数据 获取UUID