自己在路径访问明细表开发时，写的sql如下

SELECT

 guid,

 sessionid,

 event['url'] as page,

 `timestamp` as ts,

 row_number() over(PARTITION BY guid,sessionid ORDER BY `timestamp`) AS stepno,

 lag(event['url'],1,null) over(partition by guid,sessionid order by `timestamp`) AS referral,

 lead(`timestamp`,1,null) over(partition by guid,sessionid order by `timestamp`) -`timestamp` AS stay_time

FROM DWD_APL_TFC_DTL WHERE dt='2020-05-07'

limit 10;

在hive中执行时，一直报错，查看hive日志，其报如下错误

通过查看其它的日志内容，发现map端是没有问题的，再结合上面org.apache.hadoop.hive.ql.metadata.HiveException: Internal Error: cannot generate all output rows for a Partition问题，猜测应该是数据倾斜的问题，通过观察自己的数据，发现取出的

event['url']会存在null的情况，为了证实确实是null值过多造成数据倾斜的情况，于是利用sql语句去查询确实是null值过多，被分配到一个分区。找到问题所在就好办了，由于业务允许，自己直接将值为null的值过滤掉，然后就没报错了。

最新文章

  1. elasticsearch 跨网段组集群
  2. #!--->hashbang技术
  3. 计划任务命令crontab、at
  4. WP8.1和Win8.1的不同之处
  5. 理解 auto_ptr<T>
  6. 来更新一篇blog吧
  7. LoadRunner如何在注册业务脚本中设置参数化唯一性
  8. JS Encoding and Decoding
  9. Spring该讲座
  10. input事件中文触发多次问题研究
  11. 2017-07-05 (whereis which find)
  12. My97 DatePicker普通调用
  13. js回顾（DOM中标签的CRUD，表格等）
  14. MySQL高可用架构之MHA 原理与实践
  15. 团队项目alpha冲刺
  16. JS的局部变量和全局变量
  17. 第一阶段——站立会议总结DAY09
  18. MFC如何制作字体选择对话框
  19. ATL控件签名之后页面还提示“在此页面上的Activex控件和本页上的其他部分及交互可能不安全”
  20. MongoTemplate基本操作

热门文章

  1. 集合栈 牛客网 程序员面试金典 C++ Python
  2. 链式A+B 牛客网 程序员面试金典 C++ Python
  3. Python 语法错误 except Exception, e: ^ SyntaxError: invalid syntax
  4. Luogu P3758 [TJOI2017]可乐 | 矩阵乘法
  5. java 垃圾回收及内存分配策略
  6. Linux网卡bond模式
  7. APP自动化环境搭建之appium工具介绍(二)
  8. springboot注解之容器功能
  9. 前端调试工具（DevTools）
  10. DOS常用基本命令