[Stage 236:>                                                      (0 + 0) / 400]17/12/04 09:45:55 ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task serialization failed: java.lang.StackOverflowError

java.io.ObjectOutputStream$BlockDataOutputStream.write(ObjectOutputStream.java:1841)

java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1534)

java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)

java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)

java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)

java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)

java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)

java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)

java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)

java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)

java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)

java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)

java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)

java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)

java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)

java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)

java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)

java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)

java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)

java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)

java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)

java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)

java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)

java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)

java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)

java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:348)

scala.collection.immutable.$colon$colon.writeObject(List.scala:379)

sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source)

sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

java.lang.reflect.Method.invoke(Method.java:498)

栈溢出原因：由于ASL的迭代次数过多，DAG过深，导致RDD的lineage，栈溢出。

现有解决：1.迭代次数减少。

2.利用checkpoint？

参考：

1. 记一次spark mllib stackoverflow踩坑
2. 一个 KCore 算法引发的 StackOverflow 奇案
3. Spark出现java.lang.stackoverflowerror的解决方法
4. Spark sql解析异常java.lang.StackOverflowError处理
5. 由于长RDD谱系,Stackoverflow

其他：

1. spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable

最新文章

1. spring源码：BeanPostProcessor（li）
2. 论Pair的重要性
3. IOS比较常用的第三方组件及应用源代码（持续更新中）
4. Adobe AIR对本地文件(XML文件)的操作
5. HTTP 超时
6. 轻量型ORM框架Dapper的使用
7. python :eval将字符串转换成字典
8. C++程序中不同变量、函数在内存中内存中的分布情况
9. LCS最大公共子序列问题
10. ArcEngine开发中StartEditing和StartEditOperation的区别
11. django同时查询两张表的数据，合并检索对象返回
12. java String,StringBuffer和StringBulder学习笔记
13. GATT之Device information Service
14. uva 10870
15. 百钱买百鸡问题Java
16. 纯css美化下拉框、复选框以及单选框样式并用jquery获取到其被选中的val
17. Lab 11-2
18. Ubuntu下vim打开文件时，提示请按ENTER或其它命令继续
19. svn 更新
20. plsql 操纵表数据的2种方式

热门文章

1. D. Marcin and Training Camp
2. JS框架_(Vue.js)带有星期日期的数字时钟
3. WordPress过滤器(Filters)：apply_filters和add_filter
4. C++入门经典-例3.13-不加break的switch判断语句
5. 【转】diamond专题（四）—— 容灾机制
6. php 发送邮件（1）代码逻辑
7. ftp反向代理配置
8. @RequestMapping注解学习
9. vue组件化之模板优化及注册组件语法糖
10. puppeteer - 操作支付宝报“操作频繁”错误的思考