spark应用程序常见问题整理
1.executor lost /java oom
通常是由于单个task内存占用过多,可以观察是哪个阶段挂的,如果类似groupbykey,可以看看是否有数据倾斜现象
如果不是,可以repartition手动增加partitioin数,减少单个task的资源消耗
有cache操作,partition数需要调的更大
2.看不到log,可能是关闭了eventlog
3.hadoop慢节点,可以考虑配置推测执行,但是需要合理设置阈值
4.spark.max.creatFiles 1000
最后输出使用repartition ,限制一下文件数(在小文件的情况下,比如文件大小平均不到1m)
5.all master unresposive
spark-submit --class org.apache.spark.examples.SparkPi \
--driver-memory 4g\
--queue default\
--conf "spark.dynamicAllocation.minExecutors=10"
--conf "spark.dynamicAllocation.maxExecutors=40"
lib/spark-examples*.jar \#指定程序JAR的位置
6.historyserver查看
yarn log无法查看,没有开启日志聚集
7.程序有Bug或者spark-shell没有退出。手动kill
8.error while invoking rpchandler#receive
unread block data
driver内存不足导致
另外1.6 spark默认rpc方式是netty 不是akka
9.new SparkContext启动慢
driver内存小/queue没资源(会显示0/0)
10.NoRouteToHostException
网络问题,重试OK
11.error sending reponse
driver内存不足
12.程序调优
计算不平衡,内存不足(GC时间过长)
最新文章
- 2分钟在eclipse下使用SpringBoot搭建Spring MVC的WEB项目
- DNS域名解析服务器
- Win7/Win8/Win8.1/Win10下的DragEnter DragDrop事件不触发
- Java中将0x开头的十六进制字符串转换成十进制整数
- ibatis轻松入门
- MRP运算生成采购单时间的逻辑
- jQuery侧边栏固定
- 学习Slim Framework for PHP v3 ( 二)
- 【转】- 使用T4模板批量生成代码
- inno setup 打包
- 解决Xcode6.4安装插件后插件不能使用的问题
- 如何使用Excel和Word编辑和打印条形码
- hdu1059(多重背包)
- 已知直线上的两点 A(x1, y1), B(x2, y2) 和另外一点 C(x0, y0),求C点到直线的距离。
- Extjs的GridPanel分页前后台完整代码实例
- iOS开发--XMPPFramework--好友模块(四)
- MQTT入手笔记
- vue中@contextmenu在pc和mac中的区别
- HRY and codefire
- mutt+msmtp实现在shell环境中发送电子邮件