spark on yarn 无法提交任务问题
2024-10-18 02:00:32
java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
spark任务提交出错。
原因：
spark-2.0后jersey升级到了ver2.x版本，但实际使用时还需要1.x。导致报错。
解决办法：利用maven或sbt进行打包，包含jersey依赖。得到jersey-bundle-1.17.1.jar
将jersey-bundle-1.17.1.jar加入$SPARK_HOME/jars目录，重启spark即可。
若完成拷贝后第一次启动错误依旧，则可以在spark-submit增加--jars参数，加入jersey-bundle-1.17.1.jar路径。以后就不需要了。
或者重新载入Spark的环境变量，进行依赖缓存刷新，亦可解决问题。
结论：
1、当前spark开发趋于稳定，但依然有众多遗留问题，多留意版本变更和更新日志，可及时得到信息更新。
2、spark目录下的jars依赖并不是实时更新，发生变动后，需要重新载入。
3、spark-env中SPARK_CLASSPATH变量，在spark1.0版本中使用，但在2.x版本已被弃用。虽然有效但可以通过其他多种方式进行配置。extra-classpath或者jars或者conf配置。
最新文章
- IO流基本操作
- VS2010+C#+EmguCV 配置详解
- C++ 构造函数、析构函数、拷贝构造、赋值运算符
- Fiddler-010-网络延时应用小技巧-模拟低网速环境
- [ACM_模拟][ACM_数学] LA 2995 Image Is Everything [由6个视图计算立方体最大体积]
- js鼠标事件、键盘事件实例代码
- (转).NET代码混淆实践
- 【转】生产环境MySQL Server核心参数的配置
- hdu2066一个人的旅行(dijkstra)
- thinkphp5.0 自动加载
- iOS Password AutoFill开发指南
- loc iloc函数的区别
- HTML如何实现斜体字
- [转]Oracle left join \ right join
- CSS —— 选择器
- 《Windows核心编程》第3章——深入理解handle
- 解决Viewpager满屏不能自适应填充内容的三种办法
- [BZOJ3295][Cqoi2011]动态逆序对 CDQ分治&树套树
- [BZOJ]BST again
- 浅析ProcessBuilder