【原创】大数据基础之Oozie（4）oozie使用的spark版本升级
2024-09-02 09:30:03
oozie默认使用的spark是1.6，一直没有升级，如果想用最新的2.4，需要自己手工升级
首先看当前使用的spark版本的jar
# oozie admin -oozie http://$oozie_server:11000/oozie -shareliblist
# oozie admin -oozie http://$oozie_server:11000/oozie -shareliblist spark
升级：
1 手工修改hdfs上的sharelib目录，同时还要拷贝原有的oozie-sharelib-spark.jar
# hdfs dfs -mv /user/oozie/share/lib/lib_20190424195113/spark /user/oozie/share/lib/lib_20190424195113/spark1
# hdfs dfs -mkdir /user/oozie/share/lib/lib_20190424195113/spark
# hdfs dfs -copyFromLocal $SPARK_HOME/jars/* /user/oozie/share/lib/lib_20190424195113/spark/
# hdfs dfs -copyFromLocal $SPARK_HOME/python/lib/*.zip /user/oozie/share/lib/lib_20190424195113/spark/ # hdfs dfs -cp /user/oozie/share/lib/lib_20190424195113/spark1/oozie-sharelib-spark.jar /user/oozie/share/lib/lib_20190424195113/spark/
2 调用oozie的sharelibupdate命令
# oozie admin -oozie http://$oozie_server:11000/oozie -sharelibupdate
3 确认spark版本是否更新
# oozie admin -oozie http://$oozie_server:11000/oozie -shareliblist spark
最新文章
- 网络之OSI&&TCP/IP比较
- Python进阶之“属性（property）”详解
- linux C(hello world)三个数最大和三个数最新
- iOS KVO的原理
- iOS开发——UI篇OC篇&UIStackView详解
- DevExpress 用户控件 分页（下）
- Python 数据分析（一） 本实验将学习 pandas 基础，数据加载、存储与文件格式，数据规整化，绘图和可视化的知识
- GPU 编程入门到精通（五）之 GPU 程序优化进阶
- Centos6.4 NFS的安装与配置
- `DevOps`相关知识搜集
- python 开发之路 -MySQL
- Go/Python/Erlang编程语言对比分析及示例
- 第30月第13天 supportedInterfaceOrientationsForWindow旋转
- indexOf与includes的比较
- awk对列/行进行统计求和【转】
- 【java多线程】java8的流操作api和fork/join框架
- 如何使用queue_delayed_work函数
- 微信小程序之跨界面传参
- Oracle体系结构之数据库启动的不同状态
- 《Real Time Rendering》第四章 图形变换