Spark on Yarn出现hadoop.compression.lzo.LzoCodec not found问题发现及解决
2024-10-20 11:27:32
问题描述：
spark.SparkContext: Created broadcast 0 from textFile at WordCount.scala:37
Exception in thread "main" java.lang.RuntimeException: Error in configuring object
.........
//往下N多行
Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2499)
问题原因：
Spark on Yarn会默认使用Hadoop集群配置文件设置编码方式，但是Spark在自己的spark-yarn/jars 包里面没有找到支持lzo压缩的jar包，所以报错。
问题解决方案：
解决方案一：拷贝lzo的包到/opt/module/spark-yarn/jars目录
cp /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-lzo-0.4.20.jar /opt/module/spark-yarn/jars
解决方案二：spark-submit提交参数指定
bin/spark-submit --master yarn --name wbwb \
--jars depend/hadoop-lzo-0.4.20.jar \
--class com.atguigu.sparksql.sparksql_hive_sql_myUDAF WordCount-jar-with-dependencies.jar
最新文章
- 将MPM雪模拟移植到Maya
- PHP的pcntl多进程
- CURL in windows
- ios开发学习笔记（这里一定有你想要的东西，全部免费）
- Ubuntu下shell脚本运行异常：bash和dash的区别
- UNIX环境高级编程笔记之文件I/O
- Win7 Qt4.8.5+QtCreator2.8.0+mingw配置过程
- vector list array deque
- spring mvc velocity多视图
- hdu 1181 变形课（dfs）
- Linux报too many open files的解决方案
- C/C++中static关键字的用法
- JS弹窗带遮蔽的功能
- java1.8--1.8入门介绍
- 获取上一行记录lag
- PHP7语法知识（二）：流程控制语句、函数、字符串、数组
- WPF 绘制曲线图
- 深入解析 composer 的自动加载原理 （转）
- 用VisualAssist在Visual Studio上设置快捷键快速编程
- 【算法】N Queens Problem