spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem
2024-10-08 22:46:19
序列化问题多事rdd遍历过程中使用了没有序列化的对象。
1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。
2.常量定义里包含了未序列化对象 ,提出去吧
如下常量要放到main里,不能放到rdd的遍历中。
val HBASE_TABLE = sparkModel.getUserParamsVal("hbbase_table", "default_table_name")
最新文章
- javascript 设计模式-----享元模式
- CSS中margin与padding的区别
- KO+bootstrap 模态窗全选绑定
- PAT乙级 1024. 科学计数法 (20)
- MYSQL基础笔记(二)-SQL基本操作
- MT9M021/MT9M031总结
- JTAG应该如何接线
- 记第五届山东省ACM程序设计比赛——遗憾并非遗憾
- VCC、 VDD、VEE、VSS 电压理解
- Message高级特性 &; 内嵌Jetty实现文件服务器
- 欢迎观临,这里藏着个秘密,神秘摩斯重着盛装依旧精彩,正如期待一个有趣的灵魂,轻启the key in my hands,也许是命中注定,我们的故事始于你生日的那天,每一句都动人心弦
- sk_buff Structure
- 【fetch跨域请求】cors
- poj3468 线段树的懒惰标记
- Spark2.3(四十二):Spark Streaming和Spark Structured Streaming更新broadcast总结(二)
- Jenkins Post Build网址
- 使用MATLAB对数据进行位操作以及RGB图片显示
- [android] 轮播图-无限循环
- linux fdisk 添加硬盘,分区,挂载,永久挂载
- Docker Compose practice