For循环中不可以嵌套RDD操作
2024-09-04 14:02:56
今天犯了一个致命理解错误,Spark中的RDD Map操作只是一个计算式的传递,并不是Action,也就是在for循环中不会产生真正的计算。
因此,如果for循环中出现了RDD的Map类似操作,都会引起异常,例如栈溢出等等,属于相互引用错误。
把我的错误代码贴在下面,加深理解。
List<String> list = new ArrayList<>();
list.add("OK1"); JavaRDD<String> temp = jsc.parallelize(list);
for (int i=0; i<num; i++) {
for (int j=i+1; j<num; j++) {
List<String> list2 = new ArrayList<>();
list2.add("OK2");
temp = temp.union(jsc.parallelize(list2));
}
}
List<String> list3 = temp.collect();
最新文章
- POSTMAN发起请求收到乱码 http 406错误
- 【2016-10-11】【坚持学习】【Day2】【代理模式】
- Win10删除 6个多余文件夹
- 解决activity加上Theme.Translucent.NoTitleBar 页面跳转显示桌面
- 【现代程序设计】homework-09
- [转]分布式文件系统FastDFS架构剖析
- JS对select动态添加options操作[IE&;FireFox兼容]
- phantomjs使用说明
- Photoshop CS4 启动弹出许可协议
- C++ Vector
- 进程控制之更改用户ID和组ID
- Spring3.2新注解@ControllerAdvice
- cpu-z如何查看电脑配置数据方法介绍
- 【2016北京集训测试赛(二)】 thr (树形DP)
- Flex 右键菜单控制
- captcha.js一个生成验证码的插件,使用js和canvas生成
- python之旅七【第七篇】面向对象之类成员
- you-get 2017-06-02
- assert BOOST_ASSERT的坑
- Java虚拟机 垃圾收集器与内存分配策略
热门文章
- 用Navicat建表的字段编码问题
- linux文件系统(ext2)
- eclipse安装问题
- WCF 透明代理
- 算法(2) Find All Numbers Disappeared in an Array
- 创建一个doc对象时候 如果读取了一个已存在的xml对象时候 该xml对象的结构已存在doc中 当改变该doc结构时候 不需要创建新的doc对象
- 微服务日志监控与查询logstash + kafka + elasticsearch
- 【bzoj3626】[LNOI2014]LCA 树链剖分+线段树
- P1531 I Hate It
- Eclipse打不开,闪退