java实现spark常用算子之collect
2024-08-31 20:22:22
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function; import java.util.Arrays;
import java.util.List; /**
* collect 算子:
* 将集群中其他节点的数据拉去到driver所在的机器上
* 如果数据量比较大时,容易造成内存溢出
* foreach遍历数据是在从节点上执行,collect是在driver机器上执行
*/
public class CollectOpeartor { public static void main(String[] args){
SparkConf conf = new SparkConf().setMaster("local").setAppName("collect");
JavaSparkContext sc = new JavaSparkContext(conf);
List<String> names = Arrays.asList("w1","w2","w3","w4","w5"); JavaRDD<String> nameRdd = sc.parallelize(names); JavaRDD<String> tempRdd =nameRdd.map(new Function<String, String>() {
@Override
public String call(String s) throws Exception {
return "001"+s;
}
}); List<String> result = tempRdd.collect(); for(int i = 0; i < result.size(); i++){
System.err.println(result.get(i));
}
} }
微信扫描下图二维码加入博主知识星球,获取更多大数据、人工智能、算法等免费学习资料哦!
最新文章
- @Transient注解----Hiberbate
- 相克军_Oracle体系_随堂笔记005-Database buffer cache
- 多列布局——Columns
- windows API 开发飞机订票系统 图形化界面 (二)
- 用尽洪荒之力解决Apple Store ipv6审核通关---linux服务器支持ipv6
- JSP重定向传递参数
- spark-submit工具参数说明
- Excel有用的宏
- Jquery去除从数据库中查询到的内容含有的p标签
- C++入门篇十三
- ArrayList循环遍历并删除元素的常见陷阱
- Cocos Creator 橡皮差(刮刮卡)功能(转)
- poj-1657 Distance on Chessboard
- tornado输入-get_query_argument()等 笔记
- e587. Filling Basic Shapes
- 上手 Kubernetes
- avalonJS-源码阅读(二)
- ballerina 学习二十三 扩展ballerina
- reifiable type与raw type
- Easy Summation