java实现spark常用算子之intersection
2024-08-31 21:48:05
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.VoidFunction; import java.util.Arrays;
import java.util.List; /**
* intersection 算子:
* 将两个RDD求交集
* 然后去重
*/
public class IntersectionOperator {
public static void main(String[] args) {
SparkConf conf = new SparkConf().setMaster("local").setAppName("intersection");
JavaSparkContext sc = new JavaSparkContext(conf);
List<String> list1 = Arrays.asList("w1","w2","w3");
JavaRDD<String> listRdd = sc.parallelize(list1);
List<String> list2 = Arrays.asList("w2","w3","w4");
JavaRDD<String> list2Rdd = sc.parallelize(list2); listRdd.intersection(list2Rdd).foreach(new VoidFunction<String>() {
@Override
public void call(String s) throws Exception {
System.err.println(s);
}
}); }
}
微信扫描下图二维码加入博主知识星球,获取更多大数据、人工智能、算法等免费学习资料哦!
最新文章
- 『.NET Core CLI工具文档』(六)dotnet 命令
- Task异步编程
- eclipse maven update error 解决方法
- The C Programming Language Exercise
- Xilinx的约束文件
- json转化为java实体
- 将Windows 7导航窗格中的收藏夹、库、家庭组、网络全部去掉
- Solr相关概念详解:SolrRequestHandler
- Science论文";Clustering by fast search and find of density peaks";学习笔记
- jna 使用实例,
- MyEclipse常用操作技巧
- 纯Html+Ajax和JSP两者的优缺点
- Linux操作系统Centos7.2版本搭建Apache+PHP+Mysql环境
- yii CMenu的配置(导航栏)
- Android 仿360桌面小人
- 关系型数据库工作原理-数据特征统计分析(翻译自Coding-Geek文章)
- C语言将字符串转json
- POJ 2184 Cow Exhibition (带负值的01背包)
- jquery.ajax与axios及定义拦截器
- cocos2d-x JS 加载播放Studio帧动画的两种方法