java实现spark常用算子之count
2024-10-07 01:29:34
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext; import java.util.Arrays;
import java.util.List; /**
* count 算子:
* 统计一下RDD中有多少数据量
*/
public class CountOperator {
public static void main(String[] args) {
SparkConf conf =new SparkConf().setMaster("local").setAppName("count");
JavaSparkContext sc = new JavaSparkContext(conf);
List<String> names= Arrays.asList("w1","w2","w3","w4");
JavaRDD<String> nameRdd = sc.parallelize(names);
long dataNum = nameRdd.count();
System.err.println(dataNum); }
}
微信扫描下图二维码加入博主知识星球,获取更多大数据、人工智能、算法等免费学习资料哦!
最新文章
- struts2中如何使用主题theme
- (IOS)BaiduFM 程序分析
- 如何解决requireJs的模块加载超时
- 简洁既是美—用while语句复制数组
- onethink常用标签的使用示例
- Android小案例——简单图片浏览器
- ylbtech-Unitity-CS:Generics
- jfinal取消默认跳转到view.jsp页面的方法
- 关于java的上转型对象
- mysql grant授权
- linux下ssh端口的修改和登录
- 201521123029《Java程序设计》第十一周学习总结
- 在azure中建立DDC集群
- 【IOS 开发】Objective-C Foundation 框架 -- 字符串 | 日期 | 对象复制 | NSArray | NSSet | NSDictionary | 谓词
- selenium 打开新标签页(非窗口)
- urllib3
- Maven install报MojoFailureException
- ICANN认证注册商小全 英、德、法
- python_basic
- thymeleaf:访问静态方法
热门文章
- Log4j rootLogger根配置以及4种日志级别
- Mac 配置adb环境变量(为了开Appium)亲测
- MessageBox 弹框
- 阶段3 3.SpringMVC&#183;_07.SSM整合案例_09.ssm整合之Spring整合MyBatis框架配置事务
- linux常用命令(19)find xargs
- Windows 2012 英文版系统安装中文语言包及时间格式设置
- AES256位加密
- 面向对象编程(oop)的变迁
- 14 count(*)
- 【HANA系列】SAP HANA SQL获取某字符串的位置