Spark基础知识汇总
2024-08-28 12:42:08
2，wordcount：
val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(' ')).map((_, )).reduceByKey(_ + _).sortByKey().collect
val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(' ')).map((_, )).reduceByKey(_ + _).sortByKey().saveAsTextFile("/user/s-44/result.txt")
下面这个是按value排序
val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(' ')).map((_, )).reduceByKey(_ + _).map(_.swap).sortByKey().collect
val wordcount = sc.textFile("/user/s-44/wordcount.txt").flatMap(_.split(' ')).map((_, )).reduceByKey(_ + _).map(_.swap).sortByKey().saveAsTextFile("/user/s-44/result.txt")
1，集合变成rdd
val rdd = sc.parallelize(List(1, 2, 3, 4, 5))
最新文章
- sublime Text3及其插件的使用
- 【记录】SqlBulkCopy 跨数据库，表自定义导入
- [GodLove]Wine93 Tarining Round #10
- Mysql 慢查询和慢查询日志分析
- cocos2d-x内存管理（见解）
- Unity3d 防止内存修改工具的小方法
- js 的闭包
- 浅谈压缩感知（三十一）：压缩感知重构算法之定点连续法FPC
- XML节点名称中有小数点处理（deal with dot）导致使用xpath时报错解决方法
- 安装和卸载windows程序
- oracle数据库sql的基本使用
- c#自动更新+安装程序的制作
- javacoo/CowSwing 丑牛迷你采集器
- 【性能】web提升性能的小总结
- 201521123103 《Java学习笔记》 第十一周学习总结
- 转载 Java设计模式
- (网页)jQuery的时间datetime控件在AngularJs中使用实例
- Python4 - 文件操作
- jquery接触初级----jquery 选择器
- 配置go语言编辑环境 - goland