大数据学习——sparkRDD
https://www.cnblogs.com/qingyunzong/p/8899715.html
练习1:map、filter
//通过并行化生成rdd
val rdd1 = sc.parallelize(List(5, 6, 4, 7, 3, 8, 2, 9, 1, 10))
//对rdd1里的每一个元素乘2然后排序
val rdd2 = rdd1.map(_ * 2).sortBy(x => x, true)
//过滤出大于等于十的元素
val rdd3 = rdd2.filter(_ >= 10)
//将元素以数组的方式在客户端显示
rdd3.collect
练习2:flatmap
val rdd1 = sc.parallelize(Array("a b c", "d e f", "h i j"))
//将rdd1里面的每一个元素先切分在压平
val rdd2 = rdd1.flatMap(_.split(' '))
rdd2.collect
练习3:交集、并集
val rdd1 = sc.parallelize(List(5, 6, 4, 3))
val rdd2 = sc.parallelize(List(1, 2, 3, 4))
//求并集
val rdd3 = rdd1.union(rdd2)
//求交集
val rdd4 = rdd1.intersection(rdd2)
//去重
rdd3.distinct.collect
rdd4.collect
练习4:join、groupbykey
val rdd1 = sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2)))
val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 1), ("shuke", 2)))
//求jion
val rdd3 = rdd1.join(rdd2)
rdd3.collect
//求并集
val rdd4 = rdd1 union rdd2
//按key进行分组
rdd4.groupByKey
rdd4.collect
练习5:cogroup
val rdd1 = sc.parallelize(List(("tom", 1), ("tom", 2), ("jerry", 3), ("kitty", 2)))
val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 1), ("shuke", 2)))
//cogroup
val rdd3 = rdd1.cogroup(rdd2)
//注意cogroup与groupByKey的区别
rdd3.collect
练习6:reduce
val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5))
//reduce聚合
val rdd2 = rdd1.reduce(_ + _)
rdd2.collect
练习7:reducebykey、sort
val rdd1 = sc.parallelize(List(("tom", 1), ("jerry", 3), ("kitty", 2), ("shuke", 1)))
val rdd2 = sc.parallelize(List(("jerry", 2), ("tom", 3), ("shuke", 2), ("kitty", 5)))
val rdd3 = rdd1.union(rdd2)
//按key进行聚合
val rdd4 = rdd3.reduceByKey(_ + _)
rdd4.collect
//按value的降序排序
val rdd5 = rdd4.map(t => (t._2, t._1)).sortByKey(false).map(t => (t._2, t._1))
rdd5.collect
最新文章
- Quartz.net 开源job调度框架(二)----定点执行
- HTTP错误代码
- 【bzoj3675】 Apio2014—序列分割
- ORM:ODB安装使用过程
- SHELL 中的重定向和管道
- TCP/IP详解学习笔记(3)-- IP:网际协议
- 设计模式 State模式 机器的情况下用自己的主动性
- 绩效考核指标KPI 听课笔记
- 开发中常用的 $.extend 总结
- javascript DOM 学习总结 (1)
- 在linux环境下安装Node
- day62 中间件
- str、tuple、dict之间的相互转换
- Python选修课第一届Turtle绘图大赛田康林赵冰珂组
- 29:ISBN号码
- 在ROS中使用QT界面
- Ubuntu中的Gif动画录制工具
- Log4j2的基本使用
- openvswitch dpdk
- C++多态、虚函数、纯虚函数、抽象类
热门文章
- When you want to give up, remember why you started.
- python中__file__
- django之基于cookie和装饰器实现用户认证
- 会写网页 就会写手机APP #2-- 范例修正 , Hybrid Mobile Apps for ASP.NET Developers (Apache Cordova)
- SAP标准培训课程C4C10学习笔记(二)第二单元
- UVA 1613 K-Graph Oddity K度图着色 (构造)
- sort 与 sorted 区别:
- 解决Error";基础连接已经关闭: 未能为SSL/TLS 安全通道建立信任关系
- Object-C知识点 (五) NSObject的继承关系
- poj3335 Rotating Scoreboard