MapPartition和Map的区别
2024-08-23 02:35:04
在Spark中有map和mapPartitions算子,处理数据上,有一些区别
主要区别:
map是对rdd中的每一个元素进行操作;
mapPartitions则是对rdd中的每个分区的迭代器进行操作
MapPartitions的优点:
如果是普通的map,比如一个partition中有1万条数据。ok,那么你的function要执行和计算1万次。
使用MapPartitions操作之后,一个task仅仅会执行一次function,function一次接收所有
的partition数据。只要执行一次就可以了,性能比较高。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元素创建一个链接而mapPartition为每个partition创建一个链接),则mapPartitions效率比map高的多。
的partition数据。只要执行一次就可以了,性能比较高。如果在map过程中需要频繁创建额外的对象(例如将rdd中的数据通过jdbc写入数据库,map需要为每个元素创建一个链接而mapPartition为每个partition创建一个链接),则mapPartitions效率比map高的多。
SparkSql或DataFrame默认会对程序进行mapPartition的优化。
MapPartitions的缺点:
如果是普通的map操作,一次function的执行就处理一条数据;那么如果内存不够用的情况下, 比如处理了1千条数据了,那么这个时候内存不够了,那么就可以将已经处理完的1千条数据从内存里面垃圾回收掉,或者用其他方法,腾出空间来吧。
所以说普通的map操作通常不会导致内存的OOM异常。
所以说普通的map操作通常不会导致内存的OOM异常。
但是MapPartitions操作,对于大量数据来说,比如甚至一个partition,100万数据,
一次传入一个function以后,那么可能一下子内存不够,但是又没有办法去腾出内存空间来,可能就OOM,内存溢出。
一次传入一个function以后,那么可能一下子内存不够,但是又没有办法去腾出内存空间来,可能就OOM,内存溢出。
实现将每个数字变成原来的2倍的功能
def main(args: Array[String]): Unit = { var conf = new SparkConf().setMaster("local[*]").setAppName("partitions")
var sc = new SparkContext(conf) println("1.map--------------------------------")
var aa = sc.parallelize(1 to 9, 3)
def doubleMap(a:Int) : (Int, Int) = { (a, a*2) }
val aa_res = aa.map(doubleMap)
println(aa.getNumPartitions)
println(aa_res.collect().mkString) println("2.mapPartitions-------------------")
val bb = sc.parallelize(1 to 9, 3)
def doubleMapPartition( iter : Iterator[Int]) : Iterator[ (Int, Int) ] = {
var res = List[(Int,Int)]()
while (iter.hasNext){
val cur = iter.next()
res .::= (cur, cur*2)
}
res.iterator
}
val bb_res = bb.mapPartitions(doubleMapPartition)
println(bb_res.collect().mkString) println("3.mapPartitions-------------------")
var cc = sc.makeRDD(1 to 5, 2)
var cc_ref = cc.mapPartitions( x => {
var result = List[Int]()
var i = 0
while(x.hasNext){
val cur = x.next()
result.::= (cur*2)
}
result.iterator
})
cc_ref.foreach(println)
}
运行结果:
1.map--------------------------------
3
(1,2)(2,4)(3,6)(4,8)(5,10)(6,12)(7,14)(8,16)(9,18) 2.mapPartitions-------------------
(3,6)(2,4)(1,2)(6,12)(5,10)(4,8)(9,18)(8,16)(7,14) 3.mapPartitions-------------------
4
2
10
8
6
最新文章
- 说说Java程序和数据库交互的乱码解决
- Mysql 选择合适的数据类型
- 安装SQL Server 2014
- window.opener调用父窗体方法的用法
- eclipse导入不到嵌套的项目
- 转:OK6410内存及启动流程
- 凌乱的yyy
- [转]“WARNING: soft rlimits too low” in MongoDB with Mac OS X
- JavaScript Modules
- jsp分页代码之pageUtil类
- 使WEBBROWSER 可编辑
- logo集锦
- ACdream1032 Component 树形DP
- EM实现
- Web前端框架与移动应用开发第七章:二
- Python3.6使用Pyqt5编写GUI程序
- Serial Wire Debug (SWD) Interface -- PSoc5
- 机器学习理论基础学习1——频率派 VS 贝叶斯派
- spring boot 多数据源 + 事务控制
- Ogre学习教程:Ogre1.8.1+VS2010环境配置(转)
热门文章
- 如何求出数组中最小(或者最大)的k个数(least k问题)
- Android程序项目结构(二)
- Oracle插入(insert into)
- Python基础 条件判断和循环
- 查询优化百万条数据量的MySQL表
- lrzsz Linux服务器Windows互传文件工具
- jQuery.validate.js表单验证插件
- 企业案例:查找当前目录下所有文件,并把文件中的https://www.cnblogs.com/zhaokang2019/字符串替换成https://www.cnblogs.com/guobaoyan2019/
- Redis高可用详解:持久化技术及方案选择 (推荐)--转载自编程迷思博客www.cnblogs.com/kismetv/p/8654978.html
- 解决「matplotlib 图例中文乱码」问题