flatMap作用
2024-10-21 03:35:22
总结:1. map会将每一条输入映射为一个新对象。{苹果,梨子}.map(去皮) = {去皮苹果,去皮梨子} 其中: “去皮”函数的类型为:A => B
2.flatMap包含两个操作:会将每一个输入对象输入映射为一个新集合,然后把这些新集合连成一个大集合。 {苹果,梨子}.flatMap(切碎) = {苹果碎片1,苹果碎片2,梨子碎片1,梨子碎片2} 其中: “切碎”函数的类型为: A => List<B>
例如:spark单词计数
text_file = sc.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")
最新文章
- mysql 修改root密码
- Balance - 七夕悠然
- 【Android】Volley做网络请求的几种用法
- CAS 单点登录流程
- js基础知识(pomelo阅读)
- 6.cadence原理图下[原创]
- 关于诺顿身份安全2013独立版(Norton Identity Safe)
- 类似nike+、香蕉打卡的转场动画效果-b
- android 视频文件不能进行幻灯片的播放
- arguments对象
- NC和NO、耳机美标和欧标的区别
- pycharm 安装dilb模块
- PyCharm2019 激活码
- 16-Flink-Redis-Sink
- CentOS6.5安装Maven3.2.5
- 灵悟礼品网上专卖店——画出E-R图
- FPGA/SOPC学习转载
- android进入页面会定位到ListView问题解决方法
- [lottery anayliser]lottery anayliser
- 【eclipse】 怎么解决java.lang.NoClassDefFoundError错误
热门文章
- CODEVS——T 1269 匈牙利游戏 2012年CCC加拿大高中生信息学奥赛
- Linux下Makefile的automake生成全攻略
- poj 3311 Hie with the Pie (TSP问题)
- 关于Javakeywordsynchronized——单例模式的思考
- world 替换+正则表达式命令
- apiCloud中openFrameGroup传参
- [jzoj 5177] [NOIP2017提高组模拟6.28] TRAVEL 解题报告 (二分)
- SqlDependency C#代码监听数据库表的变化
- linux系统利用GPU跑数据(tensorflow)
- VB学习笔记(一)VB操作字符串