总结:1. map会将每一条输入映射为一个新对象。{苹果,梨子}.map(去皮) = {去皮苹果,去皮梨子} 其中: “去皮”函数的类型为:A => B

2.flatMap包含两个操作:会将每一个输入对象输入映射为一个新集合,然后把这些新集合连成一个大集合。 {苹果,梨子}.flatMap(切碎) = {苹果碎片1,苹果碎片2,梨子碎片1,梨子碎片2} 其中: “切碎”函数的类型为: A => List<B>

例如:spark单词计数

 
text_file = sc.textFile("hdfs://...")
counts = text_file.flatMap(lambda line: line.split(" ")) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("hdfs://...")

最新文章

  1. mysql 修改root密码
  2. Balance - 七夕悠然
  3. 【Android】Volley做网络请求的几种用法
  4. CAS 单点登录流程
  5. js基础知识(pomelo阅读)
  6. 6.cadence原理图下[原创]
  7. 关于诺顿身份安全2013独立版(Norton Identity Safe)
  8. 类似nike+、香蕉打卡的转场动画效果-b
  9. android 视频文件不能进行幻灯片的播放
  10. arguments对象
  11. NC和NO、耳机美标和欧标的区别
  12. pycharm 安装dilb模块
  13. PyCharm2019 激活码
  14. 16-Flink-Redis-Sink
  15. CentOS6.5安装Maven3.2.5
  16. 灵悟礼品网上专卖店——画出E-R图
  17. FPGA/SOPC学习转载
  18. android进入页面会定位到ListView问题解决方法
  19. [lottery anayliser]lottery anayliser
  20. 【eclipse】 怎么解决java.lang.NoClassDefFoundError错误

热门文章

  1. CODEVS——T 1269 匈牙利游戏 2012年CCC加拿大高中生信息学奥赛
  2. Linux下Makefile的automake生成全攻略
  3. poj 3311 Hie with the Pie (TSP问题)
  4. 关于Javakeywordsynchronized——单例模式的思考
  5. world 替换+正则表达式命令
  6. apiCloud中openFrameGroup传参
  7. [jzoj 5177] [NOIP2017提高组模拟6.28] TRAVEL 解题报告 (二分)
  8. SqlDependency C#代码监听数据库表的变化
  9. linux系统利用GPU跑数据(tensorflow)
  10. VB学习笔记(一)VB操作字符串