mapreduce的一些简单使用
2024-10-09 14:40:38
一、键值对RDD的创建
1、从文件中加载
/opt目录下创建wordky.txt文件。
wordky.txt文件中输入以下三行字符：
Hadoop is good
Spark is fast
Spark is better
使用map（）函数转换得到相应的键值对RDD并输出：
2、从列表中创建键值对RDD
二、常用的键值对转换操作
1、使用reduceByKey（func）统计每个单词的出现次数
2、使用groupByKey（）对具有相同键的值进行分组
3、使用keys返回所有的key
4、使用values返回所有的value值
5、使用sortByKey（）返回一个根据key排序的RDD
6、使用mapValues（func）
7、综合
8、数据读写
最新文章
- python基础——单元测试
- iOS 设置button文字过长而显示省略号的解决办法
- 【Leetcode】【Medium】Pow(x, n)
- 【Ext.Net学习笔记】04：Ext.Net中使用数据、Ext.Net Store的用法、Ext.Net ComboBox用法
- hdu 1023 卡特兰数+高精度
- php大力力 [007节]php静态表量
- iOS9.3 Could not find Developer Disk Image 真机调试错误解决办法
- MySQL Full Join的实现
- Web Builder
- GIT-windows系统下Gitblit的使用方式
- HDU 3567 Eight II（八数码 II）
- Python笔记 【无序】 【二】
- boost.lexical_cast 学习
- istream不是std的成员
- sql server 2016 附加 其它目录的数据库
- JSPatch解析
- JS-事件心得
- 机器学习----人脸对齐的算法-ASM.AAM..CLM.SDM
- 修改shell命令的history记录个数
- 使用Yii2中dropdownlist实现地区三级联动的例子