spark实现wordcount
2024-08-27 06:51:32
spark-shell --master yarn
sc:
val lineRDD=sc.textFile("/test/input/test")
lineRDD.collect().foreach(println)
val wordRDD = lineRDD
wordRDD.collect().foreach(println)
val wordcountRDD = wordRDD.map(x=>(x,1))
wordcountRDD.collect().foreach(println)
val resultRDD = wordcountRDD.reduceByKey((x,y)=>x+y)
resultRDD.collect().foreach(println)
val orderedRDD = resultRDD.sortByKey()
orderedRDD.collect().foreach(println)
最新文章
- linux上改变mysql数据文件的位置
- 嵌入式 hi3518平台以太网网络模块设计包括重连机制和网线检测机制
- C#实现汉字转换为拼音缩写的代码
- jquery 资料收集
- 2016030204 - git和github结合
- Web之CSS开发技巧: CSS 居中大全
- POJ2031Building a Space Station (最小生成树之prim)
- Android源代码同步脚本（增加设置线程参数）
- 低压电力采集平台DW710C与PC沟通
- python smtplib.SMTPDataError: (554
- (转)导出EXCEL时科学计数法问题
- Lnmp一键脚本
- python中socket、进程、线程、协程、池的创建方式和应用场景
- _map_char_stats
- sql中的内联和外联(简单用法)
- ylz外网连接ESB流程
- CopyOnWriteList-JDK1.8
- Win10 虚拟桌面
- English trip V1 - 辅导课 VOCABULARY BRUSH UP（1-6） 词汇刷新 SA:Winona
- Java语言中的面向对象特性：封装、继承、多态，面向对象的基本思想（总结得不错）