新闻网大数据实时分析可视化系统项目——15、基于IDEA环境下的Spark2.X程序开发
1.Windows开发环境配置与安装
下载IDEA并安装,可以百度一下免费文档。
2.IDEA Maven工程创建与配置
1)配置maven
2)新建Project项目
3)选择maven骨架
4)创建项目名称
5)选择maven地址
6)生成maven项目
7)选择scala版本
8)新建Java 和 scala目录
9)编辑pom.xml文件
a)地址一
b)地址二
3.开发Spark Application程序并进行本地测试
1)idea编写WordCount程序
package com.spark.test
import org.apache.spark.{SparkConf, SparkContext}
object MyScalaWordCout {
def main(args: Array[String]): Unit = {
//参数检查
if (args.length < 2) {
System.err.println("Usage: MyWordCout ")
System.exit(1)
}
//获取参数
val input=args(0)
val output=args(1)
//创建scala版本的SparkContext
val conf=new SparkConf().setAppName("myWordCount")
val sc=new SparkContext(conf)
//读取数据
val lines=sc.textFile(input)
//进行相关计算
val resultRdd=lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
//保存结果
resultRdd.saveAsTextFile(output)
sc.stop()
}
}
4.Spark Application程序打包
1)项目打jar包,参考之前讲过的项目打包方式
2)spark-submit方式提交作业
bin/spark-submit --master local[2] /opt/jars/sparkStu.jar hdfs://bigdata-pro01.kfk.com:9000/user/data/stu.txt
最新文章
- 排序系列 之 简单选择排序及其改进算法 —— Java实现
- swift UIImage加载远程图片和圆角矩形
- 第一篇HBuilder在这里!
- Icon specified in the Info.plist not found under the top level app wrapper: Icon.png
- java代码整理---正则表达式
- 图像色彩空间YUV和RGB的差别
- HDU 2254 奥运(数论+矩阵)
- 5.6.3.4 trim()方法
- iOS申请真机调试证书 -- 图文详解
- CF #edu 11 C. Hard Process
- JSSDK获取用户地理位置信息
- C#工具类:使用SharpZipLib进行压缩、解压文件
- Confluence 6 配置 Windows 服务
- Python&#160;获取被调用函数名称,所处模块,被调用代码行
- 20145221高其_Web安全基础实践
- uri,url和urn的区别以及URLEncoder
- Executor框架(二)Executor 与 ExecutorService两个基本接口
- Mac下 Windows 7 虚拟机成功搭建SVN服务器后如何与Xcode建立联系,并上传原始工程的详细步骤
- Unity Shader 之 渲染流水线
- Vue学习记录-接口通信(数据请求)
热门文章
- ubuntu 18 python3.6更换国内源和pip3源
- ubuntu apache 通过端口新建多个站点
- 201771010135杨蓉庆《面向对象程序设计(java)》第二周学习总结
- 引入C/C++动态库
- SQL 函数 排序 等基础操作 DDL DML DQL 用法和<;>; <;=>;等
- Codeforces Round #621 (Div. 1 + Div. 2) C. Cow and Message
- Codeforces Round #619 (Div. 2) A. Three Strings
- 嵌入式实时程序设计中C/C++代码的优化
- Oracle常用SQL时间函数
- mvn无法下载fastdfs-client-java依赖解决办法