[转] 用SBT编译Spark的WordCount程序
2024-10-12 21:14:10
问题导读：
1.什么是sbt？
2.sbt项目环境如何建立？
3.如何使用sbt编译打包scala?
【sbt介绍
sbt是一个代码编译工具，是scala界的mvn，可以编译scala，java等，需要java1.6以上。
sbt项目环境建立
sbt编译需要固定的目录格式，并且需要联网，sbt会将依赖的jar包下载到用户home的.ivy2下面，目录结构如下：
- |--build.sbt
- |--lib
- |--project
- |--src
- | |--main
- | | |--scala
- | |--test
- | |--scala
- |--sbt
- |--target
复制代码
以上建立目录如下：
- mkdir -p ~/spark_wordcount/lib
- mkdir -p ~/spark_wordcount/project
- mkdir -p ~/spark_wordcount/src/main/scala
- mkdir -p ~/spark_wordcount/src/test/scala
- mkdir -p ~/spark_wordcount/target
然后拷贝spark安装目录的sbt目录的 sbt脚本和sbt的jar包
- cp /path/to/spark/sbt/sbt* ~/spark_wordcount/
由于spark的sbt脚本默认查找./sbt目录，修改如下
- JAR=sbt/sbt-launch-${SBT_VERSION}.jar
- to
- JAR=sbt-launch-${SBT_VERSION}.jar
拷贝spark的jar包到，sbt的lib目录
- cp /path/to/spark/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \
- > ~/spark_wordcount/lib/
建立build.sbt配置文件,各行需要有一个空行分割
- name := "WordCount"
- [this is bank line]
- version := "1.0.0"
- [this is bank line]
- scalaVersion := "2.10.3"
由于spark的sbt脚本需要到project的build.properties文件找sbt的版本号，我们建立该文件，增加如下内容：
- sbt.version=0.12.4
Spark WordCount程序编写及编译
建立WordCount.scala源文件，假设需要包为spark.example
- mkdir -p ~/spark_wordcount/src/main/scala/spark/example
- vi -p ~/spark_wordcount/src/main/scala/spark/example/WordCount.scala
添加具体的程序代码，并保存
- package spark.example
- import org.apache.spark._
- import SparkContext._
- object WordCount {
- def main(args: Array[String]) {
- //命令行参数个数检查
- if (args.length == 0) {
- System.err.println("Usage: spark.example.WordCount <input> <output>")
- System.exit(1)
- }
- //使用hdfs文件系统
- val hdfsPathRoot = "hdfshost:9000"
- //实例化spark的上下文环境
- val spark = new SparkContext(args(0), "WordCount",
- System.getenv("SPARK_HOME"),SparkContext.jarOfClass(this.getClass))
- //读取输入文件
- val inputFile = spark.textFile(hdfsPathRoot + args(1))
- //执行WordCount计数
- //读取inputFile执行方法flatMap，将每行通过空格分词
- //然后将该词输出该词和计数的一个元组，并初始化计数
- //为 1，然后执行reduceByKey方法，对相同的词计数累
- //加
- val countResult = inputFile.flatMap(line => line.split(" "))
- .map(word => (word, 1))
- .reduceByKey(_ + _)
- //输出WordCount结果到指定目录
- countResult.saveAsTextFile(hdfsPathRoot + args(2))
- }
- }
到spark_wordcount目录，执行编译：
- cd ~/spark_wordcount/
- ./sbt compile
打成jar包
- ./sbt package
编译过程，sbt需要上网下载依赖工具包，jna，scala等。编译完成后可以在target/scala-2.10/目录找到打包好的jar
- [root@bd001 scala-2.10]# pwd
- /usr/local/hadoop/spark_wordcount/target/scala-2.10
- [root@bd001 scala-2.10]# ls
- cache classes wordcount_2.10-1.0.0.jar
WordCount执行
可以参考Spark分布式运行于hadoop的yarn上的方法，写一个执行脚本
- #!/usr/bin/env bash
- SPARK_JAR=./assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar \
- ./bin/spark-class org.apache.spark.deploy.yarn.Client \
- --jar ~/spark_wordcount/target/scala-2.10/wordcount_2.10-1.0.0.jar \
- --class spark.example.WordCount \
- --args yarn-standalone \
- --args /testWordCount.txt \
- --args /resultWordCount \
- --num-workers 3 \
- --master-memory 4g \
- --worker-memory 2g \
- --worker-cores 2
然后，拷贝一个名为testWordCount.txt的文件进hdfs
- hdfs dfs -copyFromLocal ./testWordCount.txt /testWordCount.txt
然后执行脚本，过一会就可以看到结果了
最新文章
- Thinkphp 学习笔记
- Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
- 使用Javascript获得网页中通过GET方法提交的参数
- iOS 网络编程：socket
- 1分钟快速生成用于网页内容提取的xslt
- 电脑知识--Windows一片
- 【JAVAWEB学习笔记】13_servlet
- 颜色框架Hue相关使用方法
- Android项目中的换肤总结
- Python 基础【一】
- 配置ESP8266 NONOS SDK时由于工具链版本差异引发的故障
- input & collapse & tags
- python定义类()中写object和不写的区别
- 652. Find Duplicate Subtrees找出重复的子树
- [UE4]游戏中服务器切换地图，控制台命令Execute console Command
- vsphere storage appliance工作原理和实施
- CSS的使用
- .NET创建WebService服务简单的例子
- Vue 入门之组件化开发
- [转载]Javassist 使用指南（三）