Spark的Java开发环境构建
为开发和调试SPark应用程序设置的完整的开发环境。这里,我们将使用Java,其实SPark还支持使用Scala, Python和R。我们将使用IntelliJ作为IDE,因为我们对于eclipse再熟悉不过了,这里就使用IntelliJ进行练练手,所以我们也将使用Maven作为构建的管理器。在本篇结束时,您将了解如何设置IntelliJ,如何使用Maven管理依赖项,如何将SPark应用程序打包并部署到集群中,以及如何将活动程序连接到调试器。
一、创建一个新的IntelliJ项目
(注意:指令可能因操作系统而异。在本教程中,我们将使用IntelliJ版本:2018.2.1上的MAC OSX High Sierra. )
通过选择File > New > Project: ,再选择 Maven > 单击Next
将项目命名如下:
- GroupId:
Hortonworks
- ArtifactId:
SparkTutorial
- 版本:
1.0-SNAPSHOT
然后单击下一个继续。
最后,选择项目名称和位置。这些字段应该是自动填充的,所以让我们保持默认值即可:
IntelliJ应该创建一个具有默认目录结构的新项目。生成所有文件夹可能需要一两分钟。
让我们分解一下项目结构。
- .IDEA:这些是IntelliJ配置文件。
- SRC:源代码。大部分代码应该进入主目录。应该为测试脚本保留测试文件夹。
- 目标:当您编译您的项目时,它将位于这里。
- xml:Maven配置文件。我们将向您展示如何使用该文件导入第三方库和文档。
在继续之前,让我们验证几个IntelliJ设置:
1.核实import Maven projects automatically是ON.
- Preferences > Build, Execution, Deployment > Build Tools > Maven > Importing
2.核实Project SDK和Project language level设置为Java版本:
- File > Project Structure > Project
3.核实Language level 设置为Java版本:
- File > Project Structure > Module
二、Maven配置
在开始编写SPark应用程序之前,我们需要将SPark库和文档导入IntelliJ。为此,我们将使用Maven。这是必要的,如果我们想要IntelliJ识别Spark代码。要导入SPark库,我们将使用依赖关系管理器Maven。将以下行添加到文件put.xml中:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion> <groupId>hortonworks</groupId>
<artifactId>SparkTutorial</artifactId>
<version>1.0-SNAPSHOT</version> <build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>
</plugins>
</build> <dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.1</version>
</dependency>
</dependencies> </project>
需要导入put.xml的代码
保存文件后,IntelliJ将自动导入运行SPark所需的库和文档。
三、创建SPark应用程序
本地部署
对于我们的第一个应用程序,我们将构建一个简单的程序,进行单词计数。Download the file,将文件保存为shakespeare.txt.
稍后,我们希望SPark从HDFS(HadoopDistributedFileSystem)检索这个文件,所以现在让我们把它放在那里。要上传到HDFS,首先要确保我们的Ambari 沙箱已经启动并运行。
- 导航到sandbox-hdp.hortonworks.com:8080
- 使用用户名/密码登录
- 一旦您登录到Ambari Manager,鼠标在右上角的下拉菜单上并单击文件视图.
- 打开TMP文件夹并单击上传按钮在右上角上传文件。确保它的名字shakespeare.txt.
现在我们已经准备好创建应用程序了。在IDE中打开文件夹src/main/resources,这应该是自动为您生成的。
接下来,选择文件夹SRC/Main/java:
- 右键单击文件夹并选择New > Java Class
- 新建类文件:Main.java
将其复制到您的新文件中:
public class Main { public static void main(String[] args) {
System.out.println("Hello World");
}
}
现在转到IDE顶部的“Run”下拉菜单,然后选择Run。然后选择Main。如果所有设置都正确,IDE应该打印“HelloWorld”。现在我们已经知道环境已正确设置,请用以下代码替换该文件:
package Hortonworks.SparkTutorial;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.SparkConf;
import scala.Tuple2; import java.util.Arrays; public class Main { public static void main(String[] args){ //Create a SparkContext to initialize
SparkConf conf = new SparkConf().setMaster("local").setAppName("Word Count"); // Create a Java version of the Spark Context
JavaSparkContext sc = new JavaSparkContext(conf); // Load the text into a Spark RDD, which is a distributed representation of each line of text
JavaRDD<String> textFile = sc.textFile("src/main/resources/shakespeare.txt");
JavaPairRDD<String, Integer> counts = textFile
.flatMap(s -> Arrays.asList(s.split("[ ,]")).iterator())
.mapToPair(word -> new Tuple2<>(word, 1))
.reduceByKey((a, b) -> a + b);
counts.foreach(p -> System.out.println(p));
System.out.println("Total words: " + counts.count());
counts.saveAsTextFile("/tmp/shakespeareWordCount");
} }
替换代码
如前所述,单击Run>Run以运行文件。这应该运行Spark进行作业,并打印在莎士比亚shakespeare.txt中出现的每个单词的频率。
由您的程序创建的文件可以在上面代码中指定的目录中找到,在我们的例子中,我们使用/tmp/shakspeareWordCount.
注意,我们已经设置了这一行:
setMaster("local")
这告诉SPark使用此计算机在本地运行,而不是在分布式模式下运行。要在多台机器上运行Spark,我们需要将此值更改为 YARN。我们稍后再看看怎么做。
现在我们已经了解了如何在IDE中直接部署应用程序。这是一种快速构建和测试应用程序的好方法,但这有点不切实际,因为SPark只在一台机器上运行。在生产中,SPark通常会处理存储在分布式文件系统(如HDFS)上的数据(如果运行在云中,则可能是S3或Azure博客存储)。SPark也通常在集群模式下运行(即,分布在许多机器上)。
那么,首先,我们将学习如何在Hortonworks沙箱(这是一个单节点Hadoop环境)上部署SPark,然后我们将学习如何在云中部署SPark。
部署到Sandbox
虽然我们仍然在一台机器上运行SPark,但是我们将使用HDFS和SEAR(集群资源管理器)。这将比我们之前所做的更接近于运行一个完整的分布式集群。我们要做的第一件事是更改这一行:
JavaRDD<String> textFile = sc.textFile("src/main/resources/shakespeare.txt");
更改为:
JavaRDD<String> textFile = sc.textFile("hdfs:///tmp/shakespeare.txt");
将:
counts.saveAsTextFile("/tmp/shakespeareWordCount");
更改为:
counts.saveAsTextFile("hdfs:///tmp/shakespeareWordCount");
这告诉 Spark 要读取和写入HDFS,而不是本地。确保保存文件。
接下来,我们将把这些代码打包到一个编译好的JAR文件中,这个JAR文件可以部署在 sandbox沙箱上。了简化我们的生活,我们将创建一个程序集JAR:一个包含我们的代码和我们的代码所依赖的所有JAR的JAR文件。通过将我们的代码打包成一个程序集,我们保证在代码运行时,所有依赖的JAR(在pu.xml中定义的)都会出现。
打开终端和CD到包含 pom.xml. 运行mvn package. 这将在文件夹中创建一个名为“SparkTutver-1.0-SNAPSHOT.jar”的编译JAR。
(注:如果MVN命令不起作用-请确保已成功安装maven。)
将程序集复制到沙箱:
scp -P 2222 ./target/SparkTutorial-1.0-SNAPSHOT.jar root@sandbox-hdp.hortonworks.com:/root
打开第二个终端窗口,将ssh放入沙箱:
ssh -p 2222 root@sandbox-hdp.hortonworks.com
使用spark-submit 运行我们的代码。我们需要指定主类、要运行的JAR和运行模式(本地或集群):
spark-submit --class "Hortonworks.SparkTutorial.Main" --master local ./SparkTutorial-1.0-SNAPSHOT.jar
您的控制台应该可以看到出现的每个单词的频率,如下所示:
...
(comutual,1)
(ban-dogs,1)
(rut-time,1)
(ORLANDO],4)
(Deceitful,1)
(commits,3)
(GENTLEWOMAN,4)
(honors,10)
(returnest,1)
(topp'd?,1)
(compass?,1)
(toothache?,1)
(miserably,1)
(hen?,1)
(luck?,2)
(call'd,162)
(lecherous,2)
...
控制台出现的内容
此外,如果在Ambari中打开“文件视图”,您应该会看到/tmp/shakspeareWordCount下的结果。这表明结果也存储在HDFS中。
四、部署到云端
在设置集群之后,部署代码的过程类似于部署到沙箱。我们需要对集群的JAR进行SCP:
scp -P 2222 -i "key.pem" ./target/SparkTutorial-1.0-SNAPSHOT.jar root@[ip address of a master node]:root
然后打开第二个终端窗口并将ssh插入主节点:
ssh -p 2222 -i "key.pem" root@[ip address of a master node]
然后使用 spark-submit运行我们的代码:
spark-submit --class "Hortonworks.SparkTutorial.Main" --master yarn --deploy-mode client ./SparkTutorial-1.0-SNAPSHOT.jar
注意,我们指定了参数--master yarn ,而不是--master local. 这意味着我们希望SPark在分布式模式下运行,而不是在一台机器上运行,并且我们希望依赖SEARY(集群资源管理器)来获取可用的机器来运行作业。如果您不熟悉YARN,那么如果您想要在同一个集群上同时运行多个作业,则这一点尤为重要。如果配置正确,YARN队列将提供不同的用户或处理允许使用的群集资源配额。它还提供了允许作业在资源可用时充分利用集群的机制,以及在其他用户或作业开始提交作业时缩小现有作业的范围。
参数--deploy-mode client ,指示要将当前计算机用作Spark的驱动程序机器。驱动程序机器是一台启动Spark作业的机器,也是工作完成后收集汇总结果的地方。或者,我们可以指定 --deploy-mode cluster ,这将允许YARN选择驱动机。
重要的是要注意的是,一个写得不好的SPark程序可能会意外地试图将许多兆字节的数据带回到驱动程序机器中,从而导致其崩溃。因此,不应该使用集群的主节点作为驱动程序机器。许多组织从所谓的边缘节点提交火花作业,这是一个单独的机器,不用于存储数据或执行计算。由于边缘节点与集群是分开的,所以它可以在不影响集群其余部分的情况下降。边缘节点还用于从集群中检索的聚合数据的数据科学工作。
例如,数据科学家可能从边缘节点提交一份SPark作业,将10 TB数据集转换为1GB聚合数据集,然后使用R和Python等工具对边缘节点进行分析。如果计划设置边缘节点,请确保机器没有安装DataNode或HostManager组件,因为它们是集群的数据存储和计算组件。
五、现场调试
将正在运行的SPark程序连接到调试器,这将允许我们设置断点并逐行遍历代码。在直接从IDE运行时,调试SPark就像其他程序一样,但是调试远程集群需要一些配置。
在计划提交Spark作业的机器上,从终端运行这一行:
export SPARK_JAVA_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8086
这将使您可以在端口8086上附加调试器。您需要确保端口8086能够接收入站连接。然后在IntelliJ中 Run > Edit Configurations:
然后单击左上角的+按钮并添加一个新的远程配置。用主机IP地址填充主机,以及使用端口8086.
如果在提交SPark作业后立即从IDE运行此调试配置,则调试器将附加,SPark将在断点处停止。
注意:要重新提交单词计数代码,我们必须首先删除前面创建的目录。使用命令:
hdfs dfs -rm -r /tmp/shakespeareWordCount
在沙箱外壳上删除旧目录。再次在沙箱外壳上提交火花作业,并在执行spark-submit命令。请记住,为了运行您的代码,我们使用了以下命令:
spark-submit --class "Hortonworks.SparkTutorial.Main" --master yarn --deploy-mode client ./SparkTutorial-1.0-SNAPSHOT.jar
最新文章
- Laravel - 安装与配置
- Sqoop使用手册
- jq插件的传值
- ARCGIS server没有服务、silverlight不能调试、windows server2008安装时跳出“安装程序无法创建新的系统分区也无法定位现有的系统分区”的解决方案
- 去“IOE”
- javascript笔记——label包含的自定义按钮选中
- MVC3+AutoFac实现程序集级别的依赖注入
- mac 如何让文件隐藏
- Linux中的堡垒--iptables
- [转]如何正确设置nginx中remote_addr和x_forwarded_for参数
- 深圳共创力咨询《成功的产品经理DNA》公开课3月29~30日在深圳开课!
- 小程序组件中有bindinput监听报异常
- [Swift]LeetCode228. 汇总区间 | Summary Ranges
- Kaggle教程——大神教你上分
- python 常用turtle
- C. Queen Codeforces Round #549 (Div. 2) dfs
- Writing device drivers in Linux: A brief tutorial
- MySQL中tinytext、text、mediumtext和longtext详解【转】
- POJ2186(强连通分量分解)
- SqlServer 查看备份文件中逻辑文件信息的Sql语句
热门文章
- [The Preliminary Contest for ICPC Asia Nanjing 2019] A-The beautiful values of the palace(二维偏序+思维)
- Interger等包装类的比较
- java实现查找PDF关键字所在页码及其坐标
- python中,一个函数想使用另一个函数中的变量
- codeforces 814 C. An impassioned circulation of affection(二分+思维)
- Codeforces Round #391 C. Felicity is Coming!
- Java微服务(一):dubbo-admin控制台的使用
- java中最容易犯错的特殊字符
- ConcurrentHashMap 的工作原理及代码实现
- MySQL数据库(良心资料)