Spark集群环境搭建——部署Spark集群
在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。
如果还没有配置好的，参考我前面两篇博客：
Spark集群环境搭建——服务器环境初始化：https://www.cnblogs.com/doublexi/p/15623436.html
Spark集群环境搭建——Hadoop集群环境搭建：https://www.cnblogs.com/doublexi/p/15624246.html
集群规划：
搭建Spark集群
1、下载：
下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
cd /data/apps/shell/software
wget https://dlcdn.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz --no-check-certificate
2、解压安装：
tar xf spark-3.1.2-bin-hadoop3.2.tgz
mv spark-3.1.2-bin-hadoop3.2 /data/apps/spark-3.1.2
编辑环境变量：
vim /etc/profile
## SPARK_HOME
export SPARK_HOME=/data/apps/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
加载使生效：
source /etc/profile
3、修改配置：
进入conf目录：
cd /data/apps/spark-3.1.2/conf mv spark-defaults.conf.template spark-defaults.conf
mv spark-env.sh.template spark-env.sh
mv log4j.properties.template log4j.properties
修改slaves文件，添加从机
vim slaves dev-spark-master-206
dev-spark-slave-171
dev-spark-slave-172
修改spark-defaults.conf
vim spark-defaults.conf spark.master spark://dev-spark-master-206:7077
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 1g
修改spark-env.sh
vim spark-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_162
export HADOOP_HOME=/data/apps/hadoop-3.2.2/
export HADOOP_CONF_DIR=/data/apps/hadoop-3.2.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/data/apps/hadoop-3.2.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=dev-spark-master-206
export SPARK_MASTER_PORT=7077
4、解决与Hadoop冲突
这里要注意，备注：在$HADOOP_HOME/sbin 及 $SPARK_HOME/sbin 下都有 start-all.sh 和 stop-all.sh 文件，如果同时加载到环境变量，会有冲突，我们选择改掉其中一个：
在输入 start-all.sh / stop-all.sh 命令时，谁的搜索路径在前面就先执行谁，此时会产生冲突。
解决方案：
- 删除一组 start-all.sh / stop-all.sh 命令，让另外一组命令生效
- 将其中一组命令重命名。如：将 $HADOOP_HOME/sbin 路径下的命令重命名为：start-all-hadoop.sh / stopall-hadoop.sh
- 将其中一个框架的 sbin 路径不放在 PATH 中
这里我们选择第二种方式，修改Hadoop的脚本文件名。
cd /data/apps/hadoop-3.2.2/sbin/
mv start-all.cmd start-all-hadoop.cmd
mv start-all.sh start-all-hadoop.sh
mv stop-all.cmd stop-all-hadoop.cmd
mv stop-all.sh stop-all-hadoop.sh
5、将spark目录分发到其他两个节点：
rsync-script spark-3.1.2/
登录其他两个从节点，添加环境变量，并加载
vim /etc/profile ## SPARK_HOME
export SPARK_HOME=/data/apps/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
source /etc/profile
6、启动集群：（standalone模式）
在master节点上：
start-all.sh
在各个节点用jps查看：
master节点是因为运行了zookeeper和kafka，所以jps多了两个进程
在web界面查看spark ui：http://192.168.90.206:8080/
7、测试：
运行SparkPi案例测试：
spark-submit --class org.apache.spark.examples.SparkPi /data/apps/spark-3.1.2/examples/jars/spark-examples_2.12-3.1.2.jar 1000
最后能看到这个输出就表示OK
8、设置history
在hdfs上创建spark-eventlog目录存放历史日志：
hdfs dfs -mkdir /spark-eventlog
修改spark-default
# cd /data/apps/spark-3.1.2/conf/
# vim spark-defaults.conf spark.master spark://dev-spark-master-206:7077
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 1g
# 加上history server配置
spark.eventLog.enabled true
spark.eventLog.dir hdfs://dev-spark-master-206:8020/spark-eventlog
spark.eventLog.compress true
修改spark-env.sh
vim spark-env.sh export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://dev-spark-master-206:8020/spark-eventlog"
spark.history.retainedApplications。设置缓存Cache中保存的应用程序历史记录的个数（默认50），如果超过这个值，旧的将被删除；
前提条件：启动hdfs服务（日志写到HDFS）
启动historyserver，使用 jps 检查，可以看见 HistoryServer 进程。如果看见该进程，请检查对应的日志。
重启服务：
stop-all.sh
start-all.sh start-history-server.sh
web查看地址：http://192.168.90.206:18080/
集群模式--Yarn模式（可选）
上面默认是用standalone模式启动的服务，如果想要把资源调度交给yarn来做，则需要配置为yarn模式：
参考：http://spark.apache.org/docs/latest/running-on-yarn.html
需要启动的服务：hdfs服务、yarn服务
需要关闭 Standalone 对应的服务(即集群中的Master、Worker进程)，一山不容二虎！
在Yarn模式中，Spark应用程序有两种运行模式：
- yarn-client。Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出
- yarn-cluster。Driver程序运行在由RM启动的 AppMaster中，适用于生产环境
二者的主要区别：Driver在哪里
1、关闭 Standalon 模式下对应的服务；开启 hdfs、yarn、historyserver 服务
2、修改 yarn-site.xml 配置
在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 中增加，分发到集群，重启 yarn 服务
# vim /data/apps/hadoop-3.2.2/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
备注：
yarn.nodemanager.pmem-check-enabled。是否启动一个线程检查每个任务正使用的物理内存量，如果任务
超出分配值，则直接将其杀掉，默认是true
yarn.nodemanager.vmem-check-enabled。是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务
超出分配值，则直接将其杀掉，默认是true
3、修改配置，分发到集群
# spark-env.sh 中这一项必须要有
# cd /data/apps/spark-3.1.2/conf
export HADOOP_CONF_DIR=/data/apps/hadoop-3.2.2/etc/hadoop # spark-default.conf(以下是优化)
# 与 hadoop historyserver集成
# vim spark-defaults.conf
spark.yarn.historyServer.address dev-spark-master-206:18080
spark.yarn.jars hdfs:///spark-yarn/jars/*.jar
# 将 $SPARK_HOME/jars 下的jar包上传到hdfs
cd /data/apps/spark-3.1.2/jars
hdfs dfs -mkdir -p /spark-yarn/jars/
hdfs dfs -put * /spark-yarn/jars/
4、测试：
记得，先把Master与worker进程停掉，否则会走standalone模式
# 停掉standalone模式
stop-all.sh
client模式测试
# client
spark-submit --master yarn \
--deploy-mode client \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.2.jar 2000
在提取App节点上可以看见：SparkSubmit、YarnCoarseGrainedExecutorBackend
在集群的其他节点上可以看见：YarnCoarseGrainedExecutorBackend
在提取App节点上可以看见：程序计算的结果（即可以看见计算返回的结果）
# cluster
spark-submit --master yarn \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.2.jar 2000
在提取App节点上可以看见：SparkSubmit
在集群的其他节点上可以看见：YarnCoarseGrainedExecutorBackend、ApplicationMaster(Driver运行在此)
在提取App节点上看不见最终的结果
整合HistoryServer服务
前提：Hadoop的 HDFS、Yarn、HistoryServer 正常；Spark historyserver服务正常；
Hadoop：JobHistoryServer
Spark：HistoryServer
修改 spark-defaults.conf，并分发到集群
# vim spark-defaults.conf
spark.master spark://dev-spark-master-206:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://dev-spark-master-206:8020/spark-eventlog
spark.eventLog.compress true
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.driver.memory 1g spark.yarn.historyServer.address dev-spark-master-206:18080
spark.history.ui.port 18080
spark.yarn.jars hdfs:///spark-yarn/jars/*.jar
发送到其他两台机器：
rsync-script spark-defaults.conf
重启/启动 spark 历史服务
stop-history-server.sh
start-history-server.sh
测试：
# client
spark-submit --master yarn \
--deploy-mode client \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.2.jar 2000
登录yarn的地址：http://192.168.90.172:8088/
点击history会自动跳转到spark的history页面：
至此，spark集群搭建完成。
最新文章
- 第三章 centos安装git
- 用GDB调试程序（一）
- [转] FastMM、FastCode、FastMove的使用
- Codeforces Round #243 (Div. 2) B. Sereja and Mirroring
- 【iCore3双核心板】【4.3寸液晶驱动板爆照！】
- js两个时间相减
- 线段树：Segment Tree(单点修改/区间修改模板) C++
- Vim知识点收集
- java复习
- DeepMoji:机器学习模型分析情绪, 情感
- eval()和$.parseJSON()注意事项
- 上传漏洞总结-upload-labs
- (转)如何用TensorLayer做目标检测的数据增强
- Visual Studio 2017中使用正则修改部分内容
- 【转载】js关闭当前页面(窗口)的几种方式总结
- 前端学习 -- Css -- 文本标签
- SpringBoot application.properties （application.yml）优先级从高到低
- ZOJ2401 Zipper 双塔式 DP（双塔DP）
- DateJsonValueProcessor日期处理
- 兼容浏览器的min-height和min-width