Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)

Spark版本：spark-1.1.0-bin-hadoop2.4 (下载：http://spark.apache.org/downloads.html)

服务器环境的情况，请参考上篇博文 hbase centOS生产环境配置笔记

(hbase-r是ResourceManager; hbase-1, hbase-2, hbase-3是NodeManager)

1. 安装和配置 (yarn-cluster模式的文档参考：http://spark.apache.org/docs/latest/running-on-yarn.html)

　　yarn-cluster模式运行程序，spark会将程序jar包保存至hdfs，然后自动通过yarn的配置，分布式运行在各台NodeManager上。故这个模式下，无须指定Spark的master和slaves。

　　(1) 安装scala

　　下载rpm包，安装

　　(1) 本次Spark将在所有机器上安装：hbase-0, hbase-r, hbase-1, hbase-2, hbase-3。

　　解压后目录中的文件拷贝至 /hbase/spark，以下配置文件的路径都是相对于该目录下。全部配置好了以后，安装目录，环境变量等，都将复制在所有机器上。

　　(2) 环境变量, ~/.bashrc

export SPARK_HOME="/hbase/spark"

export SCALA_HOME="/usr/share/scala"
export SPARK_CLASSPATH="$SPARK_CLASSPATH:/hbase/hbase/lib"

　　(3) 设置Spark Properties，conf/spark-defaults.conf

# options for Yarn-cluster mode

spark.yarn.applicationMaster.waitTries

spark.yarn.submit.file.replication

spark.yarn.preserve.staging.files               false

spark.yarn.scheduler.heartbeat.interval-ms

spark.yarn.max.executor.failures

spark.yarn.historyServer.address                hbase-r:

spark.yarn.executor.memoryOverhead              512

spark.yarn.driver.memoryOverhead                512

　　(4) 在防火墙上设置所有机器之间互相可以内网访问所有端口(单独设置特定的端口范围太过麻烦了，hadoop, hbase, spark, yarn, zookeeper等各种监听端口太多了)。

　　(3) 测试 java example

./bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master yarn-cluster --num-executors 3 --driver-memory 1024m  --executor-memory 1024m --executor-cores 1 lib/spark-examples*.jar 20

　　运行成功后，在控制台可以看到

     yarnAppState: FINISHED

     distributedFinalState: SUCCEEDED

     appTrackingUrl: http://hbase-r:18088/proxy/application_1414738706972_0011/A

　　然后访问 appTrackingUrl，可以看到如下结果，可以看到 FinalStatus：SUCCEEDED

                    Application Overview

         User:       webadmin

         Name:       org.apache.spark.examples.JavaSparkPi

   Application Type: SPARK

   Application Tags:

        State:       FINISHED

     FinalStatus:    SUCCEEDED

       Started:      -Nov- ::

       Elapsed:      43sec

     Tracking URL:   History

     Diagnostics:

   ApplicationMaster

    Attempt Number       Start Time          Node     Logs

                    -Nov- :: hbase-: logs

巴特西

Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)

最新文章

热门文章