spark集群模式

1、配置集群主机免登陆，参考http://www.cnblogs.com/puroc/p/5996730.html
2、修改/etc/hosts文件，增加所有主机名和IP的对应关系

10.10.20.204 docker-

10.10.20.219 docker-

3、修改spark-env.sh，生命master主机的地址（需要使用主机名，使用IP时发生了莫名奇妙的错误）

export SPARK_MASTER_HOST=docker-

4、修改slaves文件,增加slave节点的主机名

docker-

5、将spark程序拷贝到所有的slave节点上

6、执行sbin/start-all.sh

7、访问master的ui，http://docker-1:8080
8、提交测试程序到集群，在ui界面看执行情况。

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \
--master spark://docker-1:7077 \
/root/spark/spark-2.0.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.0.1.jar

巴特西

spark集群模式

最新文章

热门文章