Spark简单集群搭建

1．上传spark-2.2.0-bin-hadoop2.7.tgz安装包到/home/dtouding目录下

2．解压安装包到/bigdata/目录下，tar –zxvf spark-2.2.0-bin-hadoop2.7.tgz –C /bigdata/

3．修改配置文件：

1) mv spark-env.sh.template spark-env.sh

2) mv slaves.template slaves

3) 修改spark-env.sh文件

添加Java的安装路径：export JAVA_HOME=/usr/local/jdk1.8.0_181/

指定Master：export SPARK_MASTER_HOST=Node-1

指定Master的RPC通信端口：export SPARK_MASTER_PORT=7077

4) 修改slaves文件，指定worker

4．把spark安装目录拷贝到其他两个节点上。

for i in {2..3};do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ Node-$i:/bigdata/;done

5．启动：sbin/start-all.sh

巴特西