在linux上安装spark详细步骤

在linux上安装spark ，前提要部署了hadoop，并且安装了scala.

对应版本

>>提君博客原创 http://www.cnblogs.com/tijun/ <<

名称	版本
JDK	1.8.0
hadoop	2.6.0
scala	2.11.0
spark	2.2.0

第一步,下载 https://spark.apache.org/downloads.html

第二步，解压

tar -zxvf spark-2.2.-bin-hadoop2..tgz

第三步，配置环境变量

vi /etc/profile

#SPARK_HOME

export SPARK_HOME=/home/hadoop/spark-2.2.-bin-hadoop2.

export PATH=$SPARK_HOME/bin:$PATH

第四步，spark配置，

>>提君博客原创 http://www.cnblogs.com/tijun/ <<

spark-env.sh

JAVA_HOME=/home/hadoop/jdk1..0_144

SCALA_HOME=/home/hadoop/scala-2.11.

HADOOP_HOME=/home/hadoop/hadoop260

HADOOP_CONF_DIR=/home/hadoop/hadoop260/etc/hadoop

SPARK_MASTER_IP=ltt1.bg.cn

SPARK_MASTER_PORT=

SPARK_MASTER_WEBUI_PORT=

SPARK_WORKER_CORES=

SPARK_WORKER_MEMORY=2g   #spark里许多用到内存的地方默认1g 2g 这里最好设置大与1g

SPARK_WORKER_PORT=

SPARK_WORKER_WEBUI_PORT=

SPARK_WORKER_INSTANCES=

spark-defaults.conf

spark.master    spark://ltt1.bg.cn:7077

slaves

ltt3.bg.cn

ltt4.bg.cn

ltt5.bg.cn

-----------------------------

如果整合hive,hive用到mysql数据库的话，需要将mysql数据库连接驱动jmysql-connector-java-5.1.7-bin.jar放到$SPARK_HOME/jars目录下

------------------------------

第五步，将spark-2.2.0-bin-hadoop2.6 分发到各节点。启动

提君博客原创

[hadoop@ltt1 sbin]$ ./start-all.sh

starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.master.Master--ltt1.bg.cn.out

ltt5.bg.cn: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.worker.Worker--ltt5.bg.cn.out

ltt4.bg.cn: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.worker.Worker--ltt4.bg.cn.out

ltt3.bg.cn: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.2.-bin-hadoop2./logs/spark-hadoop-org.apache.spark.deploy.worker.Worker--ltt3.bg.cn.out

最后查看进程

master节点

[hadoop@ltt1 sbin]$ jps

 NameNode

 JournalNode

 ResourceManager

 QuorumPeerMain

 DFSZKFailoverController

 Master

 Jps

worker节点

[hadoop@ltt5 ~]$ jps

 NodeManager

 Worker

 Jps

 DataNode

提君博客原创

进入Spark的Web管理页面： http://ltt1.bg.cn:8080

spark安装完成。

>>提君博客原创 http://www.cnblogs.com/tijun/ <<

巴特西

在linux上安装spark详细步骤

最新文章

热门文章