本机连接Spark Standalone--最简单的spark调试方式

为了既能远程连接spark 查看ui 又能本地练习安装简单

去官网 http://spark.apache.org/downloads.html 选择对应版本下载 tar包

解压 tar -zxvf spark-2.2.0-bin-hadoop2.6.tgz

sbin/start-master.sh 启动master

sbin/start-slave.sh 启动slave

正常启动了在Web-Ui中查看 http://ip地址:8080/

启动spark-shell spark-shell –master spark://ip地址:7077

测试 spark-submit –class org.apache.spark.examples.SparkPi –master spark://ip地址:7077 examples/jars/spark-examples_2.11-2.2.0.jar

但是这样的话本地程序

val conf = new SparkConf().setAppName("WordCount").setMaster("spark://IP地址:7077")

会报错

: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

下载hadoop  加上这句

System.setProperty("hadoop.home.dir",
  "F:\\hadoop2.6(x64)V0.2");

依然报连接超时   
org.apache.spark.SparkException: Exception thrown in awaitResult
检查防火墙都没有问题  7077端口也启动了

修改配置文件

vi conf/spark-env.sh

加上这几句

export SPARK_MASTER_HOST=master01
export SPARK_MASTER_PORT=7077
export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

jdk要配不然会报错

source spark-env.sh

host写master01 然后在系统hosts文件里配置内网地址 master01

重启spark

连接后正常

巴特西

本机连接Spark Standalone--最简单的spark调试方式

最新文章

热门文章