配置Spark standalone HA

主机：node1,node2,node3

master: node1,node2

slave:node2,node3

修改配置文件：

node1,node3: spark-env.sh

export SPARK_MASTER_IP=node1

export SPARK_MASTER_PORT=

export SPARK_WORKER_CORES=

export SPARK_WORKER_INSTANCES=

export SPARK_WORKER_MEMORY=1024m

export SPARK_LOCAL_DIRS=/data/spark/dataDir

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/sparkHA"

node2: spark-env.sh

export SPARK_MASTER_IP=node2

node2与node1的差别仅在此

启动脚本：

ZooKeeper已经启动完毕，这里没有说明ZooKeeper的配置和启动。

spark启动脚本

node1:

/sbin/start-all.sh

node2:

/sbin/start-master.sh

测试HA

停掉node1 master

/sbin/stop-master.sh

访问node2的master

没有停掉node1的master，访问node2

停掉node1的master之后，访问node2

最新文章

  1. 神奇的Bank系统之旅哦
  2. ios 随机色 宏定义
  3. 解读 Windows Azure 存储服务的账单 – 带宽、事务数量，以及容量
  4. 浏览器兼容console对象的简要解决方案
  5. MySQL中的联合索引学习教程
  6. Android多Module下的Application引用方式
  7. mongo-2ds索引对超过半球范围的适用性测试
  8. matlab学习（3） 保存和导入工作区
  9. vs2012\2013\2015 添加 ActiveX制作控件插件 Visual Studio Installer
  10. A crawler that sent a DELETE request to every resource it encountered
  11. 获取文件后缀名（zip,rar等）
  12. tensorflow学习4-过拟合-over-fitting
  13. [国家集训队]middle
  14. js监听浏览器tab窗口切换
  15. 使用OpenSSL自建CA + Nginx配置HTTPS
  16. springboot自定义jdbc操作库+基于注解切点AOP
  17. Asp.Net Web Api中使用Swagger
  18. Storm Trident详解
  19. jQuery控制a标签不可用
  20. 解决linux分区提示doesn't contain a valid partition table

热门文章

  1. VS 设置编译后的程序可以以管理员身份运行
  2. Mysql 数据库创建基本步骤
  3. 浅尝辄止——使用ActiveX装载WPF控件
  4. synchronized锁重入
  5. cx_Oracle 中文乱码问题解决
  6. CoIDE在STM32系列单片机中的使用实践
  7. flex+java+blazeds 多通道好文
  8. 关于<textArea>控件下显示不出其它控件
  9. Can’t Activate Reporting Services Service in SharePoint
  10. python3.5------day4--function