Spark HA 配置中spark.deploy.zookeeper.url 的意思
2024-09-29 18:42:43
Spark HA的配置网上很多，最近我在看王林的Spark的视频，要付费的。那个人牛B吹得很大，本事应该是有的，但是有本事，不一定就是好老师。一开始吹中国第一，吹着吹着就变成世界第一。就算你真的是世界第一，视频（2.Spark内核解密(11-43讲全)中的第12课）里关于spark.deploy.zookeeper.url的说法是错误的。他说应该配置的是spark的master的地址，后来他在配置的几台机器上都启动了Spark master和zookeeper。实际上这里的URL指的是zookeeper的URL。比如下面的配置：
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ubuntu3:2181,ubuntu4:2181,ubuntu5:2181"
我们需要在ubuntu3~ubuntu5中都启动zookeeper，我们可以在ubuntu1和ubuntu2上分别启动master。同样可以实现高可用。这说明了他说的是错误的。
最新文章
- RMAN冷备份异机还原
- R语言学习-基础篇
- 安装完CentOS 7 后必做的七件事
- easyui 动态修改窗口title
- bzoj2618: [Cqoi2006]凸多边形
- 图解TCP/IP读书笔记（二）
- [Ramada] Build a Functional Pipeline with Ramda.js
- OC第一天-Xcode、工程组成及运行状态
- Spark Streaming揭秘 Day24 Transformation和action图解
- ubuntu查看安装的cuda toolkit自带的工具及其他安装文件
- word遇到错误 使其无法正常工作 因此需要关闭word 是否希望我们立刻修复
- codeforces342B
- go 单元测试时读取配置文件
- exe电子书制作教程(超详细)【申明：来源于网络】
- luogu P3978 [TJOI2015]概率论
- MongoDB ，cursor not found异常
- My Apple Developer Library Catalog
- hdu 5056 Boring count (窗体滑动）
- 如何查找消耗资源较大的SQL
- redis(5)持久化