Spark Standalone 提交模式
一.Client提交模式
提交命令：
./spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100
等价【默认为client】：
./spark-submit --master spark://node1:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100
执行流程：
分析：
standalone-client模式提交任务，会在客户端看到task的执行情况和结果。当在客户端提交多个application时，每个application会启动自己的dirver，driver与集群worker有大量的通信，会造成客户端网卡流量激增的问题，这种模式适用于测试而不适应于生产环境。
二.Cluster提交模式
提交命令：
./spark-submit --master spark://node1:7077 --deploy-mode cluster --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadooop2.6.0.jar 100
执行流程：
分析：
standalone-cluster模式提交任务driver会在集群中的随机选择一个worker上启动，如果提交多个application，那么每个application的driver会分散到集群的各个worker节点，相当于将client模式的客户端网卡流量激增问题分散到集群的各个节点中。这种模式适用于生产环境。
最新文章
- easyUI和bootstrap的混搭
- List tuple 类型转成数组
- iconv 失败
- Android点击效果
- Sharepoint学习笔记—习题系列--70-573习题解析 -(Q111-Q114)
- Linux系统中“动态库”和“静态库”那点事儿【转】
- iOS 设计模式之单例
- 【学习笔记】【C语言】数据
- ReadDirectoryChangesW 监控文件夹 (一个简单的监控示例程序)（文件被修改了，也可以探测到）
- javax.validation.UnexpectedTypeException: HV000030: No validator could be found for constraint
- Unity3d之UGUI- Image拦截Button响应事件
- 【Ecstore2.0】第三方信任登陆问题解决_备忘
- 从汇编看c++对静态成员的存取
- 【Beta阶段】第四次scrum meeting
- [知了堂学习笔记]_eclipse引入svn插件，并将项目同步到svn
- acm入门搜索-水池数目
- Activity 关于生命周期一些问题的实践验证
- About Gnu Linker2
- 快速启动神器 Wox
- 使用PHPStorm 配置自定义的Apache与PHP环境