spark的体系结构
2024-10-01 01:41:14
spark的体系结构
1.客户端（Driver Program）
需要构建一个对象，核心是sc(SparkContext)
以应用程序为例：链接本地
//new conf
val conf=new SparkConf()
.setAppName(this.getClass.getSimpleName)
.setMaster("local[1]")
//new SparkContext
val sc=new SparkContext(conf)
启动方式：
1.Spark-Shell
2.Spark-Submit
3.应用程序
2.服务端
1.客户端将job提交给Master(主节点)
2.主节点将任务分配给worker
3.worker：从节点的资源和任务管理者
4.执行任务的Executor,会将任务按照阶段（Stage）来执行
5.划分任务阶段：根据RDD的依赖关系（宽依赖和窄依赖）
6.租借点的主要职责：1.接受客户端的任务请求 2.管理和资源调度的任务 3.部署的方式：standalone\yarn\mesos standalone(主要采用)
最新文章
- sqlserver 计算 百分比
- 《APUE》读书笔记第十一章-线程
- c# 调用EXCEL在VS上能正常运行，部署在IIS上不能实现，在VS中运行页面和发布之后在IIS中运行的区别
- Android---intent传递putStringArrayListExtra
- [hihoCoder]矩形判断
- [SCOI2016]幸运数字
- Html5 <video>实现摄像头监控问题：html5并不支持rtsp协议,所以使用vlc进行转码,将rtsp转http流,这样<video>才可以直接播放
- [转帖]Runtime, Engine, VM 的区别是什么？
- [No0000193]Chrome浏览器控制台（console）花式调试
- _mount_vendor
- Xcode8.0 / OS X EI Capitan 10.11.6 提交报错90111
- RandomAccessFile类理解
- 过拟合VS欠拟合、偏差VS方差
- 转：[你必须知道的异步编程]——异步编程模型(APM)
- 2017.4.5 OpenStack简介
- Python encode() 方法
- YAML简介
- 【LOJ】#2497. 「PA 2017」Banany
- Spark的Java API例子详解
- LARC Caffe笔记（一） Setup