1、Spark Core所处位置和主要职责
2024-09-07 02:39:58
Spark组件是基于分布式资源引擎层（Yarn等）和分布式存储层（HDFS等）之上的一个组件，Spark本质上是一个计算引擎，负责计算的，根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块，这些模块各自处理适合各自特点的计算场景。Spark Core作为Spark技术栈的底层，提供如Spark初始化、数据模型、远程调用、内存模型、存储体系、序列化、安全、Web UI、计算调度体系、广播变量、IO、运行模式等等的核心功能和解决各模块的公共需求，是Spark的核心层，为其他各模块提供支持服务。
最新文章
- C#定时执行
- RocketMQ与kafka对比（18项差异）-转自阿里中间件
- CF Intel Code Challenge Final Round (Div. 1 + Div. 2, Combined)
- Oracle 11g 的官方支持周期和时限
- 值不能为 null 或为空。参数名: linkText
- List<>过滤重复的简单方法
- 【IOS】 XML解析和xml转plist文件(GDataXML)
- dubbo服务者配置说明
- OC之知识储备篇
- 对象序列化 输入输出流概念 InputOutStream OutputStream
- vue2.0 组织机构树形选择组件(类似elementui <el-transfer> 与 <el-tree> 两个标签的结合)
- 使用Kubernetes需要注意的一些问题（FAQ of k8s)
- android ActionBarActivity设置全屏无标题
- Ubuntu安装并使用sogou输入法
- phpstorm----------phpstorm如何安装和使用laravel plugin
- JS学习笔记Day5
- csp20170304地铁修建_Solution
- Ubuntu16.04 安装Tensorflow-CPU
- 密码安全存储——PBKDF2、bcrypt、scrypt
- kindle书摘-围城-相爱勿相伤