FusionInsight大数据开发---Spark应用开发

2024-09-06 20:32:04

Spark应用开发

要求：

了解Spark基本原理
搭建Spark开发环境
开发Spark应用程序
调试运行Spark应用程序

YARN资源调度，可以和Hadoop集群无缝对接

Spark适用场景
大多数现有集群计算框架如MapReduce等基于从稳定存储（文件系统）到稳定存储的非循环数据流，数据重用都是基于磁盘的，执行效率比较低。
与传统的MapReduce任务频繁读写磁盘数据相比，基于内存计算的Spark则更适合应用在迭代计算，交互式分析等场景。

Spark应用运行流程--关键角色

Client：需求提出方，负责提交需求（应用）。
Driver：负责应用的业务逻辑和运行规划（DAG）。
ApplicationMaster：负责应用的资源管理，根据应用的需求，向资源管理部门（ResourceManager）申请资源。
ResourceManager：资源管理部门，负责整个集群的资源统一调度和分配
Executor：负责实际计算工作，一个应用会分拆给多个Executor来进行计算。

Spark核心概念--RDD
RDD（Resilient Distributed Datasets)即弹性分布式数据集，指的是一个只读的，可分区的分布式数据集。这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。
RDD的生成

从Hadoop文件系统（或与Hadoop兼容的其它存储系统）输入创建（如HDFS）
从集群创建（如sc.Parallelize）。
从夫RDD转换得到新的RDD。

RDD的存储和分区

用户可以选择不同的存储级别存储RDD以便重用（11种）
当前RDD默认存储于内存，但当内存不足时，RDD会溢出到磁盘中。
RDD在需要进行分区时会根据每条记录Key进行分区，以此保证两个数据集能高效进行Join操作。

RDD的优点

RDD是只读的，可提供更高的容错能力
RDD的不可变性，可以实现Hadoop MapReduce的推测式执行
RDD的数据分区特性可以通过数据的本地性来提高性能。
RDD都是可序列化的，在内存不足时可自动降级为磁盘存储。

RDD的特点

在集群节点上时不可变的，是已分区的集合对象。
失败后自动重连
可以控制存储级别（内存、磁盘等）来进行重用。
必须是可序列化的
是静态类型。

RDD的创建
Spark所有操作都围绕弹性分布式数据集（RDD）进行，这是一个有容错机制并可以被并行操作的元素集合，具有只读，分区，容错，高效，无需物化，可以缓存，RDD依赖等特征。
目前有两种类型的基础RDD：

并行集合：接受一个已经存在的Scala集合，然后进行并行计算
Hadoop数据集：在一个文件的每条记录上运行函数。

RDD的创建--并行集合
并行集合是通过调用SparkContext的parallelize方法，在一个已经存在的Scala集合（一个Seq对象）上创建的。
集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。

RDD依赖：宽依赖和窄依赖
RDD父子依赖关系

窄依赖：（Narrow）指父RDD的每一个分区最多被一个子RDD的分区所用。
宽依赖：（Wide）指子RDD的分区依赖于父RDD的所有分区，是Stage划分的依据。

RDD常用Transformation算子
RDD常用Action算子

Spark任务参数配置

Spark优先级是：配置文件<动态参数<代码配置

相同的数据，只创建一个RDD

算法调优--RDD缓存

Spark可以使用persist和cache方法将任意RDD缓存到内存、磁盘文件系统中。

算法调优--避免使用Shuffle

Shuffle过程会有整个RDD数据的写和读的操作，成本非常高。

算法调优--使用广播变量
外部变量：

每个task都有一个变量副本。

广播变量：

每个Executor保留一份。

编写代码

登陆
创建连接
执行SQL
获取结果

DataFrame介绍
DataFrame：已RDD为基础，带有Schema信息，类似传统数据库的二维表。

编写代码

登陆
注册Table
执行SQL
过滤

最新文章

热门文章