Spark2 Dataset持久化存储级别StorageLevel
2024-08-25 21:56:56
import org.apache.spark.storage.StorageLevel
// 数据持久缓存到内存中
//data.cache()
data.persist()
// 设置缓存级别
data.persist(StorageLevel.DISK_ONLY)
// 清除缓存
data.unpersist
//data.unpersist(blocking=true)
级别 | 使用空间 | CPU时间 | 是否在内存中 | 是否在磁盘上 | 备注 |
MEMORY_ONLY | 高 | 低 | 是 | 否 | |
MEMORY_ONLY_2 | 高 | 低 | 是 | 否 | 数据存2份 |
MEMORY_ONLY_SER | 低 | 高 | 是 | 否 | 数据序列化 |
MEMORY_ONLY_SER_2 | 低 | 高 | 是 | 否 | 数据序列化,数据存2份 |
MEMORY_AND_DISK | 高 | 中等 | 部分 | 部分 | 如果数据在内存中放不下,则溢写到磁盘 |
MEMORY_AND_DISK_2 | 高 | 中等 | 部分 | 部分 | 数据存2份 |
MEMORY_AND_DISK_SER | 低 | 高 | 部分 | 部分 | |
MEMORY_AND_DISK_SER_2 | 低 | 高 | 部分 | 部分 | 数据存2份 |
DISK_ONLY | 低 | 高 | 否 | 是 | |
DISK_ONLY_2 | 低 | 高 | 否 | 是 | 数据存2份 |
NONE | |||||
OFF_HEAP |
最新文章
- Hadoop 中利用 mapreduce 读写 mysql 数据
- C#面向对象设计模式纵横谈——2.Singleton 单件(创建型模式)
- 针对APP的测试过程和重点关注内容,做以下梳理和总结
- Linux入门:运行级别解析
- [转载]iTOP-4412开发板搭建最小linux系统
- IOS 网络请求中设置cookie
- OpenCV之响应鼠标(一):利用鼠标获取坐标
- SQL Server自增长列插入指定值 -- SET IDENTITY_INSERT ON|OFF(转)
- WARNING: The following packages cannot be authenticated! foo bar baz Install these packages without verification [y/N]?
- 在windows下获取硬盘序列号(win7 32位,Windows Server 64位测试,希望在其他平台测试,遇到问题的网友留言分享)
- Android 贝塞尔曲线
- mysql中limit用法误区
- bzoj2157
- nginx跨域配置(windos走过的坑)
- 基于vue-cli3.0构建功能完善的移动端架子,主要功能包括
- 51nod 1081 子段求和(线段树 | 树状数组 | 前缀和)
- DataGrid 查不出数据 注意事项
- springMVC源码学习之addFlashAttribute源码分析
- 关于 Azure Windows VM 的磁盘和 VHD
- ssh stricthostkeychecking=0