Spark-大数据计算引擎
2024-08-31 20:32:09
Spark简介:
Spark是一个快速且通用的集群计算平台,可以处理大数据量时候,比如几T到几P量级时候只需要几秒钟到几分钟,相对于hadoop几分钟到几小时速度是很快的,通用是指Spark的使用场景非常多。
Spark特点:
1.Spark是快速的:
1).Spark扩充了MapReduce计算模型
2). Spark是基于内存的计算,
2.Spark是通用的:
Spark的设计容纳了其他分布式系统拥有的功能,包括批处理(hadoop),迭代式计算(机器学习),交互查询(hive)和流处理(storm)等。
优点:
降低了维护成本。
3.Spark是高度开放的
Spark提供了Python,java,Scala,sql的API和丰富的内置库。
相比与MapReduce编程模型,Spark提供了更加灵活的DAG(Directed Acyclic Graph) 编程模型, 不仅包含传统的map、reduce接口, 还增加了filter、flatMap、union等操作接口,使得编写Spark程序更加灵活方便。
最新文章
- 使用Expression实现数据的任意字段过滤(2)
- PyVISA介绍
- 【原创】JEECMS v6~v7任意文件上传漏洞(2)
- EF中的实体类型【Types of Entity in Entity】(EF基础系列篇8)
- css实现并列效果
- JavaScript基础插曲---apply,call和URL编码等方法
- chrome shortcutkey
- Linux命令-tr
- 021QTP之焦点(多思考)
- Linux下对字符串进行MD5加密
- Linux下查看CPU、内存和硬盘信息命令
- Java四种引用类型
- 验证demo
- LoadRunner之IP欺骗
- 数组式访问-ArrayAccess
- 代理ARP--善意的欺骗
- 通过mysql写入php一句话木马
- 响应式布局与bootstrap框架
- Python Django 之 静态文件存放设置
- Speeding Up The Traveling Salesman Using Dynamic Programming
热门文章
- threading 多线程
- Day3-H-Alice and Bob HDU4268
- python类的对象使用
- HTML设置表格
- redis的基本操作
- 吴裕雄 Bootstrap 前端框架开发——Bootstrap 辅助类:";text-primary"; 类的文本样式
- Ternsorflow 学习:006-MNIST进阶 深入MNIST
- 关于netty配置的理解serverBootstrap.option和serverBootstrap.childOption
- 安装mysql server5.5 到start service未响应解决方法
- DataFoundation比赛总结