Flink简介
2024-09-10 09:15:13
Flink简介
Flink的核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布,数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以方便用户编写分布式任务:
1. DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便的采用Flink提供的各种操作符对分布式数据集进行各种操作,支持Java,Scala和Python。
2. DataStream API,对数据流进行流处理操作,将流式的数据抽象成分布式的数据流,用户可以方便的采用Flink提供的各种操作符对分布式数据流进行各种操作,支持Java和Scala。
3. Table API,对结构化数据进行查询操作,将结构化数据抽象成关系表,并通过Flink提供的类SQL的DSL对关系表进行各种查询操作,支持Java和Scala。
此外,Flink还针对特定的应用领域提供了领域库,例如:
1. Flink ML,Flink的机器学习库,提供了机器学习Pipelines API以及很多的机器学习算法实现。
2. Gelly,Flink的图计算库,提供了图计算的相关API以及很多的图计算算法实现。
Flink的技术栈如下图所示:
Flink技术栈
此外,Flink也可以方便地和其他的Hadoop生态圈的项目集成,例如,Flink可以读取存储在HDFS或HBase中的静态数据,以Kafka作为流式的数据源,直接重用MapReduce/Storm代码,或是通过YARN申请集群资源等等。
Flink是一个拥有诸多特色的项目,包括其统一的批处理和流处理执行引擎,通用大数据计算框架与传统数据库系统的技术结合,以及流处理系统的诸多技术创新等。
Flink还有一些其他很有意思的特性没有详细介绍,比如DataSet API级别的执行计划优化器,原生的迭代操作符等,感兴趣的读者可以通过Flink的官网了解更多Flink的详细内容。
链接:https://zhuanlan.zhihu.com/p/20585530
FLink 简介:
Spark 和 Flink 比较
Spark 和 Flink 两个项目的核心 API 基本一致,Spark 在机器学习整合方面投入更多,Flink 在流处理方面更赞,当然二者最大的区别,也还在于对流式计算的支持。
这句的潜在含义就是 Spark 存在的道理:尽管 Spark Steaming 现在和 Flink 相比优势不显,但它的生态更为丰富,除了 Streaming 还有 SQL、MLib、Graphx 等,
同时目前 Spark 对 Kubernetes 云原生技术的原生支持更加到位。
最新文章
- 基于 Asp.Net的 Comet 技术解析
- UVa #11582 Colossal Fibonacci Numbers!
- 在xcode运行编译时,编译成功,但项目中显示缺少该文件,这是只要关闭重启xcode即可。
- STL模板之_map,stack(计算矩阵相乘的次数)
- POJ 1012 Joseph
- HDU 4738 Caocao's Bridges(Tarjan求桥+重边判断)
- [leetcode]_Longest Substring Without Repeating Characters
- Delphi下使用OpenOffice+JodConverter+SWFtools进行文件转换
- API删除文件
- C# - 委托_ 匿名方法
- DataGridView突出
- 子窗口url调整导致父窗口刷新
- Go学习笔记(二)十分钟上手
- 大型B2C网站高性能可伸缩架构技术探秘
- 日历插件bootstrap-datetimepicker的使用感悟
- 【linux】ftp使用端口转发问题
- 腾讯云主机的公网无法访问,putty和FileZilla连接不上
- Tomcat7/8访问Server Status、Manager App、Host Manager出现403 forbidden
- asp.net webform 自定义 select 绑定数值
- Eclipse集成ijkplayer并实现本地和网络视频播放等
热门文章
- Hibernate-validate工具类,手动调用校验返回结果
- c#winform listview设置每项的间距
- 2019 GIAC-全球互联网架构大会课件
- Computer Vision_18_Image Stitching: Image Alignment and Stitching A Tutorial——2006(book)
- Vue 将一个组件嵌入到另一个组件中
- 2018牛客网暑期ACM多校训练营(第二场)I- car ( 思维)
- 2018年长沙理工大学第十三届程序设计竞赛 I	连续区间的最大公约数
- browsersync简单使用和原理分析
- Codeforces Round #584 C. Paint the Digits
- vue开发记录