Flink 中 DataStream 和 DataSet区别
2024-09-08 18:12:30
DataSet与DataStream的区别、使用
- DataSet同DataStream从其接口封装、真实计算Operator有很大的差别，Dataset的实现在flink-javamodule中，而DataStream的实现在flink-streaming-java中；
- DataSet： 批式处理，其接口封装类似于Spark的Dataset，支持丰富的函数操作，比如map/fliter/join/cogroup等；
- 数据源创建初始数据集，例如来自文件或Java集合等静态数据；
- 所有的操作为Operator的子类，实现具体逻辑，比如Join逻辑是在JoinOperator中实现；
- DataStram: 流式处理，其结构封装实现输入流的处理，其也实现了丰富的函数支持；
- DataStram所有的操作为StreamOperator的子类，实现具体逻辑，比如Join逻辑是在IntervalJoinOperator中实现的；
最新文章
- 边工作边刷题：70天一遍leetcode: day 78
- C# 字符流打印类
- 剑指Offer06 旋转数组的最小值
- Linux操作系统下软件的安装方法大全
- 金蝶k/3 K3云之家消息查询发送是否成功SQL语句
- js vue 在页面中将摄像头放在一个标签里展示，(模仿手机拍照功能)
- logback kafkaAppender输出日志到kafka
- Python 解决命令行删除、退格乱码问题
- 被高通收购的CSR是一家怎样的公司
- 辽宁移动宽带体验及魔百盒M101s-2刷机
- 转：JS中生成和解析JSON
- C# winform窗体间传值(使用委托或事件)
- LY.JAVA面向对象编程思想概述
- 小朋友学C语言（4）：单精度浮点数与双精度浮点数
- Linux的JDK配置
- MySql 正则表达式简介及使用
- 使用 intellijIDEA + gradle构建的项目如何debug
- linux目录结构及文件权限
- [转]微信小程序联盟 跳坑《一百八十一》设置API：wx.openSetting使用说明
- iOS之在AppDelegate中push到指定页面