Flink的流处理--KeyBy
2024-08-30 02:45:13
逻辑上将一个流分成不相交的分区,每个分区包含相同键的元素。在内部,这是通过散列分区来实现的
object Keyby {
def main(args: Array[String]): Unit = {
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
env.setParallelism(3)
val textStream: DataStream[String] = env.socketTextStream("localhost" , 12345)
val flatMap_data: DataStream[String] = textStream.flatMap(line => line.split("\t"))
val map_data: DataStream[(String, Int)] = flatMap_data.map(line => (line , 1))
//TODO 逻辑上将一个流分成不相交的分区,每个分区包含相同键的元素。在内部,这是通过散列分区来实现的
val keyByData: KeyedStream[(String, Int), String] = map_data.keyBy(line => line._1)
keyByData.writeAsText("keyByData")
env.execute()
}
}
最新文章
- 【Telerik】实现列表单元格中添加复选框,进行状态(是、否)判断
- 用延迟加载解决CNZZ加载慢的问题
- c# 用户名 密码 访问 局域网共享
- Java面试常见各种概念区别比较
- venus java高并发框架
- where子句的使用
- uva 1595 Symmetry“结构体”
- Linux man 后面的数字含义及作用
- c# 存储过程取output 值
- Alpha冲刺(4/10)——2019.4.27
- Expm 3_2 寻找最邻近的点对
- keras初探
- [C#.Net]启动外部程序的几种常用方法汇总
- fastjson 反序列化漏洞利用总结
- Kafka设计解析(十六)Kafka 0.11消息设计
- DevExpress之XtraReport 学习
- D3.js 入门教程
- Spring JdbcTemplate+JdbcDaoSupport实例
- getResource()和getResourceAsStream以及路径问题(转)
- Hcharts和Echarts----制作报表的工具