Flink 历史服务与连接器

2024-08-30 10:58:15

History Server(历史服务)

Flink提供了记录历史任务运行情况的服务，可用于在关闭Flink群集后依然能够查询已完成作业的相关信息。

配置:

# 任务执行信息存储在hdfs目录

jobmanager.archive.fs.dir: hdfs:///completed-jobs

# history serever服务读取历史任务信息的目录

historyserver.archive.fs.dir: hdfs:///completed-jobs

# history serever服务每隔多久到历史任务目录中轮询查看

historyserver.archive.fs.refresh-interval: 10000

配置完后, 选择一台机器, 启动 history server服务:
```
bin/historyserver.sh start
```
访问历史服务器 8082端口

Connector(连接器)

介绍
- link Flink内置了一些基本数据源(source)和接收器(sink)。
- 除此之外它还提供了其他的连接器用于与各种第三方系统进行连接。
- 目前支持如下系统的连接:
  - Apache kafka (source/sink)
  - ElasticSearch (sink)
  - Hadoop FileSystem (sink)
  - RabbitMQ (source/sink)
  - Apache NiFi (source/sink)
  - Apache Cassandra (sink)
  - Apache Kinesis Streams (source/sink)
  - Twitter Streaming API (source)
- 在这些连接器中，当启动了Flink的容错机制之后，它分别能够保证不同的语义(at least once 和 exactly once)。
- 当连接器是 source 的时候
- 当连接器是 sink 的时候

最新文章

热门文章