Kafka Connect学习
2024-10-20 16:26:39
一、基础介绍
1、概念
2、Debezium
为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。可以消费数据库每一个行级别(row-level)的更改。
只有已提交的更改才是可见的，无需担心回滚，用持久化的、有副本备份的日志来记录数据库数据变化的历史
捕获数据更改(CDC)平台，并且利用Kafka和Kafka Connect实现了自己的持久性、可靠性和容错性。
确保所有这些数据更改事件都能够多副本并且总体上有序
所有的数据库或者表的更改事件是按照上游数据库发生的顺序被交付的
每个应用可以直接监控数据库的更改，并且响应更改，无需使用消息总线
3、confluent：基于Kafka Connect技术，实现多种数据源格式导入导出的工具平台，组织管理来自不同数据源的数据
是kafka的企业版，内部包含了kafka、zookeeper、Kafka-rest（Confluent提供的Kafka RESTful接口服务组件）、Schema-Registry（对数据schema进行管理和序列化操作）、connect（用于连接Kafka与外部系统（如数据库，键值存储，检索系统索引和文件系统）的框架）、ksql-server（对数据进行查询），在Kafka connect基础上实现了多种常用系统的connector，用来管理和组织不同数据源的流媒体平台，可以实时地把不同源和位置的数据集成到一个中心的事件流平台。
4、MySQL的binlog
二、MongoDB
最新文章
- 【最简单IOC容器实现】实现一个最简单的IOC容器
- SQL Server 2008通过LinkServer操作ORACLE
- JS闭包中的this对象
- 【linux】英文显示乱码解决
- 阿里云配置nginx+php+mysql
- DIV设置了固定宽高出现文字(文本)的不能自动换行
- 深入浅出ES6（四）：模板字符串
- jquery 滑动动画
- Android开源项目 Universal imageloader 源码研究之Lru算法
- python内置函数（4）
- c#变量在for循环内声明与外的区别
- linux下的进程、网络、性能监控命令
- 关于微信浏览不能URL传参，URL中的问号被删除
- 每天一个linux命令(46)--rcp命令
- 如何在Windows系统中配置Mysql群集（Mysql Cluster）
- win10中使用 Windows照片查看器
- c/c++ 多线程 mutex的理解
- JAVA-类方法与实例方法
- GitHub上高质量项目
- 新手如何学习 jQuery？