2.flume架构以及核心组件
2024-08-22 11:00:27
flume组件主要包含三部分
source：从各个地方收集数据
channel：聚集，相当于临时数据存放的地方。因为数据来的时候，不可能来一条便写一次，那样效率太低，而是先把数据放在通道里，等通道满了再写入
sink：输出，HDFS sink，HIVE sink，等等，写到hdfs等地方。等于是把channel里的数据读取出来，写到hdfs里面
sink不仅可以将数据写到hdfs里面，还可以被另一个agent所source，即一个agent的输出作为另一个agent的输入，像链子一样。
而且还可以将多个agent的数据sink到同一个agent里面
同理，一个agent也可以sink到多个地方里面
所以一个数据源，可以到好多个channel里面，还可以sink到不同地方去。
最新文章
- Python 环境搭建，开发工具，基本语法
- [No000026]365种创业、办公、和生活成长的精华资源
- 配置ubuntu 16.04.1 LTS odoo 10.0开发环境
- android程序---->android多线程下载(一)
- 如何撰写SCI论文的讨论部分？——经典结构 – 俗称“倒漏斗型。
- Linux查看CPU信息
- C语言中.h和.c文件解析
- go编程基础
- Binder Proxy技术方案
- vim插件管理器vundle
- [.NET] 一步步打造一个简单的 MVC 电商网站 - BooksStore（四）
- Dynamics CRM2015 非基础语言环境下产品无法新建的问题
- MySQL【Delete误操作】数据恢复【转】
- Spark架构与作业执行流程简介
- Django CSRF提交遇见的问题
- python-flask-Flask-SQLAlchemy与Flask-Migrate联合进行数据化迁移
- 初学html的单词笔记
- DMA直接内存存取原理
- js实现ajax请求
- SWIFT中使用AFNetwroking访问网络数据