Flume(2)-拓扑结构与Agent内部原理
2024-08-25 17:42:03
一. 拓扑结构
1. 串行模式
这种模式是将多个flume给顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。
2. 单Source多Channel,Sink模式(复制模式)
Flume支持将事件流向一个或者多个目的地。这种模式将数据源复制到多个channel中,每个channel都有相同的数据,sink可以选择传送的不同的目的地。
3. 单Source,Channel多Sink模式(负载均衡)
Flume支持使用将多个sink逻辑上分到一个sink组,flume将数据发送到不同的sink,主要解决负载均衡和故障转移问题。
4. 聚合模式
这种模式是我们最常见的,也非常实用,日常web应用通常分布在上百个服务器,大者甚至上千个、上万个服务器。产生的日志,处理起来也非常麻烦。
用flume的这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase、jms等,进行日志分析。
二. Agent内部原理
最新文章
- [知识整理]Java集合
- int和Integer的区别
- AC自动机 - 关于Fail指针
- uva 1639--精度处理方法之取对数(uva 1639)
- 【英语】Bingo口语笔记(76) - 不知如何应答的场景对话
- [009]C---关于输出文本的打印问题
- COJ 0578 4019二分图判定
- hdu 4277
- 源码安装apache及配置转发
- 学号:201521123116 《java程序设计》第二周学习总结
- Javamail pop3连接QQ邮箱遇到最深的坑
- 完整备份和差异备份数据库的SQL脚本
- this的四种用法
- Quartz公共类,log4net 日志分目录 ,调度任务。
- Cheating sheet for vim
- Python介绍及环境配置
- 【Android】Android 代码判断当前设备是否为模拟器
- web中icon 图标问题
- HDMI EDID 处理过程
- java8新特性(二)_lambda表达式
热门文章
- Excel VBA Range对象基本操作应用示例
- 编程语言——C----细节
- 一点二次插值、二点二次插值 ,matlab
- + - ! function($) (), function 前面的符号意思
- August 30th 2017 Week 35th Wednesday
- 36、XmlReader与 XMLWriter(抽象类)
- 创建工程支持scala代码开发
- SpringBoot接口返回去掉空字段
- programming-languages学习笔记--第6部分
- [19/04/17-星期三] Java的动态性_反射(Reflection)机制