一. 拓扑结构

1. 串行模式

这种模式是将多个flume给顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。

2. 单Source多Channel,Sink模式(复制模式)

Flume支持将事件流向一个或者多个目的地。这种模式将数据源复制到多个channel中,每个channel都有相同的数据,sink可以选择传送的不同的目的地。

3. 单Source,Channel多Sink模式(负载均衡)

Flume支持使用将多个sink逻辑上分到一个sink组,flume将数据发送到不同的sink,主要解决负载均衡和故障转移问题。

4. 聚合模式

这种模式是我们最常见的,也非常实用,日常web应用通常分布在上百个服务器,大者甚至上千个、上万个服务器。产生的日志,处理起来也非常麻烦。

用flume的这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase、jms等,进行日志分析。

二. Agent内部原理

最新文章

  1. [知识整理]Java集合
  2. int和Integer的区别
  3. AC自动机 - 关于Fail指针
  4. uva 1639--精度处理方法之取对数(uva 1639)
  5. 【英语】Bingo口语笔记(76) - 不知如何应答的场景对话
  6. [009]C---关于输出文本的打印问题
  7. COJ 0578 4019二分图判定
  8. hdu 4277
  9. 源码安装apache及配置转发
  10. 学号:201521123116 《java程序设计》第二周学习总结
  11. Javamail pop3连接QQ邮箱遇到最深的坑
  12. 完整备份和差异备份数据库的SQL脚本
  13. this的四种用法
  14. Quartz公共类,log4net 日志分目录 ,调度任务。
  15. Cheating sheet for vim
  16. Python介绍及环境配置
  17. 【Android】Android 代码判断当前设备是否为模拟器
  18. web中icon 图标问题
  19. HDMI EDID 处理过程
  20. java8新特性(二)_lambda表达式

热门文章

  1. Excel VBA Range对象基本操作应用示例
  2. 编程语言——C----细节
  3. 一点二次插值、二点二次插值 ,matlab
  4. + - ! function($) (), function 前面的符号意思
  5. August 30th 2017 Week 35th Wednesday
  6. 36、XmlReader与 XMLWriter(抽象类)
  7. 创建工程支持scala代码开发
  8. SpringBoot接口返回去掉空字段
  9. programming-languages学习笔记--第6部分
  10. [19/04/17-星期三] Java的动态性_反射(Reflection)机制