Kafka与Flume之集成比较
2024-09-08 04:33:00
Kafka与Flume之集成比较
一、Kafka与Flume比较
在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么:
flume:cloudera公司研发:
适合多个生产者;
适合下游数据消费者不多的情况;
适合数据安全性要求不高的操作;
适合与Hadoop生态圈对接的操作。
kafka:linkedin公司研发:
适合数据下游消费众多的情况;
适合数据安全性要求较高的操作,支持replication。
因此我们常用的一种模型是:
线上数据 --> flume --> kafka --> flume(根据情景增删该流程) --> HDFS
二、Flume与kafka集成
1)配置flume(flume-kafka.conf)
# define
a1.sources = r1
a1.sinks = k1
a1.channels = c1 # source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F -c +0 /home/bigdata/datas/flume.log
a1.sources.r1.shell = /bin/bash -c # sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = hadoop1:9092,hadoop2:9092,hadoop104:9092
a1.sinks.k1.kafka.topic = first
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1 # channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100 # bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2) 启动kafkaIDEA消费者
3) 进入flume根目录下,启动flume
$ bin/flume-ng agent -c conf/ -n a1 -f jobs/flume-kafka.conf
4) 向 /home/bigdata/datas/flume.log里追加数据,查看kafka消费者消费情况
$ echo hello > /home/bigdata/datas/flume.log
最新文章
- A Simple OpenGL Shader Example
- Enable Cross-Origin Requests in Asp.Net WebApi 2[Reprint]
- ES6的模块、构建工具及应用的发布
- PowerDesigner(三)-企业架构模型(转)
- 使用Visio进行UML建模
- BZOJ 2342 双倍回文(manacher算法)
- minimum-moves-to-equal-array-elements
- Android 异步加载神器Loader全解析
- jps
- 重学C++ (1)
- brew install nvm
- 说说final关键字(好像有干货)
- centos环境的python、scrapy部署
- Key Technologies Primer 读书笔记,翻译 --- Struct 学习 1
- HDU 1006 Digital Roots
- Flask最强攻略 - 跟DragonFire学Flask - 第十五篇 Flask-Script
- 如何猜出 Y combinator
- WebRTC服务器——Licode 环境搭建
- 【java】构造函数
- 数字序列中某一位数字(《剑指offer》面试题44)
热门文章
- devops-4:Jenkins基于k8s cloud和docker cloud动态增减节点
- 【原创】Python 二手车之家车辆档案数据爬虫
- 10. 选主算法、多版本兼容性及滚动升级 | 深入浅出MGR
- Luogu1527 [国家集训队]矩阵乘法 (整体二分)(Unfinished)
- Linux 08 磁盘管理
- luoguP3224 [HNOI2012]永无乡【线段树,并查集】
- mongo数据同步的三种方案
- 基于bert训练自己的分词系统
- 【java】学习路径21-基本类型的包装类
- Spring的俩大核心概念:IOC、AOP