flume hdfs配置详解
flume采集中HDFS参数解析
就是个备忘录,方便以后直接查阅,不用再网上找了!!!!
配置解析
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。
- channel
- type :hdfs
- path
写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/
可以使用flume提供的日期及%{host}表达式。
- filePrefix
默认值:FlumeData
写入hdfs的文件名前缀,可以使用flume提供的日期及%{host}表达式。
- fileSuffix
写入hdfs的文件名后缀,比如:.lzo .log等。
- inUsePrefix
临时文件的文件名前缀,hdfs sink会先往目标目录中写临时文件,再根据相关规则重命名成最终目标文件;
- inUseSuffix
默认值:.tmp
临时文件的文件名后缀。
- rollInterval
默认值:30
hdfs sink间隔多长将临时文件滚动成最终目标文件,单位:秒;
如果设置成0,则表示不根据时间来滚动文件;
注:滚动(roll)指的是,hdfs sink将临时文件重命名成最终目标文件,并新打开一个临时文件来写入数据;
- rollSize
默认值:1024
当临时文件达到该大小(单位:bytes)时,滚动成目标文件;
如果设置成0,则表示不根据临时文件大小来滚动文件;
- rollCount
默认值:10
当events数据达到该数量时候,将临时文件滚动成目标文件;
如果设置成0,则表示不根据events数据来滚动文件;
- idleTimeout
默认值:0
当目前被打开的临时文件在该参数指定的时间(秒)内,没有任何数据写入,则将该临时文件关闭并重命名成目标文件;
- batchSize
默认值:100
每个批次刷新到HDFS上的events数量;
- codeC
文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy
- fileType
默认值:SequenceFile
文件格式,包括:SequenceFile, DataStream,CompressedStream
当使用DataStream时候,文件不会被压缩,不需要设置hdfs.codeC;
当使用CompressedStream时候,必须设置一个正确的hdfs.codeC值;
- maxOpenFiles
默认值:5000
最大允许打开的HDFS文件数,当打开的文件数达到该值,最早打开的文件将会被关闭;
- minBlockReplicas
默认值:HDFS副本数
写入HDFS文件块的最小副本数。
该参数会影响文件的滚动配置,一般将该参数配置成1,才可以按照配置正确滚动文件。
待研究。
- writeFormat
写sequence文件的格式。包含:Text, Writable(默认)
- callTimeout
默认值:10000
执行HDFS操作的超时时间(单位:毫秒);
- threadsPoolSize
默认值:10
hdfs sink启动的操作HDFS的线程数。
- rollTimerPoolSize
默认值:1
hdfs sink启动的根据时间滚动文件的线程数。
- kerberosPrincipal
HDFS安全认证kerberos配置;
- kerberosKeytab
HDFS安全认证kerberos配置;
- proxyUser
代理用户
- round
默认值:false
是否启用时间上的”舍弃”,这里的”舍弃”,类似于”四舍五入”,后面再介绍。如果启用,则会影响除了%t的其他所有时间表达式;
- roundValue
默认值:1
时间上进行“舍弃”的值;
- roundUnit
默认值:seconds
时间上进行”舍弃”的单位,包含:second,minute,hour
示例:
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
当时间为2015-10-16 17:38:59时候,hdfs.path依然会被解析为:
/flume/events/20151016/17:30/00
因为设置的是舍弃10分钟内的时间,因此,该目录每10分钟新生成一个。
- timeZone
默认值:Local Time
时区。
- useLocalTimeStamp
默认值:flase
是否使用当地时间。
- closeTries
默认值:0
hdfs sink关闭文件的尝试次数;
如果设置为1,当一次关闭文件失败后,hdfs sink将不会再次尝试关闭文件,这个未关闭的文件将会一直留在那,并且是打开状态。
设置为0,当一次关闭失败后,hdfs sink会继续尝试下一次关闭,直到成功。
- retryInterval
默认值:180(秒)
hdfs sink尝试关闭文件的时间间隔,如果设置为0,表示不尝试,相当于于将hdfs.closeTries设置成1.
- serializer
默认值:TEXT
序列化类型。其他还有:avro_event或者是实现了EventSerializer.Builder的类名。
配置实例-针对hdfs生成多个文件的情况
下面的配置中,在HDFS的/tmp/lxw1234/目录下,每天生成一个格式为20151016的目录,
目标文件每5分钟生成一个,文件名格式为:log_20151016_13.1444973768543.lzo
目标文件采用lzo压缩。
a1.sinks.sink1.type = hdfs
a1.sinks.sink1.hdfs.path = /cdh5/tmp/%Y%m%d
a1.sinks.sink1.hdfs.filePrefix = log_%Y%m%d_%H
a1.sinks.sink1.hdfs.fileSuffix = .lzo
a1.sinks.sink1.hdfs.useLocalTimeStamp = true
a1.sinks.sink1.hdfs.writeFormat = Text
a1.sinks.sink1.hdfs.fileType = CompressedStream
a1.sinks.sink1.hdfs.rollCount = 0
a1.sinks.sink1.hdfs.rollSize = 0
a1.sinks.sink1.hdfs.rollInterval = 600
a1.sinks.sink1.hdfs.codeC = lzop
a1.sinks.sink1.hdfs.batchSize = 100
a1.sinks.sink1.hdfs.threadsPoolSize = 10
a1.sinks.sink1.hdfs.idleTimeout = 0
a1.sinks.sink1.hdfs.minBlockReplicas = 1
最新文章
- iOS网络4——Reachability检测网络状态
- Oracle存储过程例子:运用了正则表达式、数组等
- List<;List<;double>;>; lsls = null; 根据double值来重新排序lsls...
- 使用IntelliJ IDEA 14和Maven创建java web项目
- R Tools for Visual Studio
- [iOS]把16进制(#871f78)颜色转换UIColor
- Python学习 之 内建函数
- 设计一个简单的,低耗的能够区分红酒和白酒的感知器(sensor)
- hdu 5455 Fang Fang 坑题
- 在webAPI的BaseController上使用RoutePrefix
- 20175208 《Java程序设计》第七周学习总结
- java8 简便的map和list操作
- mysql的初次使用操作
- 【学习总结】 小白CS成长之路
- jsp中相对路劲
- python爬虫入门---第四篇:网站对爬虫的限制及突破测试
- 深入理解 JS 引擎执行机制(同步执行、异步执行以及同步中的异步执行)
- fiddler无法与手机连接是什么原因
- 有效集 matlab代码
- firewall和iptables