Flume数据采集准备
2024-09-30 20:42:49
，
flume的官网：http://flume.apache.org/
flume的下载地址：http://flume.apache.org/download.html
这里我们用的是apache版本的flume
解压
改下名字
把不必要的文件删除
flume用户指南官网地址：https://cwiki.apache.org//confluence/display/FLUME/Getting+Started
把节点1的flume分发到节点2 和节点3上去
通过noteap++连接到节点2上
修改下名字
修改配置文件
因为这个配置文件比较乱
我们直接把内容干掉然后自己重新配置
我们可以参考官网 http://flume.apache.org/FlumeUserGuide.html
画红线的地方是数据源的路径
下面配置channel
http://flume.apache.org/FlumeUserGuide.html#memory-channel
下面配置sink
http://flume.apache.org/FlumeUserGuide.html#avro-sink
这里为什么sink的hostname是配置到节点1 呢，因为我们这里节点2 和节点3是各自通过一个flume初步收集数据，节点1再通过一个flume来合并数据
为了方便我们看到配置文件知道是节点2，我们修改一下
把weblogs.log文件分发给节点3
因为节点3的flume没有配置，我们现在就直接用节点2的flume把节点3的覆盖掉了
这个是节点3的，现在看到的是保留了节点2的配置，因为刚刚从节点2复制过来的，现在我们需要修改一下
这个是修改后的
最新文章
- ABP理论学习之应用服务
- MVC是一个经典的设计模式
- 中午游泳很海皮-linux&php
- 标准 DateTime 格式字符串
- Hosting Your Own NuGet Feeds
- HTML -- 标签记录(随着学习不断更新)
- CSS hack技巧
- nginx随着passenger构造ruby on rails页
- ProgressDialog(三)——代号为中心的屏幕上显示ProgressDialog(ProgressBar)
- 彩蛋 Python之道
- Qt5：窗口背景色的设置
- urllib2修改header
- springMVC入门配置及helloworld实例
- django开发中利用 缓存文件 进行页面缓存
- 微信公众平台开发，模板消息，网页授权，微信JS-SDK，二维码生成（4）
- Javascript我学之三函数的参数
- git 每次push和pull都需要提交密码
- Sharepoint 性能之SQL Server内存设置
- LightOJ 1151 Snakes and Ladders（概率DP + 高斯消元）
- pytorch的一些函数