SqoopFlume、Flume、HDFS之间比较
2024-08-29 13:33:28
Sqoop |
Flume |
HDFS |
Sqoop用于从结构化数据源,例如,RDBMS导入数据 |
Flume 用于移动批量流数据到HDFS |
HDFS使用 Hadoop 生态系统存储数据的分布式文件系统 |
Sqoop具有连接器的体系结构。连接器知道如何连接到相应的数据源并获取数据 |
Flume 有一个基于代理的架构。这里写入代码(这被称为“代理”),这需要处理取出数据 |
HDFS具有分布式体系结构,数据被分布在多个数据节点 |
HDFS 使用 Sqoop 将数据导出到目的地 |
通过零个或更多个通道将数据流给HDFS |
HDFS是用于将数据存储到最终目的地 |
Sqoop数据负载不事件驱动 |
Flume 数据负载可通过事件驱动 |
HDFS存储通过任何方式提供给它的数据 |
为了从结构化数据源导入数据,人们必须只使用Sqoop,因为它的连接器知道如何与结构化数据源进行交互并从中获取数据 |
为了加载流数据,如微博产生的推文。或者登录Web服务器的文件,Flume 应都可以使用。Flume 代理是专门为获取流数据而建立的。 |
HDFS拥有自己的内置shell命令将数据存储。HDFS不能用于导入结构化或流数据 |
最新文章
- Undo/Redo for Qt Tree Model
- js实现由分隔栏决定两侧div的大小—js动态分割div
- CentOS 6.5安装 ASM lib
- 详解xml文件描述,读取方法以及将对象存放到xml文档中,并按照指定的特征寻找的方案
- ajax使用post提交中文
- input固定定位后,当input框获取到焦点时,会离开手机软键盘的解决方法
- Java中的类加载器----ClassLoader
- 【风马一族_Android】代码英语之二 布局文件的Android各个参数
- Python系统调用——运行其他程序
- Android中Input型输入设备驱动原理分析<;一>;
- POJ 3683 Priest John&#39;s Busiest Day (2-SAT,常规)
- Swift学习之十四:闭包(Closures)
- MSICE界面和功能分析
- [Swift]LeetCode188. 买卖股票的最佳时机 IV | Best Time to Buy and Sell Stock IV
- H5取经之路——HTML的基本标签
- python中文分词库——pynlpir
- awk使用教程
- ELK 性能(1) — Logstash 性能及其替代方案
- 测试用的数据库Transaction Log太大, 用于缩减它的脚本
- linux mongodb replica set集群安装
热门文章
- db2 improt from coldel0x7c
- hdu 1561(树形dp)
- ArcGIS ArcMap 与 ArcServer关于Python的冲突
- 了解 IMyInterface.Stub
- 一、Android Studio入门——Eclipse快捷键配置
- c++ const(不断跟新)
- Spring Security OAuth2 源码分析
- 第九课——redis集群
- input即时————模糊匹配(纯html+jquery简单实现)
- python [:-1] 与 [::-1]