Sqoop

Flume

HDFS

Sqoop用于从结构化数据源,例如,RDBMS导入数据

Flume 用于移动批量流数据到HDFS

HDFS使用 Hadoop 生态系统存储数据的分布式文件系统

Sqoop具有连接器的体系结构。连接器知道如何连接到相应的数据源并获取数据

Flume 有一个基于代理的架构。这里写入代码(这被称为“代理”),这需要处理取出数据

HDFS具有分布式体系结构,数据被分布在多个数据节点

HDFS 使用 Sqoop 将数据导出到目的地

通过零个或更多个通道将数据流给HDFS

HDFS是用于将数据存储到最终目的地

Sqoop数据负载不事件驱动

Flume 数据负载可通过事件驱动

HDFS存储通过任何方式提供给它的数据

为了从结构化数据源导入数据,人们必须只使用Sqoop,因为它的连接器知道如何与结构化数据源进行交互并从中获取数据

为了加载流数据,如微博产生的推文。或者登录Web服务器的文件,Flume 应都可以使用。Flume 代理是专门为获取流数据而建立的。

HDFS拥有自己的内置shell命令将数据存储。HDFS不能用于导入结构化或流数据

最新文章

  1. Undo/Redo for Qt Tree Model
  2. js实现由分隔栏决定两侧div的大小—js动态分割div
  3. CentOS 6.5安装 ASM lib
  4. 详解xml文件描述,读取方法以及将对象存放到xml文档中,并按照指定的特征寻找的方案
  5. ajax使用post提交中文
  6. input固定定位后,当input框获取到焦点时,会离开手机软键盘的解决方法
  7. Java中的类加载器----ClassLoader
  8. 【风马一族_Android】代码英语之二 布局文件的Android各个参数
  9. Python系统调用——运行其他程序
  10. Android中Input型输入设备驱动原理分析<一>
  11. POJ 3683 Priest John's Busiest Day (2-SAT,常规)
  12. Swift学习之十四:闭包(Closures)
  13. MSICE界面和功能分析
  14. [Swift]LeetCode188. 买卖股票的最佳时机 IV | Best Time to Buy and Sell Stock IV
  15. H5取经之路——HTML的基本标签
  16. python中文分词库——pynlpir
  17. awk使用教程
  18. ELK 性能(1) — Logstash 性能及其替代方案
  19. 测试用的数据库Transaction Log太大, 用于缩减它的脚本
  20. linux mongodb replica set集群安装

热门文章

  1. db2 improt from coldel0x7c
  2. hdu 1561(树形dp)
  3. ArcGIS ArcMap 与 ArcServer关于Python的冲突
  4. 了解 IMyInterface.Stub
  5. 一、Android Studio入门——Eclipse快捷键配置
  6. c++ const(不断跟新)
  7. Spring Security OAuth2 源码分析
  8. 第九课——redis集群
  9. input即时————模糊匹配(纯html+jquery简单实现)
  10. python [:-1] 与 [::-1]