大数据-hadoop学习记录
2024-09-06 00:56:34
hadoop 创始人 DogCutting
高效，可扩展性，高容错性，价格低廉的大数据软件处理架构
主要应用于数据分析、数据实时查询、数据挖掘领域
HDFS（HadoopDistributeFileSystem 分布式文件系统）
总结：从字面意思我们可以简单理解为：hadoop是用来处理大数据的，HDFS是用来存储大数据的。
-*-hadoop项目结构-*-
MapReduce 主要用于离线计算
Tez （DAG计算）基于YAN之上生成无向循环图，优化计算
Spark 和Mapreduce相似在内存中进行运算，性能高
HIve hadoop上的数据仓库(可用于企业数据分析)，会把SQL语句转化为MapReduce运行
Pig 一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言PigLatin
Oozie 工作流调度工具
Zookeeper 分布式调度服务
Hbase Hadoop上的非关系型分布式数据库（分布式列数据库）
flume 流数据日志收集分析
Sqoop 在hadoop和传统平台之间互导数据
Ambari 安装部署工具
最新文章
- jQuery的deferred对象学习
- jquery实现输入框实时输入触发事件代码
- 现在写 PHP，你应该知道这些
- Java异常处理和设计【转】
- Solaris 10下Qt编译Oracle 10g驱动
- spring源码学习之：xml配置文件标签自定义
- ASP.NET的一套笔试题
- Demo Swig
- hdu2039java
- FragmentTransaction.addToBackStack无效的问题
- ARM Cortex M3(V7-M架构)硬件启动程序 一
- 使用MSPT实现二层冗余
- jdbc_servlet基础增删改分页2（userinfo表的）
- OAuth2.0记录
- Linux技术栈整理一：系统体系结构
- window 10 删除带有管理员权限的Oracle文件夹
- UIWebView的高度不对问题
- 查看当前的app运行的是哪个Activity
- HLS playlist典型示例
- Linux 文件特殊权限详解[suid/sgid/t]