Hadoop及子项目备注
2024-09-03 16:10:48
Hadoop Common
Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。
Avro
Avro是doug cutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。
Chukwa
Chukwa是基于Hadoop的大集群监控系统，由yahoo贡献。
HBase
基于Hadoop Distributed File System，是一个开源的，基于列存储模型的分布式数据库。
HDFS
分布式文件系统
Hive
hive类似CloudBase，也是基于hadoop分布式计算平台上的提供data warehouse的sql功能的一套软件。使得存储在hadoop里面的海量数据的汇总，即席查询简单化。hive提供了一套QL的查询语言，以sql为基础，使用起来很方便。
MapReduce
实现了MapReduce编程框架
Pig
Pig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。Yahoo网格运算部门开发的又一个克隆Google的项目Sawzall。
ZooKeeper
Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
最新文章
- Understand:高效代码静态分析神器详解（转）
- apache的hadoop升级到CDH hadoop2.0时遇到的问题及解决
- [LeetCode]题解（python）：123-Best Time to Buy and Sell Stock III
- js五种设计模式
- 四十年前的 6502 CPU 指令翻译成 JS 代码会是怎样
- Mysql,zip格式安装、修改密码、建库
- Python/Django-Web原理（一）
- 如何实现 集群化/Session 复制-doc(cluster-howto.html)
- 广州.NET微软技术俱乐部提技术问题的正确方式
- HttpReponse
- stand up
- Vue-Router导航守卫：
- Linux系统 - 源码编译安装Nginx
- 【JSOI2018】潜入行动
- BZOJ3237:[AHOI2013]连通图(线段树分治,并查集)
- iOS 使用xib定义一个View，修改frame无效问题解决
- Scrum Meeting 7
- new sh file
- Unity实现简单的AR
- Ubuntu 12.04 下 Sublime Text 3 Build 3047 破解