hadoop备记
2024-10-15 14:27:37
Hadoop 的优势
Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:
1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。
2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完毕计算任务的, 这些集簇能够方便地扩展到数以千计的节点中。
3.高效性。Hadoop 可以在节点之间动态地移动数据, 以保证各个节点的动态平衡, 因此其处理速度很快。
4.高容错性。Hadoop 可以自己主动保存数据的多份副本, 而且可以自己主动将失败的任务又一次分配。
如今的话Hadoop已经包括非常多项目。只是核心内容是MapReduce和Hadoop分布式文件系统。这里spark的话实时性性能方面比hadoop高非常多。这里我不多说什么。(http://www.zdnet.com/faster-more-capable-what-apache-spark-brings-to-hadoop-7000026149/能够看看spark与hadoop比較)
与Hadoop相关的Common,Avro,Chukwa,Hive,HBase等项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。
最新文章
- SQL Developer报错:Unable to find a Java Virtual Machine解决办法
- 前端学习实践笔记--JavaScript深入【2】
- php加载xml编码错误,“Error: Input is not proper UTF-8, indicate encoding! ”
- Github学习之路-小试牛刀,练习Git 的基本操作
- LIB和DLL的区别与使用
- SQL Server Profiler监控执行语句
- 剑指offer--面试题7
- JavaScript备忘录-原型
- android的消息处理机制(图+源码分析)——Looper,Handler,Message
- windows接口被占用
- 一步一步学EF系列2【最简单的一个实例】
- 基于ASP.MVC票据FormsAuthenticationTicket身份认证
- hiveql函数笔记(二)
- 关于jfinal发送邮件走过的坑
- OO博客作业2:第5-7周作业总结
- Dynamics 365 CRM 添加自定义按钮
- Babel总结
- SpringBoot+mybatis实现多数据源支持
- 【转载】Exchange 2010配置与安装实用手册
- Python——eventlet.greenthread
热门文章
- IDEA如何打包可运行jar的一个问题。
- LINUX关闭防火墙(转载)
- asp.net中时间差的问题
- cyg_flag 系列函数
- ANDROID_MARS学习笔记_S01原始版_005_ProgressBar
- java.utils.HashMap数据结构分析(转)
- [OJ] Single Number II
- NuGet学习笔记(1)——初识NuGet及快速安装使用
- 手势识别官方教程(6)识别拖拽手势用GestureDetector.SimpleOnGestureListener和onTouchEvent
- WIP Job >; APP-WIP-25191 or Pending Close