之前接触过很多很多hadoop版本,现在重新搭建平台,面临选择哪个版本的问题。


当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素:
(1)是否为开源软件,即是否免费。
(2) 是否有稳定版,这个一般软件官方网站会给出说明。
(3) 是否经实践验证,这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。
(4) 是否有强大的社区支持,当出现一个问题时,能够通过社区、论坛等网络资源快速获取解决方法。

对于版本选择,dongxicheng在他的博客中做过总结:点击这个链接可以查看。


版本一览表:

现在最新的版本截图:

Apache Hadoop的版本,目前有1.x 和 2.x版本。3.x版本在测试中。

1.x版本,比较经典,使用者很多。2.x版本,和1.x并不兼容。2.x完全推翻了1.x的代码,重新编写的。内部思想有借鉴。

A.经典版本 0.20.2 → 1.0.0 (第一个1.0.0的正式版本) → 1.0.3和1.0.4 (生产环境使用的较多的版本) → 1.1.2, 1.2.1(目前最新版本)

B.上面的0.21.0和0.22.0 这个分枝,就不提了。

C.下面说0.23.0(跨越版本,Yarn框架,第二代MapReduce框架,资源管理和任务调度框架) → xxx →0.23.10(目前最新版本,不过和2.x有点区别,就是不支持HA和Federation)

D.下面就是2.x版本了。将1.x和0.23.0系列合并。

①2.0.x版本:属于2.x系列版本的alpha版本。

②2.1.x版本:属于2.x系列版本的beta版本。

③2.2.0 ,2.3.0 , 2.4.0 正式版本,可用于实际生产环境中。


大部分情况下,我们可以选择

Apache社区版本:
完全开源,免费,非商业。apache社区的hadoop版本分枝较多,而且部分hadoop存在bug。在选择hadoop,hbase,hive等时,需要考虑兼容性。

Cloudera版本:
开源,免费,有商业和非商业版本。是在apache社区版本的hadoop基础上,选择相对稳定版本的hadoop,并在此基础上,进行bug修改和维护。使用者不必考虑hadoop,hbase,hive等在使用过程中,版本兼容性。

Hortonworks版本:
开源,免费,有商业和非商业版本。是在Apache基础上修改,具有apache的特色。

推荐:
实验环境使用cloudera,生产环境,看情况而定。

我分别询问了两个朋友,一个刚刚在平安信托任职大数据岗位,使用的版本是1.X,第二个朋友在安富利任职工程师,推荐我使用cloudera manager5.4.3 对应的hadoop是2.6。由此可知,2.6是最新的版本了,之前我使用的是1.2.1,现在也是时候使用更新的版本了。个人认为,如果是学习,就要学习最新的,如果是生产环境,就要用老一点的版本。

经过纠结,决定选择cloudera manager5.4.3 对应的hadoop是2.6。cloudera manager可以很方便的安装hadoop,方便使用。


Charles 于2015-12-17 Phnom Penh



版权说明:
本文由Charles Dong原创,本人支持开源以及免费有益的传播,反对商业化谋利。
CSDN博客:http://blog.csdn.net/mrcharles
个人站:http://blog.xingbod.cn
EMAIL:charles@xingbod.cn

最新文章

  1. tomcat共享lib里面的jar包
  2. 在引用KindEditor编辑器时,运行时出现以下错误:错误46 找不到类型或命名空间名称“LitJson”(是否缺少 using 指令或程序集引用?)
  3. Movies
  4. 开发备忘:AngularJS Syntax error, unrecognized expression in template file
  5. 配置高可用的Hadoop平台
  6. UAP如何根据DeviceFamily显示不同的页面
  7. POJ 3414 Pots ( BFS , 打印路径 )
  8. 【转】第 02 天:在 Windows 平台必裝的三套 Git 工具
  9. 【Time系列三】简单的计时器(秒表)
  10. 转:如何让LoadRunner实现多个场景运行?
  11. Find Unique pair in an array with pairs of numbers 在具有数字对的数组中查找唯一对
  12. 关于tomcat和jetty的乱码问题
  13. Android:剖析源码,随心所欲控制Toast显示
  14. E - Andrew and Taxi-二分答案-topo判环
  15. JSON.stringify 语法实例讲解+easyui data-options属性+expires【申明:来源于网络】
  16. textfield reload issue and other things reload problem.===================================
  17. nginx常用指令
  18. Confluence 6 使用电子邮件可见
  19. Jumpserver跳板机的搭建和部署
  20. 流程控制<二>

热门文章

  1. eclipse下进行c开发,使用zeromq
  2. this license has been cancelled
  3. 【ORM】关于Dapper的一些常见用法
  4. Python习题持续更新
  5. @angular/cli项目构建--路由2
  6. 利用HTML5开发Android笔记(上篇)
  7. bzoj 4299 Codechef FRBSUM
  8. oracle获得当前时间,精确到毫秒并指定精确位数
  9. gulp之sass 监听文件,自动编译
  10. DropShadowEffect导致下拉框控件抖动