Ubuntu 14.10 下Hadoop HttpFS 配置
因为hadoop集群中需要配置一个图形化管理数据的截面,后来找到HUE,那么在配置HUE的过程中,发现需要配置httpfs,因为配置了httpfs,hue才能去操作hdfs中的数据。
HttpFs能干啥呢,它可以使你能在浏览器中管理HDFS上的文件,例如在HUE中;它还提供了一套REST风格的API用来管理HDFS
1 集群环境
Ubuntu-14.10
openjdk-7
hadoop-2.6.0 HA(双NN)
hue-3.8.1(development)
2 安装
因为hadoop中自带了httpfs所以,这里不需要下载其他包,只需要进行一下配置
2.1 core-site.xml,添加如下
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
<description>第二个hadoop是启动httpfs的用户名</description>
</property> <property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
<description>第二个hadoop是启动httpfs的用户组名</description>
</property>
注意:hadoop.proxyuser.{hadoop}.hosts第二个是启动httpfs的用户名
如果是需要配置用户代理,需要在httpfs-site.xml中添加。
到此配置完毕,启动httpfs,进入hadoop sbin下,运行
httpfs.sh start
启动成功后jps会多一个Bootstrap 进程。
浏览器访问http://localhost:14000/
页面显示:HttpFs service, service base URL at /webhdfs/v1.
根目录为:/webhdfs/v1
参考:
http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html
http://duguyiren3476.iteye.com/blog/2209388
http://blog.cheyo.net/90.html
http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html
http://blog.csdn.net/ganglia/article/details/25902873
最新文章
- [转]webpack
- vim常用操作
- 酶切位点分析(the analysis of enzyme sites)
- Django1.9开发博客(10)- 全文搜索
- Java中类名与文件名的关系
- 开机流程与主引导分区(MBR)——鸟哥私房菜
- 怎样对ListView的项进行排序
- ARM平台的内核模块编写与安装
- Android Studio:Error:Execution failed for task &#39;:app:mergeDebugResources&#39;. >; Some file crunching failed, see logs for details
- .net中用到的一些方法
- B-number
- Android Studio安装Genymotion插件
- Android源码浅析(三)——Android AOSP 5.1.1源码的同步sync和编译make,搭建Samba服务器进行更便捷的烧录刷机
- fedora make: gcc:命令未找到(解决方法)
- 在右键菜单中加入BitLocker重新上锁功能
- photoKit使用笔记
- golang单例模式
- C# 语法四 修饰符
- DNS原理入门
- MySQL用户认证及权限控制