Hadoop Mac OSX 安装笔记
本次测试安装的机器为Mac Book Pro, 系统为 OS X 10.9.4。Hadoop版本2.4.1。
使用Java版本为Oracle的JDK 1.6.0_65。
1. 下载安装 Hadoop2.x
此处下载的是 2.4.1,下载后解压缩。解压缩后的目录为 hadoop-2.4.1/
2. 修改配置
(1) hadoop-2.4.1/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(2) hadoop-2.4.1/etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(3) hadoop-2.4.1/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/Library/Java/Home
export HADOOP_PREFIX=/Users/beef_in_jp/Documents/hadoop/hadoop-2.4.1
(4) 确认ssh
$ ssh localhost
如果上面的指令不成功的话,执行以下指令(创建RSA密钥,将公钥导入至用户认可密钥集中,这样ssh localhost就可以不用输入密码而登录了)。:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3. 分布式文件系统(DFS)的初始化和启动 (Pseudo-Distributed模式)
(1) 格式化文件系统
./bin/hdfs namenode -format
执行完成后,输出结果中可以看到:
14/09/24 15:01:29 INFO common.Storage: Storage directory /tmp/hadoop-beef_in_jp/dfs/name has been successfully formatted.
(2) 启动文件系统:
./sbin/start-dfs.sh
输出结果中有如下错误:
2014-09-24 15:08:09.682 java[37564:1003] Unable to load realm info from SCDynamicStore
google了一下,http://blog.csdn.net/feitongxunke/article/details/37592573 中提到了要在hadoop-env.sh中添加如下配置:
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
(3) 在浏览器中确认名称节点的网页入口: http://localhost:50070/
(4) 执行MapReduce任务的Example。
创建HDFS目录
./bin/hdfs dfs -mkdir /user
./bin/hdfs dfs -mkdir /user/<username>
可以看一下是否创建成功:
./bin/hdfs dfs -ls
执行hadoop自带的测试任务:
bin/hdfs dfs -put etc/hadoop input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'
查看执行结果:
$ bin/hdfs dfs -get output output
$ cat output/*
(5) 关闭文件系统
sbin/stop-dfs.sh
4. 配置和启动YARN
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动:
sbin/start-yarn.sh
通过网页入口查看运行状态:http://localhost:8088/
关闭:
sbin/stop-yarn.sh
最新文章
- 窥探Vue.js 2.0 - Virtual&#160;DOM到底是个什么鬼?
- 《Entity Framework 6 Recipes》中文翻译系列 (31) ------ 第六章 继承与建模高级应用之自引用关联
- WebPack系列:Webpack编译的代码如何在tomcat中使用时静态资源路径不对的问题如何解决
- Android消息推送——JPush极光推送
- 关于display的那些事儿!
- Android实现自定义字体
- Thread的第一天学习
- Hadoop-2.2.0中文文档—— Common - 服务层认证
- Chart图形 [功能帮助类] Assistant创建显示图像的标签和文件 (转载)
- oracle解析xml完成版第二次修改
- 移动端网页JS框架-手机触摸事件框架,日历框架带滑动效果
- 默认情况下安装的应用程序C盘后提示权限不足,当你开始介意。。。
- 2018OKR年中回顾
- Vue-admin工作整理(十一):Vuex-动态注册模块
- JavaScript 小工具
- PHP开发——基础
- C++的STL之map自动排序特性
- VCL界面控件DevExpress VCL Controls发布v18.2.4|附下载
- html _ 提取html片段内的纯文本
- 5分钟了解Mockito
热门文章
- Linux 配置双机SSH信任
- 异常:Struts:org.springframework.beans.factory.CannotLoadBeanClassException: Cannot find BasicDataSource
- Mysql触发器总结
- 夺命雷公狗ThinkPHP项目之----企业网站16之文章列表页的完善(关联查询)
- dataTabel转成dataview插入列后排序
- Android 带checkbox的listView 实现多选,全选,反选,删除
- UISlider控件属性及方法(转)
- laravel5.1启动详解
- tomcat缓存静态资源深入
- javaWeb 使用jsp开发 if 标签