window 中安装 hadoop
win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机
开始接触Hadoop,听人说一般都是在Lunix下部署Hadoop,但是本人Lunix不是很了解,所以Google以下如何在Win10下安装Hadoop(之后再在Lunix下弄),找到不少文章,以下是主要参考的文章:
1、Hadoop installation on windows without cygwin in 10 mints
3、Apache Hadoop for Windows Platform
这里是按照第一篇文章操作的。
一、安装jdk,地址为http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 具体的操作以及配置环境变量这里就不演示了,这里有一点需要注意的是默认会安装在C:\Program Files 下,开始我也是安装在这里,但是后来报错了,报什么“JAVA_HOME”的错误具体的记不清了。查了一下说是因为安装路径中有空格,晕了,所以安装在如下目录:
二、下载Hadoop,地址为 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/ 这里选择的是hadoop-2.7.3.tar.gz
三、将其解压到某一文件夹,这里为D:\hadoop\hadoop-2.7.3
四、添加“HADOOP_HOME”环境变量,并添加到Path环境变量中,按照下图操作
五、修改Hadoop配置文件,在这之前你要先下载sardetushar_gitrepo_download ,之后解压,删掉D:\hadoop\hadoop-2.7.3目录下的bin、etc文件夹,用刚刚解压的替换。
1、D:\hadoop\hadoop-2.7.3\etc\hadoop\core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2、D:\hadoop\hadoop-2.7.3\etc\hadoop\mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3、D:\hadoop\hadoop-2.7.3\etc\hadoop\hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/data/datanode</value>
</property>
</configuration>
这个配置这里要感谢一下这篇帖子:http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop 按照第一篇教程配置会出错的!!!
如果你的路径形如d:/hadoop/data/namenode 就会出现上图错误,如果路径是在E:,那么上图中的异常就会是E
4、D:\hadoop\hadoop-2.7.3\etc\hadoop\yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5、D:\hadoop\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd (修改JDK的安装路径)(注意,如果jdk在C:\Program Files下,就使用C:\PROGRA~1代替)
六、格式化HDFS文件系统,hdfs namenode -format 如下图,
如果这一步没有什么异常基本没有问题了。
七、在命令行(管理员)将目录指向D:\hadoop\hadoop-2.7.3\sbin,键入“start-all”
Namenode、Datanode、YARN resourcemanager、YARN nodemanager四个进程启动成功,再看一下网站截图:
localhost:8088
localhost:50070
最后我们可以使用“stop-all”停止Hadoop
原文章:https://www.cnblogs.com/du-blog/p/5998388.html
最新文章
- Core Java 总结(字符和字符串类问题)
- android nio
- PHP基础 之 数组(一)
- linux文件分割(将大的日志文件分割成小的)
- 【crunch bang】字体美化
- SQL 跟踪方法相关介绍
- iOS 通览(一) - 技巧、特性及规范
- 代码演示C#中string和StingBuilder内存中的区别
- bzoj3673 bzoj3674可持久化并查集
- 关于Entity Framework 5 从数据库生成模型时没有字段注释的解决方法!
- Flask+Mysql搭建网站之数据库问题
- 什么是工程师文化?各位工程师是为什么活的?作为一个IT或互联网公司为什么要工程师文化?
- Spring中Bean的命名问题及ref和idref之间的区别
- linux(Ubuntu)下mysql字符集完美解决
- vb.net_介绍
- 杭电15题 The Cow Lexicon
- SQL Server--导入和导出向导
- win7下使用apache ab 比较测试node与 tomcat
- SAP MM 标准采购组织的分配对于寄售采购订单收货的影响
- win 10 安装 maven安装包
热门文章
- sencha警告:[WARN][Anonymous] [Ext.Loader] Synchronously loading &#39;Ext.field.Text&#39;
- R语言的并行运算(CPU多核)
- Luogu 4755 Beautiful Pair
- Luogu 1580 [NOIP2016] 换教室
- PHP中循环结构之foreach循环语句
- GCC 4.7相对4.6.x的改进点
- Kernel的意义
- mobiscroll_2.15.1
- dubbo 安装部署Windows
- phpstudy 部署php项目