hadoop系列(一)window10下hadoop安装
风闻win10不需要cygwin就能用hadoop了,赶紧试试。
去官网下载hadoop-2.8.3,然后去 https://github.com/steveloughran/winutils 下载hadoop的windows插件工具
解压hadoop-2.8.3,配置环境变量HADOOP_HOME和path : %HADOOP_HOME%\bin ,到winutils找到对应的2.8.3版本的插件,覆盖到hadoop的bin目录。
然后修改几个hadoop的配置文件,都在%HADOOP_HOME%\etc\hadoop下:
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
httpfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
然后配置一下hadoop里的JAVA_HOME,到hadoop-env.cmd里修改: set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_201
里边如果直接用C:\Program Files这种带空格的路径是不行的会报错,用PROGRA~1代替Program Files ,这里是个坑。
用管理员cmd窗口到hadoop的bin目录去执行命令格式化namenode: hadoop namenode -format
然后去sbin执行start-all.cmd脚本,启动。会启动4个进程窗口,观察一下他们的日志有没有异常。
可能会报tmp\hadoop-xxx\dfs\name does not exist这样的错误,说明namenode格式化失败了,这里是个坑,我是去前面说的tmp\hadoop-xxx\dfs下面手工建一个name目录,然后重新执行hadoop namenode -format就可以了。再重新sbin\start-all.cmd ,日志无异常,启动成功。
管理控制台:
http://localhost:8088/cluster 资源管理
最新文章
- Windows 7安装解压版MySQL 5.6(不包含配置文件优化)
- 小清新cygwin,正在诞生中
- 转--Android如何在java代码中设置margin
- HDU 4648 Magic Pen 6 思路
- 瑞昱Realtek(Realtek HD Audio Driver)音频声卡驱动R2.49 for Win7_Vista
- jvm莫名退出问题解决
- J2SE知识点摘记(十七)
- CSS3制作
- [TensorFlow] Basic Usage
- 32位汇编第三讲,RadAsm,IDE的配置和使用,以及汇编代码注入方式
- ajax 发送json 后台接收 遍历保存进数据库
- Python----多元线性回归
- Netty 中ChannelOption的含义以及使用的场景
- cmd 查看端口
- Eclipse Groovy插件使用时出现的错误 org.eclipse.core.runtime.InvalidRegistryObjectException: Invalid registry object
- Linux 中的文件锁
- 万恶的浏览器缓存 Vuex state里面的成员改名后浏览器不会马上更新
- ES6高频面试题目整理
- 《DSP using MATLAB》Problem 3.3
- Python3 sorted() 函数