Windows11安装Hadoop3.3.2
Windows11安装Hadoop3.3.2
JDK 安装
Hadoop的Java版本https://cwiki.apache.org/confluence/display/HADOOP/Hadoop+Java+Versions
>## Hadoop支持的 Java 版本
>
>- Apache Hadoop 3.3 及更高版本支持 Java 8 和 Java 11(仅限运行时)
> - 请使用 Java 8 编译 Hadoop。不支持使用 Java 11 编译 Hadoop: [HADOOP-16795](https://issues.apache.org/jira/browse/HADOOP-16795)-Java 11 编译支持**OPEN** [![img](https://issues.apache.org/jira/secure/viewavatar?size=xsmall&avatarId=21140&avatarType=issuetype)](https://issues.apache.org/jira/browse/HADOOP-16795)
>- 从 3.0.x 到 3.2.x 的 Apache Hadoop 现在仅支持 Java 8
>- 从 2.7.x 到 2.10.x 的 Apache Hadoop 支持 Java 7 和 8
所以安装jdk8来运行Hadoop
官网下载:https://www.oracle.com/java/technologies/downloads/#jre8-windows
选择Windows下的64位安装程序下载
运行安装程序即可,不需配置环境变量
Hadoop 安装
下载解压
阿里云开源镜像站下载:https://mirrors.aliyun.com/apache/hadoop/core/hadoop-3.3.2/
推荐使用下载Bandzip来解压
解压之后的目录
Windows环境变量配置
设置->系统->系统信息
点击高级系统设置,环境变量
在系统变量处新建
HADOOP_HOME
变量值为hadoop的解压目录
D:\SoftWare\hadoop-3.3.2
在系统变量的Path下新建两个变量
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin
hadoop文件配置
hadoop-env.cmd
在D:\SoftWare\hadoop-3.3.2\etc\hadoop目录下
右键编辑,Ctrl+F搜索JAVA_HOME找到set JAVA_HOME这一项,将其修改为jdk8的安装路径
set JAVA_HOME=C:\PROGRA~1\Java\jdk-8
使用PROGRA~1来代替Program Files,是其dos文件名模式下的缩写
直接使用Program Files会报错,里面包含一个空格
在命令行查看hadoop版本,没有报错说明配置成功
hadoop -version
输出信息:
PS C:\Users\Ran> hadoop -version Active code page: 65001 java version "1.8.0_333" Java(TM) SE Runtime Environment (build 1.8.0_333-b02) Java HotSpot(TM) 64-Bit Server VM (build 25.333-b02, mixed mode)
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/SoftWare/hadoop-3.3.2/data/tmp</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/SoftWare/hadoop-3.3.2/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/SoftWare/hadoop-3.3.2/data/datanode</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>
下载 winutils.exe hadoop.dll
Github:https://github.com/cdarlint/winutils
找到对应的版本,下载winutils.exe hadoop.dll,放到hadoop的bin目录下
<img src="../AppData/Roaming/Typora/typora-user-images/image-20220608174808274.png" alt="image-20220608174808274" style="zoom: 50%;" />
<img src="../AppData/Roaming/Typora/typora-user-images/image-20220608180503994.png" alt="image-20220608180503994" style="zoom: 67%;" />
启动测试
进入命令行窗口,格式化hadoop
hadoop namenode -format
输出信息中提示有==namenode has been successfully formatted==即可
启动hadoop,在管理员权限的命令行中输入
start-all.cmd
然后启动四个进程的cmd,启动和报错信息会在里面显示
使用jps命令查看,如下即为正常启动
访问Web页面
http://localhost:9870/
最新文章
- C#异常处理经验(原则与方法)
- 元首的愤怒 SharePoint Apps
- c语言之【#ifdef】
- SQL Server 2012 学习笔记3 增查改删
- Swoole + zphp 改造为专门用来开发接口的框架
- .NET中的 枚举
- Windows下配置PHP支持LDAP扩展方法(wampserver)
- ProcessBuilder 和 Runtime(转)
- Swift - 字符串(String)用法详解
- 浏览器标题栏添加小logo图片,记录一下,方便以后用
- Redis报错 Server started, Redis version 3.2.13 Can&#39;t handle RDB format version 9 Fatal error loading the DB: Invalid argument. Exiting.
- 《java与模式》
- hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息(Locations)
- windows生成dump文件
- NOIP2018 20天训练
- GUI常用对象的属性
- SCS Characteristics
- mysql ->; 索引_07
- java多线程有几种实现方法?线程之间如何同步
- Fiber Network ZOJ 1967(Floyd+二进制状态压缩)