暑假学习二 8.24 Hadoop的环境配置

2024-10-21 13:44:08

今日学习内容：

主要为Hadoop的环境配置，相关配置所需文档可以留言（？）会给发送

1.hadoop介绍：

狭义:

核心组件，Hadoop

hdfs 分布存储

yarn 资源管理和任务调度框架

mapreduce 计算（企业基本不再直接使用）

广义：

围绕Hadoop打造的大数据生态圈

Hadoop发行版本：

开源社区：http://hadoop.apache.org/

商业版本：cloudera和hortonworks

Hadoop架构变迁：

1.0-2.0框架优化

2.0-3.0性能优化

2.Hadoop集群概述：

包括，hdfs，yarn 逻辑上分离，物理上在一起，标准的主从架构集群

不存在mapreduce集群，mapreduce是计算框架，位于代码层面，不存在集群的说法

3.Hadoop集群的安装

下载网址;Index of /dist/hadoop/common/hadoop-3.3.0 (apache.org)

课程提供了安装包，有编译好的安装包。

3.1集群角色规划

3.2基础环境准备

部分提前配置过了，以下是验证：

免密登录ssh：

时间同步：

创建统一工作目录：

安装jdk在三台机器上：

node1：先拖动导server目录下

解压并且验证安装：

拷贝到node2下jdk：

node3：修改上面的node2为node3即可

拷贝环境变量：

3.3 拷贝结束后同时重新加载环境变量

使用命令：

source /etc/profile

下面主要通过node1安装，node2，node3通过scp命名

3.4 上传Hadoop资源并且解压：

3.5Hadoop环境配置

配置三类文件：

编辑环境变量

将配置完成后的文件夹以及profile都发送到另外两台机器

至此完成Hadoop的配置文件的修改，并且保证了三台机器都可以识别Hadoop命令

最新文章

热门文章