Hadoop入门 运行环境搭建
模板虚拟机
1 硬件
说明:
1.hadoop100.vmdk生成的物理磁盘文件,为了方便管理放在hadoop100文件夹下。
2 操作系统
磁盘分区：选择自定义-点击完成-进行分区
/boot 文件系统选ext4
swap 当内存不够时由此区域冒充硬盘
网络和主机名
3 IP地址和主机名称
需要进行三个地方的ip地址配置:Hadoop100 服务器、vm、windows服务器
修改的目的:宿主机windows和虚拟机linux能够进行网路连接,同时虚拟机linux可以通过宿主机window进入互联网
vm
子网IP192.168.10.0 网关IP192.168.10.2
编辑器 - 虚拟网络编辑器
虚拟网卡网关需要和真实网卡网关一致
windows10
IP地址192.168.10.1
修改默认网关192.168.10.2,首选DNS服务器192.168.10.2
Hadoop100服务器
配置网卡
配置静态IP地址192.168.10.100,默认网关192.168.10.2,DNS192.168.10.2
作用:因为服务器的ip总是不变的，
命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 1 按esc切换模式 ins插入
:wq # 输入:wq退出文件
# 2 配置IP地址
# IP地址的配置方法[static(静态分配)|none(不使用协议)|bootp(bootp协议)|dhcp(DHCP协议)]
# 默认是DHCP动态分配的
BOOTPROTO=static
IPADDR=192.168.10.100 # IP设置
GATEWAY=192.168.10.2 # 网关
DNS1=192.168.10.2 #DNS配置成和网关一样的
NETMASK=255.255.255.0
配置主机名及地址映射
作用:修改主机名为一系列有规律的主机名(方便管理)，并修改hosts文件添加我们需要的主机名和地址映射(方便节点服务器间通过主机名进行通讯)
修改主机名
vim /etc/hostname
修改主机名为Hadoop100,在安装桌面系统的时候已经修改了，这里就不修改啦
修改主机名和地址映射
vim /etc/hosts
通过主机名通讯时,先会去该机的hosts文件找该主机名的ip，(DNS DomainNameSystem 域名系统的规则一层一层找)
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
需求:希望windows可以通过主机名来连接centos
补充:如果是linux主机间.则修改的文件是/etc/hosts
修改windows的主机映射文件(hosts文件)
1.进入c/windows/System32/drivers/etc文件
2.复制hosts文件到桌面
3.打开桌面的hosts文件并添加如下内容
192.168.10.100 hadoop100
4.用桌面上的hosts文件覆盖c/windows/System32/drivers/etc路径中的hosts文件
使用主机名连接
检查
命令:ifconfig
说明:显示或设置网络设备
ping 目的主机
说明:ping测试主机之间网络连通信,测试当前服务器是否可以连接目的主机
hostname
说明:查看主机名
远程访问工具
服务器一般放在机房，我们需要远程访问服务器。
使用的是Xshell，连接hadoop100
把windows的文件传进linux里 xftp
Xshell使用卡一卡的，最后选择使用SecureCRT
其他准备
1 epel-release安装
一个软件仓库，大多数rpm包在官方repository中找不到，所以需要额外安装一个软件仓库
yum install -y epel-release
最小系统版还需要安装
- net-tool 工具包集合，包含ifconfig等命令
- vim 编辑器
yum install -y net-tools
yum install -y vim
2 关闭防火墙
通常单个服务器的防火墙是关闭的，整体对外会设置非常安全的防火墙
# 关闭防火墙
systemctl stop firewalld
# 关闭开机自启防火墙
systemctl disable firewalld.service
3 用户配置管理员权限
目的:方便后期sudo执行root权限的命令。
root用户进行配置，不然会权限不够
vim /etc/sudoers
# 在%wheel行下添加
ranan ALL=(ALL) NOPASSWD:ALL
这行添加不要直接放在root行下面。因为所有用户都属于wheel组，先执行了这行免密后，执行到wheel时，又会被覆盖回需要密码。
/opt/module 用于存放安装的软件
/opt/software 用于存放安装包
4 卸载虚拟机自带的JDK
桌面版本会默认自动安装JDK
rpm -qa | grep -i java | xargs -nl rpm -e --nodeps
rpm -qa：查看所安装的所有rpm软件包
grep -i：忽略大小写
xargs -nl：表示每次只传递一个参数
rpm -e --nodeps:强制卸载软件
rpm -qa | grep -i java执行之后发现查不出东西,我的虚拟机没有安装
最后reboot重启
克隆虚拟机
利用模板及hadoop100，克隆三台虚拟机:hadoop102 hadoop103 hadoop104
克隆
修改主机名/ip
以102为例子
修改IP地址
配置静态IP地址192.168.10.102
命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改主机名
命令:vim /etc/hostname
最后reboot
安装jdk
在hadoop102上安装JDK，因为通常103、104上的JDK是从102上拷贝，所以不需要单独在103、104上安装JDK
1 上传jdk和hadoop安装包
2 解压安装包进module文件夹下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
3 配置JDK环境变量
方便使用到JDK的程序能正常调用JDK
1.进入到JDK后，获取JDK路径 /opt/module/jdk1.8.0_212
2.新建环境变量文件
/etc/profile文件，该文件属于root用户，如果其他用户需要使用sudo vim命令对它进行编辑
profile文件
profile.d目录
按照这个原理，我们自己新建一个my_env.sh文件
3.修改文件后，需要执行source命令使修改后的文件生效
安装hadoop
1 解压安装包进module文件夹下
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
2 配置环境变量
文件路径:/opt/module/hadoop-3.1.3
修改配置文件: vim /etc/profile.d/my_env.sh
修改后执行source /etc/profile使其生效
最新文章
- 第一次尝试编写java
- 在Eclipse中配置Tomcat服务器
- 使用递归方法实现，向FTP服务器上传整个目录结构、从FTP服务器下载整个目录到本地的功能
- ArrayList与LinkedList实现比较
- jQuery 遍历后代
- Factorization Machines 学习笔记（三）回归和分类
- centos主机建立ssh互信
- bitnami redmine 安装插件
- Codeforces 10C Digital Root 法冠军
- 标题:a++和++a的区别
- 隧道6in4 和隧道6to4（GNS3)
- RDLC报表系列--------初级报表
- 第三周作业（三）WordCount
- 签名Android应用程序
- python-多进程类封装
- Ping命令网络监测
- 给iOS开发新手送点福利,简述UILabel的属性和用法
- 如何为Android平台编译 opencv3 和 opencv_contrib (Linux)
- 本地打jar包到本地的Maven出库
- bzoj 4032 [ HEOI 2015 ] 最短不公共子串 —— 后缀自动机+序列自动机