单机安装hadoop集群
一 、安装前准备
1.VMware虚拟内容
2.Linux系统 （CentOS-6.9-min）
3.jdk 1.8 rpm或bin文件
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
4.hadoop 安装文件 rpm或bin文件
https://hadoop.apache.org/releases.html
5.SecureCRT 本人喜欢用这个
6.规划好ip段
cmd 查看自己的ip; 192.168.50.3起
192.168.50.11 master
192.168.50.12 slave1/node1
192.168.50.13 slave2/node2
192.168.50.14 slave3/node3
二 、安装
安装虚拟软件...略；VMware 软件有三种网络设置，本文使用的是NAT方式，主要是它对ip设置比较容易不会对外物理机造成干扰.
安装完软件开始安装centOS
一路Next过来，到
我选的是自定义方式，这个主要是类似windows 分盘，我这是简单的分成三个：一个根目录，一个启动，一个swap
接着一直Next到底重启就安装结束；关机拍个快照方便后面使用的时候又来一次安装省时省力.
3.开始配置网络和其他节点虚拟机，此时就用到上面规划的ip
主节点名称安装的时候就已经设置好了所以不用再改，直接配置网络ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0
ip设置好后就配置网络映射关系
vi /etc/hosts
映射关系配置文件，避免mac地址的冲突
rm –rf /etc/udev/rules.d/70-persistent-net.rules
关闭防火墙 service iptables stop或chkconfig iptables off 重启网卡 service network restart
到此主节点的网络已经配置完成，可以测试一下网络是否通了,是否发现局域网已经可以了，但外网不行如果要配置外网只需把dns2本地物理ip设置为物理机的网关就行,网络好了就可以SecureCRT 连接了.
开始安装jdk 和 hadoop （这个地方你可以关闭机器拍个快照后面在安装使用scp命令拷贝到其他节点）
安装目录一定的记住，虽然后面可以用命令查看到安装目录不过文件保存的太深麻烦；
我自己安装的都放在apps下，根目录下新建 apps目录后 Alt+P 打开SFTP界面 拖拽jdk和hadoop文件上传
文件上传完，可以使用tar命令去解压安装了 (安装完顺手删除gz文件)
tar -zxvf jdk-8u181-linux-x64.tar.gz -C apps/
tar -zxvf hadoop-3.1.1.tar.gz -C apps/
接下来配置jdk环境变量了 vi /etc/profile
export JAVA_HOME=/root/apps/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
保存后 source /etc/profile 刷新;使用java -verison 看看是否配置成功
hadoop 的后面在配置 主机配置到处结束，可以直接关机快照后配置节点
三 、节点配置
1.节点配置相对第一次简单很多了，使用vm软件的克隆快速备份出节点,备份好记得开机前重新生成mac地址避免冲突
配置节点名称 hostname slave1 如果还不行执行 # sysctl kernel.hostname=slave1 强制修改
然后 vi /etc/sysconfig/network
2.ip地址配置
vi /etc/sysconfig/network-scripts/ifcfg-eth0
这里是和host文件一一对应 如slave1 是192.168.50.12
3.重启网卡 service network restart
4.测试是否可以和其他机器通信 ping 192.168.50.11
到处节点1配置完成。。其他节点参照步骤就行了，虚拟机已经部署就位。
最新文章
- 51nod 1027大数乘法
- tomee 系列问题
- CCF真题之出现次数最多的数
- 项目解析- JspLibrary - part3
- C# 线程抛异常
- hibernate+spring+mvc+Easyui框架模式下使用grid++report的总结
- Java数据流格式转换
- Bootstrap Paginator分页插件+ajax 实现动态无刷新分页
- C++反汇编第五讲,认识多重继承,菱形继承的内存结构,以及反汇编中的表现形式.
- 深入理解Java类加载器(1)：Java类加载原理解析
- 理解、学习与使用 Java 中的 Optional
- Lintcode470-Tweaked Identical Binary Tree-Easy
- 剑指offer——包含min函数的栈
- window、location、location.href、self、top简单介绍
- JavaScript 变量作用域 详解
- 利用django信号实现计数功能
- oracle归档日志关闭和打开
- MySQL 第三篇：表操作
- LR检查点
- Django项目中模板标签及模板的继承与引用【网站中快速布置广告】