Mac上使用虚拟机搭建Hadoop集群
一. mini安装一台centos到虚拟机上
安装过程参考这篇博客http://www.linuxdown.net/install/setup/2015/0906/4053.html
二. 修改网络配置文件
看百度网址是否能ping通,如果可以,使用命令ifconfig查询当前的ip地址
/etc/sysconfig/network-scripts/ifcfg-eth0 进入这个配置文件进行修改,修改后重启网卡
DEVICE=eth0 HWADDR=00:0C:29:CC:88:95 TYPE=Ethernet UUID=bf2fbf08-d925-4b3e-9bec-2327c3385f09
#将网卡设置为开机启动
ONBOOT=yes NM_CONTROLLED=yes #改成none,使用静态ip BOOTPROTO=none PREFIX=24 #此处的网关地址由上一步通过ifconfig查出来的ip进行配置,
#比如查出来的ip是192.168.80.80,那么此处网关就配置为 192.168.80.2 DNS1=192.168.199.2 DNS2=114.114.114.114 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0" LAST_CONNECT=1514653019 USERCTL=no #此处填入过ifconfig查出来的ip IPADDR=192.168.199.131 NETMASK=255.255.255.0 #跟DNS1一样 GATEWAY=192.168.199.2
3. 修改主机名
```
vi /etc/sysconfig/network
HOSTNAME=localhost.localdomain 修改为:
HOSTNAME=自己的主机名
```
关闭防火墙并关闭自启动
关闭防火墙。 1、查看防火墙的状态: service iptables status 2、关闭防火墙: service iptables stop 3、再次查看状态: service iptables status 系统提示:iptables:Firewall is not running. 表示停止成功。 4、最后,关闭防火墙开机自启: chkconfig iptables off 检查是否关闭成功: chkconfig --list iptables 全部为off表示关闭成功。
关闭开机等待时间
vi /boot/grub/menu.lst 将timeout=5,修改即可
拍快照及克隆3份出来当做节点
三. 修改每一台节点上的配置
修改主机名称
vi /etc/sysconfig/network
克隆后网卡冲突解决
vi /etc/udev/rules.d/70-persistent-net.rules
注释掉第一网卡驱动红色标注地方
修改第二个网卡驱动name=“eth0”
记住第二个ATTR{address}=="00:0c:29:95:4a:d3",这个网卡地址后续要用
# PCI device 0x1022:0x2000 (pcnet32) #SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:ac:0c:#39", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
# PCI device 0x1022:0x2000 (pcnet32)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:95:4a:d3", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"修改$ vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR 的值修改成上一步中的网卡地址:00:0c:29:95:4a:d3DEVICE=eth0
HWADDR=00:0C:29:95:4A:D3 #修改
TYPE=Ethernet
UUID=ad391919-c736-4d3d-b24d-1d78427e7c6e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=dhcp #动态获取ip,给2.6那一步使用
IPADDR=192.168.8.111 #增加一行
GATEWAY=192.168.8.2 #增加一行
重启机器
reboot
再次修改$ vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:95:4A:D3
TYPE=Ethernet
UUID=ad391919-c736-4d3d-b24d-1d78427e7c6e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none #修改
IPADDR=192.168.199.132 #填入虚拟机分配的ip,通过ifconfig查询
GATEWAY=192.168.199.2 #根据上一步ip得到的网关
DNS1=192.168.199.2#跟网关一样
DNS2=114.114.114.114
```
在SecureCRT设置免密登陆服务器
这个界面,红处取消打勾
在这个界面,增加4处
四. hadoop00配置hosts文件
vi /etc/hosts
如图所示:
五. 配置服务器ssh免密登陆节点服务器
centos默认已经安装了ssh服务端,4台机都需要安装ssh客户端yum -y install openssh-clients
在每台机器都生成秘钥ssh-keygen
将hadoop00的公钥加到其他3台机的authorized_keys文件中
进入hadoop00的.ssh目录,输入ssh-copy-id 主机名@域名 就可以自动将hadoop00的公钥添加到该主机名的免验证文件中
六. 安装jdk和hadoop
- 在hadoop00上解压安装jdk,并配置环境变量
2. 在hadoop00上解压安装hadoop,并配置环境变量
七. 配置hadoop
hadoop-env.sh
这个文件需要配置JAVA_HOMEexport JAVA_HOME=/usr/local/jdk1.7.0_79
2. hdfs-site.xml
```
<configuration>
#副本系数,伪分布式使用的1个DataNode,因此这里填1
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
core-site.xml
<configuration>
#配置nameservice地址,默认端口是8020
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:8020</value>
</property> #这里配置的是hdfs数据库所在的临时目录,如果这里没有配置,那么默认路径是系统的临时>目录,电脑开机后,会自动格式化
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/apps/hadoop-2.6.0/tmp</value>
</property>
</configuration>
mapred-site.xml
<configuration>
#表示MapReduce使用yarn来进行计算
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> #设置jobhistory的日志端口
<name>mapreduce.jobhistory.address</name>
<value>hadoop000:10020</value>
</property> #设置jobhistory日志在web上的端口自
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop000:19888</value>
</property> #设置jobhistory日志的临时存储目录
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/mr-history/tmp</value>
</property> #设置jobhistory完成后的日志目录
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/mr-history/done</value>
</property> </configuration>
yarn-site.xml
<configuration>
#默认要配
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> #resourcemanager主机地址配置
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property> </configuration>
八. 配置完后,将hadoop01上的安装软件和配置文件下发到DataNode
复制/usr/local/apps 到 其他 3个节点将其相同的文件夹上
复制/etc/hosts /etc/profile 到3个节点将其相同的文件夹上
九. 进行测试
初始化 hdfs namenode -format
在$HADOOP_HOME/sbin 执行./start-all.sh
在hadoop01输入jps 如果看到NameNode/ResourceManager/SecondNameNode,说明namenode启动成功
在其他3台机输入jps,如果都看到DataNode/NodeManager,说明DataNode启动成功
通过shell命令测试创建/上传/下载等操作,如果成功,说明hadoop机群搭建成功!
最新文章
- 关于SMARTFORMS文本编辑器出错
- Ubuntu16.04 LTS下apt安装WireShark
- LCS(打印全路径) POJ 2264 Advanced Fruits
- python3数据类型
- hdu 4739 Zhuge Liang&#39;s Mines 随机化
- select poll使用
- web前端 - 模态对话框
- 【C++自我精讲】基础系列一 指针与引用
- HTML CSS 特殊字符表
- Python高阶函数和匿名函数
- __ATTRIBUTE__ 知多少?
- FJOI2019游记
- 超细讲解Django打造大型企业官网
- POJ2289 Jamie&#39;s Contact Groups(二分图多重匹配)
- canal HA配置
- Android循环ViewPager(二)
- Digging(DP)
- [ActionScript 3.0] 利用InteractivePNG.as类精确选择识别png图片有像素的区域
- 【干货】电路设计师指导手册(已更新完毕)(转载EDN)
- 【SR】正则化超分辨率复原
热门文章
- mssql学习
- 如何解决jQuery easyui中locale文件下easyui-lang-zh_CN中文乱码问题
- Spring-Security自定义登录页&;inMemoryAuthentication验证
- linux 安装 sftp
- ActiveRecord的生命周期
- Egret学习笔记 (Egret打飞机-8.敌机和主角飞机发射子弹)
- uva1471 二叉搜索树
- 【spring-boot】spring aop 面向切面编程初接触
- TCP/IP读书笔记(4) IPv4和IPv6 路由选择
- H3C交换机的端口隔离