VM搭建hadoop分布式集群
1. 安装VMware Workstation Pro
2.安装Ubuntu-16.04
3.以下全程使用sudo –s 切换root权限
4.更新deb软件包列表:apt-get update
5.安装系统更新 apt-get upgrade
6.安装JDK8到/opt/java8
改变所属组和用户
cd /opt
sudo chown cc:cc java8
7.设置CLASSPATH 和JAVA_HOME,这里我使用的是gedit /etc/profile的方式设置
export JAVA_HOME=/opt/java8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
8.从http://hadoop.apache.org/下载hadoop-2.7.3.tar.gz
tar -zxvf hadoop-2.7.3.tar.gz 解压
改变所属组和用户
cd /opt
chown cc:cc hadoop-2.7.3
9.更新hadoop环境变量
gedit hadoop/conf/hadoop-env.sh
将#export JAVA_HOME= *** 这一行改为:
export JAVA_HOME=/opt/java8 (注:此处java_home 一定要硬编码)
10.gedit /etc/profile配置环境变量 export HADOOP_HOME=/opt/hadoop-2.7.3
11.配置ssh
apt-get install ssh
查看是否已经安装好ssh –V
检查是否生成/root/.ssh目录,没生成的话用mkdir生成一个,如图:
生成公钥:ssh-keygen
公钥密码可以留空
检查/root/.ssh目录是否生成文件authorized_keys,如果没有使用touch authorized_keys
生成一个
把公钥的内容复制到authorized_keys文件中cat
id_rsa.pub >> authorized_keys
修改authorized_keys权限为600: chmod 600
authorized_keys
验证是否配置成,命令:ssh localhost
12.克隆两台虚拟机
13.建立三台虚拟机的通信
新增的两台虚拟机会在电脑的网络连接里多两个连接
设置共享原来的本地连接
设置虚拟机连接
设置IP地址,DNS可以不设
在第一台虚拟机里新曾一个网络连接
分别再设置另两个CC02,CC03的IP分别为:192.168.100.129、192.168.100.131
之后三个虚拟机通信使用连接wired connection1
14.使用CC01为NameNode,CC03,CC03为DataNode
15.gedit /etc/hosts
添加数据:
192.168.198.140
CC01
192.168.198.141 CC02
192.168.198.142 CC03
16.配置SSH
在CC02\CC03上分别执行
scp root@CC01:/root/.ssh/id_rsa.pub
/root/.ssh/CC01_rsa.pub
cat CC01_rsa.pub
>> authorized_keys
在CC01上执行
scp root@CC01:/root/.ssh/id_rsa.pub /root/.ssh/CC01_rsa.pub
cat /root/.ssh/CC01_rsa.pub >>
/root/.ssh/authorized_keys
17.配置conf/masters , conf/slaves
在所有节点上:
gedit /opt/hadoop-2.7.3/etc/hadoop/加入一行:CC01
gedit /opt/hadoop-2.7.3/etc/hadoop/slaves加入行:
CC02
CC03
18.配置core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://CC01:9000</value>
</property>
</configuration>
19.配置hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-2.7.3/hdfs/data</value>
</property>
</configuration>
记得:
mkdir
/opt/hadoop-2.7.3/hdfs/name
mkdir
/opt/hadoop-2.7.3/hdfs/data
20.配置mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>CC01:9001</value>
</property>
</configuration>
21.格式化分布式文件系统
在namenode上
/opt/hadoop-2.7.3/bin/hdfs namenode
–format
22.启动HDFS,在namenode上
/opt/hadoop-2.7.3/sbin/start-dfs.sh
jps命令查看
最新文章
- vuex
- Android开发之Menu和actionBar
- 开启后台 Service 闪退
- Google V8扩展利器发布:v8-native-binding-generator
- *.hbm.xml讲解
- angular路由最基本的实例---简单易懂
- Mybatis 批量添加,批量更新
- php编写生成酷炫验证码
- socket编程 ------ UDP服务器
- C语言指针基本操作
- Linux基础学习(1)--Linux系统简介
- myeclipse maven的联系
- POJ 1948 Triangular Pastures
- Winsock网络编程
- 解决Jboss中log4j在应用里面无法使用的问题
- dbus-launch(转)
- dubbo SpringContainer
- java catch 捕获异常后会产生一个实例对象 该对象能使用父类的方法
- 自定义admin管理工具(stark组件)
- atheros无线驱动之:数据接收流程
热门文章
- HDU2604:Queuing(矩阵快速幂+递推)
- bzoj 1640||1692: [Usaco2007 Dec]队列变换【后缀数组】
- bzoj 2809: [Apio2012]dispatching【dfs序+主席树】
- linux系统添加java和glassfish环境变量
- java getDocumentBase() 得到的文件夹路径
- google breakpad 使用初步总结
- Android开发学习--MVP模式入门
- PHP + ORACLE 远程连接数据库环境配置
- 12 DOM操作应用
- Windows 下 IIS与Apache 共存