hadoop学习笔记411

安装hadoop

1. 免秘钥

使用hadoop用户

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

cat id_rsa.pub>>authorized_keys

使用ssh测试，如果失败：

情况1： authorized_keys 权限过高：

chmod 600 authorized_keys

情况2： sshd_config

2. 安装hadoop

tar -zxvf hadoop-1.2.1.tar.gz

配置hadoop

$HADOOP_HOME/conf

1.  修改core-site.xml

a.配置Namenode主机及端口号

b.配置制定临时文件夹路径，tmp文件夹要自行创建。

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs:192.168.242.132：9000</value>//这个就是namenode的地址和端口号

</property>

2.  修改hadoop-env.sh文件

修改JDK的路径

3.  修改hdfs-site.xml

节点机数量为2，value为2

<property>

<name>dfs.replication</name>//文件块被存储几份//在不同的机架存储，

<value>2</value>

</property>

<property>

<name>dfs.name.dir</name>  //存储映射文件

<value>/opt/hadoop/name</value>

</property>

<name>dfs.data.dir</name>// 存储在哪个位置

<value>/opt/hadoop/data</value>

</property>

<name>dfs.tmp.dir</name>//临时文件，如果不指定，默认存在Linux默认的tmp文件目录下

<value>/opt/hadoop/tmp</value>

//------------------------------

</property>

<name>dfs.blocksize</name>

<value>64MB</value>

</property>



4.  修改mapred-site.xml

   配置job tracter监听端口监听端口

<property>

<name>mapred.job.tracker</name>

<value>node01:9001</value>

</property>

//------------------------------------------------------或者本机

<property>

<name>mapred.job.tracker</name>

<value>192.168.242.132:9001</value>

</property>



5.  修改master 和 slaves

直接写本机的IP地址或者slaves IP地址（这个就是完全分布式）



修改master文件

添加namenode 主机名尽量写IP地址

//--------------------------------755---------------------- 只能用hadoop账号--------------------

执行权限： -drwx-rw-r--

- -

755

124

3. 格式化

测试文件

虚拟机克隆不能够克隆IP地址的解决方法是找到etc/udev/rules.d/70-persistent-net.rules找到eth1

然后再次修改sysconfig中的network-script的

00:0c;29:04:1f:ac

2c:4e:55

master 192.168.242.132

slave1 192.168.242.134

slave2 192.168.242.135

//-------------------------------------------------------------------------------------------------------------------------------------------------------------



完全分布式：

1. 机器间免秘钥

新增slave上生成秘钥文件

ssh-keygen -t rsa

scp master:/home/hadoop/.ssh/authorized_keys /home/hadoop/.ssh/

cat id_rsa.pub>>authorized_keys

scp /home/hadoop/.ssh/authorized_keys  master:/home/hadoop/.ssh/

测试ssh 免秘钥登录

2. 修改master文件（$hadoop/home/conf/master）

制定namenode ip地址

拷贝到所有的机器上

2. 修改slave文件（$hadoop/home/conf/slave

制定所有的slave的 ip地址

拷贝到所有的机器上

3.

防火墙关闭权限

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAqo52ERhoNZ1PP31YdjA9ixVQV46AOjD2HJVYnBphwHkmZjYt1amZeRz/jv+LyqdTyJ/qxbfKohg8XCxh8Iv3jAaok1Hm+Vpmv/G6xCmwgPWEuqSIM1/fK2npqMYhHANtUify3fvppMZkylHKDfb1WqOOqE4F8+kUIYb3ttv9keQCM8AfEYLw2L9dnlOTjtNjdVZUSkrl/Gb06ApabwJEzl8rV+RM73EmhADnJV2jYXhQ4uOIXs59A2Y2M1kPbtq8EtMydXAu0RMAS2ryRf89hz8fbyiLB1+Vmtu2TOJBJoFdJHRpeIU1VXiFO5sBTIk1Qtep3QBIaZ5go7V+nP7jcQ== hadoop@slave1

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAw4Yvjdu0kqddArSUZqiFvK6OXpYMfPG+Z0P4m7CvH8AM0XlB562TXj8cRO+IB73z8h0ZaDBtlvYDFCk7brccvns7I/vqbIGl3QTC9UnZ1vn+OvjViMB32pigISkvnA6CjDiWFj8kiclPIfNIoMAQXoi6tnK+WwK3VP2hFGSpFbua1H1opCplhYybzPVoLH6EhU9nhCicYhxC9fFDlJ/sYNJgFFTDzXLfw1SVFnE7NVCdoNCfYFe08YDeS/TSrCC0U6HtKw1hQx6ZgMgXfIv43REbq6IuhJSQE7kfDvExCTQ/vA5CnE/bibytQJuTrPNI69VeCPFlKJIGQhnvNJ+JkQ==  hadoop@slave2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAooZ9CSQTg22BH6JKsczVAVojXYp77LXzHiU998zqZoY3ztHXU0uOPFz5fvEI+08v4P4S6p/QUnPwRG2FSExZ3RseooM0q2ZQTcC7MxNQ8GcWF/pwrlvF32EhEMo47hfuGnFlqJ+UAloypZKOJS/6Qvq9zXs1HLcyFytS1zremM2qtyTIdxcTxBjYEFXPn2PwzTm60I/PV/QmXUBHZYYmo/UqYpjy8hNjzR4OzVkaG5OyucoWC6DSd2yPHKWKcfv/10M5RbcSkvjwHbJf1wThzBN8mGPKuWjb63yreFROfq6hQVnWV7Q/IjU/lDvO2p0VMHqhaIaH83814gDzlrflLw== hadoop@master

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs

in /opt/hadoop/hadoop-1.2.1/data: namenode namespaceID = 152321483; datanode namespaceID = 1180969193

x修改Version的namespaceID和 namenode namespaceID一致

vi /opt/hadoop/hadoop-1.2.1/data/current/VERSION

namespaceID = 152321483; datanode namespaceID = 1180969193

#Mon Apr 13 12:08:43 CST 2015

namespaceID=152321483

storageID=DS-340743364-127.0.0.1-50010-1428876505344

cTime=0

storageType=DATA_NODE

layoutVersion=-41

~

每次新加入一个datanode的时候，要把该机器上的data文件夹下的文件清空  rm -rf *

巴特西

hadoop学习笔记411

最新文章

热门文章