转自：http://blog.csdn.net/tutucute0000/article/details/39756123

从nameNode1、namenode2克隆出namenode3、namenode4，分别作为1、2的standby node。

把datanode2、3、4作为namenode1的jounalnodes，datanode4、5、6作为namenode2的journalnodes。

同时将datanode2、3、4组成zookeeper cluster1，datanode5、6、7组成zookeeper cluster2，分别为namenode1、2管理的两个nameservice，提供namonode间的HA自动切换。

配置

1. 在datanode2、3、4、5、6、7上安装zookeeper

  1. wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
  2. tar zxvf zookeeper-3.4.6.tar.gz
  3. mv zookeeper-3.4.6 zookeeper
  4. cd zookeeper/conf
  5. cp zoo_sample.cfg zoo.cfg

修改datanode2、3、4中的zoo.cfg文件为

  1. tickTime=2000
  2. initLimit=10
  3. syncLimit=5
  4. dataDir=/home/hduser/mydata/zookeeper/zkdata
  5. dataLogDir=/home/hduser/mydata/zookeeper/zkdatalog
  6. clientPort=2181
  7. server.1=datanode2:2888:3888
  8. server.2=datanode3:2888:3888
  9. server.3=datanode4:2888:3888

datanode5、6、7中的zoo.cfg为

  1. tickTime=2000
  2. initLimit=10
  3. syncLimit=5
  4. dataDir=/home/hduser/mydata/zookeeper/zkdata
  5. dataLogDir=/home/hduser/mydata/zookeeper/zkdatalog
  6. clientPort=2181
  7. server.1=datanode5:2888:3888
  8. server.2=datanode6:2888:3888
  9. server.3=datanode7:2888:3888

在每个节点上创建配置文件中所设的目录，同时在dataDir下新建myid文件

  1. mkdir -p /home/hduser/mydata/zookeeper/zkdata
  2. mkdir -p /home/hduser/mydata/zookeeper/zkdatalog
  3. vi /home/hduser/mydata/zookeeper/zkdata/myid

myid文件里就写一个数字，就是zoo.cfg文件里所配置的

server.X = datanodeN:2888:3888

中，节点N所对应的数字X。所以datanode2、5中myid文件内容就是数字1，datanode3、6是数字2，datanode4、7是数字3。

最后还要设置一下环境变量，添加一行到~/.bashrc

  1. export ZOOKEEPER_HOME=/usr/local/zookeeper
  2. export PATH=$ZOOKEEPER_HOME/bin:$PATH

2. 修改配置文件core-site.xml

基本的配置前面的文章都写了，这里只贴出需要修改和增加的配置项。

修改所有namenode和datanode的core-site.xml

  1. <property>
  2. <name>fs.defaultFS</name>
  3. <value>viewfs:///</value>
  4. </property>
  5. <property>
  6. <name>fs.viewfs.mounttable.default.link./ns1</name>
  7. <value>hdfs://ns1</value>
  8. </property>
  9. <property>
  10. <name>fs.viewfs.mounttable.default.link./ns2</name>
  11. <value>hdfs://ns2</value>
  12. </property>

其中ns1、ns2与下面hdfs-site.xml中配置的nameservices对应。

在datanode1、3的core-site.xml中添加

  1. <property>
  2. <name>ha.zookeeper.quorum</name>
  3. <value>datanode2:2181,datanode3:2181,datanode4:2181</value>
  4. </property>

在datanode2、4的core-site.xml中添加

  1. <property>
  2. <name>ha.zookeeper.quorum</name>
  3. <value>datanode5:2181,datanode6:2181,datanode7:2181</value>
  4. </property>

3.修改配置文件hdfs-site.xml

在所有节点(datanode1-3、namenode2-7)中的hdfs-site.xml中都添加以下配置

  1. <property>
  2. <name>dfs.nameservices</name>
  3. <value>ns1,ns2</value>
  4. </property>
  5. <property>
  6. <name>dfs.ha.namenodes.ns1</name>
  7. <value>nn1,nn3</value>
  8. </property>
  9. <property>
  10. <name>dfs.namenode.rpc-address.ns1.nn1</name>
  11. <value>namenode1:9000</value>
  12. </property>
  13. <property>
  14. <name>dfs.namenode.rpc-address.ns1.nn3</name>
  15. <value>namenode3:9000</value>
  16. </property>
  17. <property>
  18. <name>dfs.client.failover.proxy.provider.ns1</name>
  19. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  20. </property>
  21. <property>
  22. <name>dfs.ha.namenodes.ns2</name>
  23. <value>nn2,nn4</value>
  24. </property>
  25. <property>
  26. <name>dfs.namenode.rpc-address.ns2.nn2</name>
  27. <value>namenode2:9000</value>
  28. </property>
  29. <property>
  30. <name>dfs.namenode.rpc-address.ns2.nn4</name>
  31. <value>namenode4:9000</value>
  32. </property>
  33. <property>
  34. <name>dfs.client.failover.proxy.provider.ns2</name>
  35. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  36. </property>
  37. <property>
  38. <name>dfs.ha.fencing.methods</name>
  39. <value>sshfence</value>
  40. </property>
  41. <property>
  42. <name>dfs.ha.fencing.ssh.private-key-files</name>
  43. <value>/home/hduser/.ssh/id_rsa</value>
  44. </property>
  45. <property>
  46. <name>dfs.ha.fencing.ssh.connect-timeout</name>
  47. <value>30000</value>
  48. </property>
  49. <property>
  50. <name>dfs.ha.automatic-failover.enabled</name>
  51. <value>true</value>
  52. </property>
  53. <property>
  54. <name>dfs.journalnode.edits.dir</name>
  55. <value>/home/hduser/mydata/hdfs/journalnode</value>
  56. </property>

然后单独在namenode1、3的hdfs-site.xml中添加

  1. <property>
  2. <name>dfs.namenode.shared.edits.dir</name>
  3. <value>qjournal://datanode2:8485;datanode3:8485;datanode4:8485/ns1</value>
  4. </property>

在namenode2、4的hdfs-site.xml中添加

  1. <property>
  2. <name>dfs.namenode.shared.edits.dir</name>
  3. <value>qjournal://datanode5:8485;datanode6:8485;datanode7:8485/ns2</value>
  4. </property>

每个journalnode的上都要创建配置dfs.journalnode.edits.dir中所设的目录

  1. mkdir -p /home/hduser/mydata/hdfs/journalnode

值得注意的是dfs.ha.fencing.methods配置。

它是用来保证同一时刻只能有一个active namenode在工作。如果配置成sshfence，则代表在发生failover的时候，使用ssh登录到active namenode上，然后使用fuser干掉active namenode上的进程。所以在namenode间还需要有如下配置：

1. 配置dfs.ha.fencing.ssh.private-key-files指定私钥。或者直接就在所有节点之间配置好ssh免密码登录，以后在集群间跳转也方便。

2. 确保所有namenode上都能使用fuser命令。如果没有，使用下面的命令安装

  1. sudo apt-get install psmisc

启动集群

1. 启动zookeeper

在namenode2-7上运行

  1. hduser@datanode5:~$ zkServer.sh start
  2. JMX enabled by default
  3. Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
  4. Starting zookeeper ... STARTED

检查进程

  1. hduser@datanode5:~$ jps
  2. 16448 Jps
  3. 16425 QuorumPeerMain

2. 启动journalnodes

在namenode2-7上运行

  1. hduser@datanode5:~$ hadoop-daemon.sh start journalnode
  2. starting journalnode, logging to /usr/local/hadoop/logs/hadoop-hduser-journalnode-datanode5.out


检查进程




  1. hduser@datanode5:~$ jps
    2. 

  2. 16472 JournalNode
    3. 

  3. 16518 Jps
    4. 

  4. 16425 QuorumPeerMain




3. 启动namenode


由于我是将之前搭建的非HA集群转换成HA集群，所以不需要重新format namenode，只需要做以下两步


首先使用namenode中的信息初始化journalnodes。


在namenode1、2里运行




  1. hdfs namenode -initializeSharedEdits




然后启动namenode1、2




  1. hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start namenode




登录到namenode3、4，将namenode1、2中的元数据同步到它们各自对应的standby namenode上。




  1. hdfs namenode -bootstrapStandby




然后再启动namenode3、4。


由于刚启动时所有的namenode都是standby状态，所有namenode log里会有如下错误。




  1. 2014-10-03 19:39:47,971 INFO org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: Triggering log roll on remote NameNode namenode4/192.168\
    2. 

  2. .1.81:9000
    3. 

  3. 2014-10-03 19:39:47,980 WARN org.apache.hadoop.hdfs.server.namenode.ha.EditLogTailer: Unable to trigger a roll of the active NN
    4. 

  4. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category JOURNAL is not supported in state standby
    5. 

  5. at org.apache.hadoop.hdfs.server.namenode.ha.StandbyState.checkOperation(StandbyState.java:87)
    6. 

  6. at org.apache.hadoop.hdfs.server.namenode.NameNode$NameNodeHAContext.checkOperation(NameNode.java:1688)
    7. 

  7. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkOperation(FSNamesystem.java:1258)
    8. 

  8. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.rollEditLog(FSNamesystem.java:5765)
    9. 

  9. at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.rollEditLog(NameNodeRpcServer.java:886)




理论上这时候是可以用HAAdmin的命令手动将某一个namenode指定成active的状态的，可奇怪的是当配置了两个nameservices以后，该命令就识别不了namenode了




  1. hduser@namenode4:~$ hdfs haadmin -transitionToActive nn3
    2. 

  2. Illegal argument: Unable to determine the nameservice id.




如果单独配置HA，即只有一个nameservice，就不会有这个问题，暂时不清楚为什么。


所以目前只能通过automatic failover的方式，让ZKFC自动管理namenode的状态。


在namenode1、2里运行




  1. hdfs zkfc -formatZK




然后在所有的namenode上运行




  1. hadoop-daemon.sh start zkfc




这时候再检查每个namenode上ZKFC的log，


namenode1上的ZKFC log最后一行显示




  1. Successfully transitioned NameNode at namenode1/192.168.1.71:9000 to active state




namenode2显示




  1. Successfully transitioned NameNode at namenode2/192.168.1.72:9000 to active state




namenode3显示




  1. Successfully transitioned NameNode at namenode3/192.168.1.80:9000 to standby state




namenode4显示




  1. Successfully transitioned NameNode at namenode4/192.168.1.81:9000 to standby state




至此所有的namenode启动成功了。


4. 启动datanode


到所有的datanode上运行




  1. hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start datanode




集群启动完毕。


验证


访问http://namenode1:50070/dfsclusterhealth.jsp




看着四个namenode都很正常。


先试着把namenode1干掉




  1. hduser@namenode1:~$ jps
    2. 

  2. 7590 Jps
    3. 

  3. 7061 NameNode
    4. 

  4. 17441 DFSZKFailoverController
    5. 

  5. hduser@namenode1:~$ kill -9 7061




登到namenode3中看ZKFC的log




  1. 2014-10-03 21:00:55,943 INFO org.apache.hadoop.ha.NodeFencer: ====== Beginning Service Fencing Process... ======
    2. 

  2. 2014-10-03 21:00:55,943 INFO org.apache.hadoop.ha.NodeFencer: Trying method 1/1: org.apache.hadoop.ha.SshFenceByTcpPort(null)
    3. 

  3. 2014-10-03 21:00:55,944 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Connecting to namenode1...
    4. 

  4. 2014-10-03 21:00:55,944 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Connecting to namenode1 port 22
    5. 

  5. 2014-10-03 21:00:55,946 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Connection established
    6. 

  6. 2014-10-03 21:00:55,953 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Remote version string: SSH-2.0-OpenSSH_5.9p1 Debian-5ubuntu1.1
    7. 

  7. 2014-10-03 21:00:55,953 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Local version string: SSH-2.0-JSCH-0.1.42
    8. 

  8. 2014-10-03 21:00:55,953 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: CheckCiphers: aes256-ctr,aes192-ctr,aes128-ctr,aes256-cbc,aes192-cbc,\
    9. 

  9. aes128-cbc,3des-ctr,arcfour,arcfour128,arcfour256
    10. 

  10. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: aes256-ctr is not available.
    11. 

  11. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: aes192-ctr is not available.
    12. 

  12. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: aes256-cbc is not available.
    13. 

  13. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: aes192-cbc is not available.
    14. 

  14. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: arcfour256 is not available.
    15. 

  15. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: SSH_MSG_KEXINIT sent
    16. 

  16. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: SSH_MSG_KEXINIT received
    17. 

  17. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: kex: server->client aes128-ctr hmac-md5 none
    18. 

  18. 2014-10-03 21:00:55,958 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: kex: client->server aes128-ctr hmac-md5 none
    19. 

  19. 2014-10-03 21:00:55,960 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: SSH_MSG_KEXDH_INIT sent
    20. 

  20. 2014-10-03 21:00:55,960 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: expecting SSH_MSG_KEXDH_REPLY
    21. 

  21. 2014-10-03 21:00:55,964 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: ssh_rsa_verify: signature true
    22. 

  22. 2014-10-03 21:00:55,965 WARN org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Permanently added 'namenode1' (RSA) to the list of known hosts.
    23. 

  23. 2014-10-03 21:00:55,965 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: SSH_MSG_NEWKEYS sent
    24. 

  24. 2014-10-03 21:00:55,965 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: SSH_MSG_NEWKEYS received
    25. 

  25. 2014-10-03 21:00:55,966 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: SSH_MSG_SERVICE_REQUEST sent
    26. 

  26. 2014-10-03 21:00:55,966 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: SSH_MSG_SERVICE_ACCEPT received
    27. 

  27. 2014-10-03 21:00:55,968 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Authentications that can continue: publickey,keyboard-interactive,pas\
    28. 

  28. sword
    29. 

  29. 2014-10-03 21:00:55,968 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Next authentication method: publickey
    30. 

  30. 2014-10-03 21:00:55,996 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Authentication succeeded (publickey).
    31. 

  31. 2014-10-03 21:00:55,996 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Connected to namenode1
    32. 

  32. 2014-10-03 21:00:55,996 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Looking for process running on port 9000
    33. 

  33. 2014-10-03 21:00:56,062 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Indeterminate response from trying to kill service. Verifying whether it i\
    34. 

  34. s running using nc...
    35. 

  35. 2014-10-03 21:00:56,118 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Verified that the service is down.
    36. 

  36. 2014-10-03 21:00:56,118 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Disconnecting from namenode1 port 22
    37. 

  37. 2014-10-03 21:00:56,118 INFO org.apache.hadoop.ha.NodeFencer: ====== Fencing successful by method org.apache.hadoop.ha.SshFenceByTcpPort(null) \
    38. 

  38. ======
    39. 

  39. 2014-10-03 21:00:56,118 INFO org.apache.hadoop.ha.ActiveStandbyElector: Writing znode /hadoop-ha/ns1/ActiveBreadCrumb to indicate that the loca\
    40. 

  40. l node is the most recent active...
    41. 

  41. 2014-10-03 21:00:56,119 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Caught an exception, leaving main loop due to Socket closed
    42. 

  42. 2014-10-03 21:00:56,183 INFO org.apache.hadoop.ha.ZKFailoverController: Trying to make NameNode at namenode3/192.168.1.80:9000 active...
    43. 

  43. 2014-10-03 21:00:57,323 INFO org.apache.hadoop.ha.ZKFailoverController: Successfully transitioned NameNode at namenode3/192.168.1.80:9000 to ac\
    44. 

  44. tive state




看到namenode3成功变成了active的状态。


最后再试一下在拷贝文件的过程中干掉一个active的namenode会不会有问题。


准备一个2G多的大文件，拷贝到hdfs里




  1. hduser@datanode5:~$ hdfs dfs -cp file:///home/hduser/test.tar.gz /ns2/test2/
    2. 

  2. 14/10/04 00:33:56 INFO retry.RetryInvocationHandler: Exception while invoking renewLease of class ClientNamenodeProtocolTranslatorPB over namenode4/192.168.1.81:9000. Trying to fail over immediately.
    3. 

  3. java.net.ConnectException: Call From datanode5/192.168.1.77 to namenode4:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    4. 

  4. at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    5. 

  5. at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    6. 

  6. ...




拷贝了一会儿active namenode居然自己挂了。。。还好还有一个


控制台输出显示成功切换了namenode过去，继续上传文件。




  1. 14/10/04 00:42:54 WARN retry.RetryInvocationHandler: A failover has occurred since the start of this method invocation attempt.
    2. 

  2. 14/10/04 00:43:49 WARN hdfs.DFSClient: Slow ReadProcessor read fields took 56210ms (threshold=30000ms); ack: seqno: 25725 status: SUCCESS status: SUCCESS status: SUCCESS downstreamAckTimeNanos: 56224427288, targets: [192.168.1.77:50010, 192.168.1.74:50010, 192.168.1.79:50010]
    3. 

  3. ...




不一会儿功夫这个namenode也挂了。看了log，挂的原因都是一个




  1. 2014-10-04 00:37:12,798 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 6001 ms (timeout=20000 ms) for a response for\
    2. 

  2. sendEdits. Succeeded so far: [192.168.1.79:8485]
    3. 

  3. 2014-10-04 00:37:13,799 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 7002 ms (timeout=20000 ms) for a response for\
    4. 

  4. sendEdits. Succeeded so far: [192.168.1.79:8485]
    5. 

  5. 2014-10-04 00:37:14,799 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 8003 ms (timeout=20000 ms) for a response for\
    6. 

  6. sendEdits. Succeeded so far: [192.168.1.79:8485]
    7. 

  7. 2014-10-04 00:37:15,801 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 9004 ms (timeout=20000 ms) for a response for\
    8. 

  8. sendEdits. Succeeded so far: [192.168.1.79:8485]
    9. 

  9. 2014-10-04 00:37:16,802 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 10005 ms (timeout=20000 ms) for a response fo\
    10. 

  10. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    11. 

  11. 2014-10-04 00:37:17,803 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 11006 ms (timeout=20000 ms) for a response fo\
    12. 

  12. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    13. 

  13. 2014-10-04 00:37:18,804 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 12007 ms (timeout=20000 ms) for a response fo\
    14. 

  14. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    15. 

  15. 2014-10-04 00:37:19,804 INFO org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 13008 ms (timeout=20000 ms) for a response fo\
    16. 

  16. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    17. 

  17. 2014-10-04 00:37:20,806 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 14009 ms (timeout=20000 ms) for a response fo\
    18. 

  18. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    19. 

  19. 2014-10-04 00:37:21,806 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 15010 ms (timeout=20000 ms) for a response fo\
    20. 

  20. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    21. 

  21. 2014-10-04 00:37:22,808 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 16011 ms (timeout=20000 ms) for a response fo\
    22. 

  22. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    23. 

  23. 2014-10-04 00:37:23,808 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 17012 ms (timeout=20000 ms) for a response fo\
    24. 

  24. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    25. 

  25. 2014-10-04 00:37:23,864 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds
    26. 

  26. 2014-10-04 00:37:23,864 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1\
    27. 

  27. millisecond(s).
    28. 

  28. 2014-10-04 00:37:24,810 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 18013 ms (timeout=20000 ms) for a response fo\
    29. 

  29. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    30. 

  30. 2014-10-04 00:37:25,811 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 19014 ms (timeout=20000 ms) for a response fo\
    31. 

  31. r sendEdits. Succeeded so far: [192.168.1.79:8485]
    32. 

  32. 2014-10-04 00:37:26,798 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: flush failed for required journal (JournalAndStream(mgr\
    33. 

  33. =QJM to [192.168.1.77:8485, 192.168.1.78:8485, 192.168.1.79:8485], stream=QuorumOutputStream starting at txid 506))
    34. 

  34. java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond.
    35. 

  35. at org.apache.hadoop.hdfs.qjournal.client.AsyncLoggerSet.waitForWriteQuorum(AsyncLoggerSet.java:137)
    36. 

  36. at org.apache.hadoop.hdfs.qjournal.client.QuorumOutputStream.flushAndSync(QuorumOutputStream.java:107)
    37. 

  37. at org.apache.hadoop.hdfs.server.namenode.EditLogOutputStream.flush(EditLogOutputStream.java:113)
    38. 

  38. at org.apache.hadoop.hdfs.server.namenode.EditLogOutputStream.flush(EditLogOutputStream.java:107)
    39. 

  39. at org.apache.hadoop.hdfs.server.namenode.JournalSet$JournalSetOutputStream$8.apply(JournalSet.java:499)
    40. 

  40. at org.apache.hadoop.hdfs.server.namenode.JournalSet.mapJournalsAndReportErrors(JournalSet.java:359)
    41. 

  41. at org.apache.hadoop.hdfs.server.namenode.JournalSet.access$100(JournalSet.java:57)
    42. 

  42. at org.apache.hadoop.hdfs.server.namenode.JournalSet$JournalSetOutputStream.flush(JournalSet.java:495)
    43. 

  43. at org.apache.hadoop.hdfs.server.namenode.FSEditLog.logSync(FSEditLog.java:625)
    44. 

  44. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2839)
    45. 

  45. at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:606)
    46. 

  46. at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorP\
    47. 

  47. B.java:455)
    48. 

  48. at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtoc\
    49. 

  49. olProtos.java)
    50. 

  50. at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
    51. 

  51. at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
    52. 

  52. at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
    53. 

  53. at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
    54. 

  54. at java.security.AccessController.doPrivileged(Native Method)
    55. 

  55. at javax.security.auth.Subject.doAs(Subject.java:415)
    56. 

  56. at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
    57. 

  57. at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)
    58. 

  58. 2014-10-04 00:37:26,798 WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Aborting QuorumOutputStream starting at txid 506
    59. 

  59. 2014-10-04 00:37:26,799 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
    60. 

  60. 2014-10-04 00:37:26,801 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
    61. 

  61. /************************************************************
    62. 

  62. SHUTDOWN_MSG: Shutting down NameNode at namenode2/192.168.1.72




连接192.168.1.79超时了，这边的网络确实是不太好。不过这也说明了采用QJM方式的HA集群对Journal Node依赖太大了，需要注意。


试图重新启动两个namenode，发现ZKFC也挂了，日志报错如下




  1. 2014-10-04 00:38:15,708 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server datanode5/192.168.1.77:2181. Will not attemp\
    2. 

  2. t to authenticate using SASL (unknown error)
    3. 

  3. 2014-10-04 00:38:15,717 INFO org.apache.zookeeper.ClientCnxn: Socket connection established to datanode5/192.168.1.77:2181, initiating session
    4. 

  4. 2014-10-04 00:38:17,386 INFO org.apache.zookeeper.ClientCnxn: Client session timed out, have not heard from server in 1669ms for sessionid 0x0\
    5. 

  5. , closing socket connection and attempting reconnect
    6. 

  6. 2014-10-04 00:38:18,288 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server datanode6/192.168.1.78:2181. Will not attemp\
    7. 

  7. t to authenticate using SASL (unknown error)
    8. 

  8. 2014-10-04 00:38:18,289 INFO org.apache.zookeeper.ClientCnxn: Socket connection established to datanode6/192.168.1.78:2181, initiating session
    9. 

  9. 2014-10-04 00:38:19,957 INFO org.apache.zookeeper.ClientCnxn: Client session timed out, have not heard from server in 1668ms for sessionid 0x0\
    10. 

  10. , closing socket connection and attempting reconnect
    11. 

  11. 2014-10-04 00:38:20,585 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server datanode7/192.168.1.79:2181. Will not attemp\
    12. 

  12. t to authenticate using SASL (unknown error)
    13. 

  13. 2014-10-04 00:38:20,586 INFO org.apache.zookeeper.ClientCnxn: Socket connection established to datanode7/192.168.1.79:2181, initiating session
    14. 

  14. 2014-10-04 00:38:20,587 INFO org.apache.zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x0, likely server has clos\
    15. 

  15. ed socket, closing socket connection and attempting reconnect
    16. 

  16. 2014-10-04 00:38:20,710 ERROR org.apache.hadoop.ha.ActiveStandbyElector: Connection timed out: couldn't connect to ZooKeeper in 5000 milliseco\
    17. 

  17. nds
    18. 

  18. 2014-10-04 00:38:21,750 INFO org.apache.zookeeper.ZooKeeper: Session: 0x0 closed
    19. 

  19. 2014-10-04 00:38:21,753 INFO org.apache.zookeeper.ClientCnxn: EventThread shut down
    20. 

  20. 2014-10-04 00:38:21,756 FATAL org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Unable to connect to ZooKeeper q\
    21. 

  21. uorum at datanode5:2181,datanode6:2181,datanode7:2181. Please check the configured value for ha.zookeeper.quorum and ensure that ZooKeeper is \
    22. 

  22. running.




试着telnet一下，端口没挂，但是连接速度慢也有卡死现象，看来还是网络问题。这又说明了采用ZKFC方式做automatic failover对zookeeper的依赖。


重新启动zkfc和namenode，磕磕跘跘的终于拷完了，临了还出了个小问题




  1. 14/10/04 00:46:30 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block BP-1850652326-192.168.1.72-1411567722328:blk_1073741916_1098
    2. 

  2. java.net.SocketTimeoutException: 75000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/192.168.1.77:38739 remote=/192.168.1.77:50010]
    3. 

  3. at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:164)
    4. 

  4. at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:161)
    5. 

  5. at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:131)
    6. 

  6. at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:118)
    7. 

  7. at java.io.FilterInputStream.read(FilterInputStream.java:83)
    8. 

  8. at java.io.FilterInputStream.read(FilterInputStream.java:83)
    9. 

  9. at org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:1998)
    10. 

  10. at org.apache.hadoop.hdfs.protocol.datatransfer.PipelineAck.readFields(PipelineAck.java:176)
    11. 

  11. at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer$ResponseProcessor.run(DFSOutputStream.java:798)
    12. 

  12. 14/10/04 00:46:30 WARN hdfs.DFSClient: Error Recovery for block BP-1850652326-192.168.1.72-1411567722328:blk_1073741916_1098 in pipeline 192.168.1.77:50010, 192.168.1.74:50010, 192.168.1.76:50010: bad datanode 192.168.1.77:50010
    13. 

  13. 14/10/04 00:46:33 WARN hdfs.DFSClient: Slow waitForAckedSeqno took 78393ms (threshold=30000ms)
    14. 

  14. hduser@datanode5:~$
    15. 

  15. hduser@datanode5:~$ hdfs dfs -ls /ns2/test2/
    16. 

  16. Found 1 items
    17. 

  17. -rw-r--r--   3 hduser supergroup 2001616896 2014-10-04 00:43 /ns2/test2/test.tar.gz




把文件再从hdfs上拉下来，使用md5校验是否与原文件一致




  1. // 目标路径
    2. 

  2. hdfs dfs -get /ns2/test2/test.tar.gz
    3. 

  3. // 原始文件路径
    4. 

  4. md5sum test.tar.gz > test.tar.gz.md5
    5. 

  5. // 拷贝test.tar.gz.md5到目标路径
    6. 

  6. md5sum -c test.tar.gz.md5
    7. 

  7. test.tar.gz: OK




看来虽然上传的不太顺利，但是结果还是好的。


一些关于HA+Federation的意义和相关组件的介绍，可以参见以下文章


http://www.infoq.com/cn/articles/Hadoop-2-0-namenode-ha-federation-practice-zh/
												


																

最新文章
	

    
						
  1. Google官方关于Android架构中MVP模式的示例续-DataBinding
		
    2. 
						
  2. [Android]Activity跳转传递任意类型的数据、Activity为SingleTask时代替StartActivityForResult的解决方案
		
    3. 
						
  3. linux性能监控工具
		
    4. 
						
  4. ADF_Database Develop系列1_设计数据库表之Diagram/Tables/View/Sequence
		
    5. 
						
  5. Eclipse中用Logcat调试程序
		
    6. 
						
  6. Android Glide加载图片时转换为圆形、圆角、毛玻璃等图片效果
		
    7. 
						
  7. 第二回 认识CDN
		
    8. 
						
  8. 计算器(console version)
		
    9. 
						
  9. GLFW库文件配置
		
    10. 
						
  10. OCP读书笔记(9) - 诊断数据库
		
    11. 
						
  11. javaWEB总结(9):自定义HttpServlet
		
    12. 
						
  12. js创建xml对象
		
    13. 
						
  13. LeetCode 153. Find Minimum in Rotated Sorted Array （在旋转有序数组中找到最小值）
		
    14. 
						
  14. Python 函数中参数的分类及使用
		
    15. 
						
  15. nginx基本用法和HTTPS配置
		
    16. 
						
  16. Linux中2&gt;&amp;1使用
		
    17. 
						
  17. Spring SpringBoot和SpringCloud的关系
		
    18. 
						
  18. dns隧道 dns2tcpd
		
    19. 
						
  19. 导致 KEIL error #20 的一种情况
		
    20. 
						
  20. c#无边窗体实现移动的两种方式
		
    21. 
		

	


热门文章
	

    
									
  1. Android开发环境——SDK相关内容汇总
			
    2. 
						
  2. iOS控制器生命周期
			
    3. 
						
  3. int和Integer之间的区别和联系
			
    4. 
						
  4. OpenCV 学习笔记03 threshold函数
			
    5. 
						
  5. 基于matplotlib的数据可视化 - 三维曲面图gca
			
    6. 
						
  6. SimpleAdapter真不简单！
			
    7. 
						
  7. MySQL -- 全文检索(查询扩展检索)
			
    8. 
						
  8. JSON之Asp.net MVC C#对象转JSON，DataTable转JSON，List&lt;T&gt;转JSON,JSON转List&lt;T&gt;,JSON转C#对象
			
    9. 
						
  9. CListCtrl的LVN_KEYDOWN事件中怎么捕捉不到回车键?
			
    10. 
						
  10. Eclipse自己定义keystore
			
    11.