【Hadoop】配置全分布式模式

分布式原理

配置

详细过程

假设有三台虚拟机，1台master主机namenode,2台slave奴隶机datanode

所有机器都要配好jdk、Java环境变量、hadoop_env.sh里java路径改好

主机

Use the following:

先在解压的hadoop-2.6.0目录下创建data/tmp文件夹

etc/hadoop/core-site.xml:

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/programs/hadoop-2.6.0/data/tmp</value>

</property>

</configuration>

etc/hadoop/hdfs-site.xml:

datanode有几台机器value就是几

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

</configuration>

etc/hadoop/slaves:

两台slave机ip或域名

2台slave机，配置都是一样的

在解压的hadoop-2.6.0目录下创建data/tmp文件夹

etc/hadoop/core-site.xml:

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/programs/hadoop-2.6.0/data/tmp</value>

</property>

</configuration>

配置完成了,重启主机hdfs

停止sbin/stop-dfs.sh

开启sbin/start-dfs.sh

在浏览器看一下LiveNodes,数量为2就说明正常了

巴特西