Hadoop环境搭建1

1 前言：

Hadoop 最早是为了在Linux 平台上使用而开发的，但是Hadoop 在UNIX、Windows 和
Mac OS X 系统上也运行良好。不过，在Windows 上运行Hadoop 稍显复杂，首先必须安装
Cygwin 以模拟Linux 环境，然后才能安装Hadoop。

windows下：可以有1：虚拟机Vmware+linux系统，或者另外：hadoop4win的一个集成化的自动安装程序（貌似我还是没有安装成功）

由于我用的是环境是：Ubuntu。

2 jdk安装：

　　当然，在linux下程序的安装貌似很简单，把下载好的对应程序解压的自己想要的目录中即可：

　　1 ubuntu由于有个软件中心，可以在终端自动帮你下载：sudo apt-get install openjdk-6-jdk

　　如果你不知道怎么版本，你可以在终端命令下输入：java,或javac,一般提示会有提示，按照提示自动安装即可

　　　这样安装的目录一般是自动指定的，如：/usr/lib/jvm/、、、、java-6-openjdk-amd64

　　　　找到自己的安装目录： dpkg -l openjdk-6-jdk

2 自己先下载：

　　链接：下载传送---------------------。然后自己解压到自己的目录。

3 跟我们在windows下安装一样，也需要配置环境变量：　

　　我的java目录：/usr/lib/jvm/java-6-openjdk-amd64

　　在终端：
　　　　　　sudo gedit /etc/profile （这个为用户环境变量配置文件）
　　　　　　export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-amd64
　　　　　　export PATH=$JAVA_HOME/bin:$PATH
　　　　　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　（3）验证Java是否安装成功
　　　　　　输入 java -version ，javac，java 有相关信息输出即可表示成功

如果对环境变量，linux下的简单操作不熟悉，请先吃个饭，环境变量 ,文件操作。

1 这里先解释一下sudo 与apt 这两个命令，sudo 这个命令允许普通用户执行某些或全部需要root 权限命令，它提供了详尽的日志，可以记录下每个用户使用这个命令做了些什么操作；同时sudo 也提供了灵活的管理方式，可以限制用户使用命令。sudo 的配置文件为/etc/

sudoers。

2 apt 的全称为the Advanced Packaging Tool，是Debian 计划的一部分，是Ubuntu 的软件包管理软件，通过apt 安装软件无须考虑软件的依赖关系，可以直接安装所需要的软件，apt会自动下载有依赖关系的包，并按顺序安装，在Ubuntu 中安装有apt 的一个图形化界面程序

synaptic（中文译名为“新立得”），大家如果有兴趣也可以使用这个程序来安装所需要的软件。

3 安装配置SSH

　　（1）下载安装SSH：同样在命令行输入下面命令安装SSH
　　 sudo apt-get install ssh
　　（2）配置无密码登录本机：在命令行输入下面两条命令
　　 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
　　直接回车，完成后会在~/.ssh/生成两个文件：id_rsa和id_rsa.pub;这两个成对出现，类似钥匙和锁。

　　再把id_rsa.pub追加到授权key里面（当前并没有authorized_keys文件）
　　$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　启动后，可以通过如下命令查看服务是否正确启动：

　　ps -e | grep ssh

　　（3）验证SSH是否安装成功
　　输入 ssh localhost 。如果显示本机登录成功就表明安装成功。

ssh localhost

会有如下显示：

The authenticity of host 'localhost (::1)' can't be established.

RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

Linux master 2.6.31-14-generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686

To access official Ubuntu documentation, please visit:

http://help.ubuntu.com/

Last login: Mon Oct 18 17:12:40 2010 from master

admin@Hadoop:~$

这说明已经安装成功，第一次登录时会询问你是否继续链接，输入yes 即可进入。

实际上，在Hadoop 的安装过程中，是否无密码登录是无关紧要的，但是如果不配置无

密码登录，每次启动Hadoop，都需要输入密码以登录到每台机器的DataNode 上，考虑到一

般的Hadoop 集群动辄数百台或上千台机器，因此一般来说都会配置SSH 的无密码登录。

4、关闭防火墙
$sudo ufw disable
注意：这步非常重要，如果不关闭，会出现找不到datanode的问题

巴特西

Hadoop环境搭建1_JDK+SSH

最新文章

热门文章