本地搭建Hadoop伪分布式环境之四:开启搭建Hadoop2.4.0之旅
2024-09-08 07:55:41
1、准备软件
64位下载包下载: hadoop-2.4.0-64bit.tar.gz
百度网盘:链接: http://pan.baidu.com/s/1hqEDe2S password: 224f链接: http://pan.baidu.com/s/1gdl95OB password: h6dc
2、安装JDK
直接运行安装命令:sudo apt-get install openjdk-7-jdk
3、安装Hadoop
3.1上传hadoop压缩文件
通过之前配置的FlashFXP直接将文件上传到Ubuntu上
3.2解压hadoop文件
sudo tar -xzvf /tmp/hadoop-2.4.0-64bit.tar.gz
3.3配置hadoop文档
文档1:sudo vi profile(注意,这里说的etc不是hadoop文件夹下的那个,是用户根文件夹下的。在末尾加入:)
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64export HADOOP_PREFIX=/home/YXC/hadoop-2.4.0export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"export HADOOP_PREFIX PATH CLASSPATH
文档2:hadoop-env.sh 进入hadoop2.4.0目录,配置etc/hadoop中的文件
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
文档3:core-site.xml
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/YXC/hadoop-2.4.0/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/YXC/hadoop-2.4.0/dfs/data</value></property></configuration>
文档4:hdfs-site.xml(系统默认文件保存3份,因伪分布模式。故改为1份)
<configuration><property><name>dfs.replication</name><value>1</value><description>Default block replicied when the file is created. The default </description></property><property><name>dfs.namenode.name.dir</name><value>/home/YXC/hadoop-2.4.0/dfs/name</value><property><property><name>dfs.namenode.data.dir</name><value>/home/YXC/hadoop-2.4.0/dfs/data</value><property><configuration>
文档5:mapred-site.xml(注意改动文件后缀:sudo mv mapred-site.xml.template mapred-site.xml)
<configuration><property><name>mapreduce.jobtracker.address</name><value>localhost:9001</value></property></configuration>
文档6:yarn-site.xml
<configuration><!-- Site specific YARN configuration properties --><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
4、SSH免password登录
之前已经配置,不再赘述。
ssh localhost要是能免password登陆显示系统信息。就应该是对的。(这里有个输入password环节,是系统的password)。
5、開始终极配置
5.1到hadoop2.4.0文件夹下
./bin/hadoop namenode –format格式化结点信息假设出现 HADOOP_HDFS_HOME
not found!关掉虚拟机重新启动就可以。
5.2開始sbin/start-all.sh.
运行 jps 则出现:
表明成功!浏览器下http://ip:50070 这是hdfs的页面!
最新文章
- .NET 农码一生
- 《JavaScript高级程序设计》读书笔记--前言
- 【转】关于启用 HTTPS 的一些经验分享
- sqlserver 读取xml 字符串方法
- 【吉光片羽】MVC 导出Word的两种方式
- ccf559c
- Android 实用工具Hierarchy Viewer实战
- Design Patterns (简单工厂模式)
- Linux下远程cp命令scp
- C# 和SQL Server 类型转换
- .NET调用osql.exe执行sql脚本创建表和存储过程
- Xcode7国际化(根据系统语言切换App显示的语言) - 元宵节快乐!
- 【SDK编程】
- 由于 web 服务器上此资源的访问控制列表(acl)配置或加密设置,您无权查看此目录或页面。
- .NET Framework 4.7 安装
- JAVA课设 学生基本信息管理 团队博客
- YYHS-NOIP模拟赛-gcd
- jQuery选择器(层级选择器)第二节
- 巧用CSS实现宝马LOGO
- USACO 2017 January Platinum
热门文章
- loadrunner rtsp协议模拟
- CF 964C Alternating Sum
- div中div水平垂直居中
- POJ2771 Guardian of Decency
- Codevs 1315 摆花
- 《Linux命令行与shell脚本编程大全 第3版》Linux命令行---53
- python - break和continue
- Lotus Notes Error: your mail file cannot be located. use file location manage location to ensure that your mail file is specified correctly
- 当一个窗体上有PageControl 控件时,是先执行 FormShow呢,还是先执行PageControl 的 TabSheet2Show呢
- 洛谷 P2089 烤鸡【DFS递归/10重枚举】