hadoop安装和配置
这里只是涉及了hadoop的一些思路,所以完全分布式配置文件并没有哦!以后会把详细的配置过程和使用环境补充在另外一篇博客中
hadoop的安装:
———————————————————————————————————————————————|
下载hadoop软件 |
解压安装:tar -zvxf hadoop软件 -C /basesoft |
设置环境:/etc/profile |
[HADOOP_HOME=/basesoft/hadoop/PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin] |
记住source /etc/profile |
查询是否安装成功:hadoop version |
———————————————————————————————————————————————-|
好了,是不是很简单呢!
接下来说一下hadoop的单机模式:上面配置完就是了,不要客气哈!(注意配置Java环境哦)
hadoop的伪分布模式:
—————————————————————————————————————|
进入/basesoft/hadoop/etc/hadoop |
修改以下文件配置:core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml |
格式化:hadoop namenode -format |
启动守护进程:start_all.sh(cd /basesoft/hadoop/bin) 关闭:stop_all.sh |
jps查询NameNode/DataNode/JobTracker/TaskTracker是否存在 |
—————————————————————————————————————|
注意:ssh免密登陆要配置好哦!
下面是伪分布模式的配置详情:
core-site.xml修改
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost</value>
</property>
</configuration>
hdfs-site.xml修改
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml修改
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:端口号</value>
</property>
</configuration>
yarn-site.sml修改
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
hadoop完全分布式:
——————————————————————————|
和伪分布式模式一样(只需要修改配置文件的配置内容) |
【注意:需要修改slaves文件】 |
——————————————————————————|
今天学会了插入代码:以后就能复制了\(^o^)/~
最新文章
- 推荐几款jquery图片切换插件
- sql server 2012 数据引擎任务调度算法解析(上)
- PHP文件可限速下载代码
- BZOJ 4385: [POI2015]Wilcze doły
- HTML1
- phpcms从表v9_news_data中字段content中用正则取出图片的地址输出
- MVP设计模式的实现
- MVC 基础知识
- gulp实用配置(2)——中小项目
- iOS中 HTTP/Socket/TCP/IP通信协议详解 韩俊强的博客
- python_vlc 播放http流
- MySql cmd下的学习笔记 —— 有关多表查询的操作(多表查询练习题及union操作)
- easyui Tree树形控件的异步加载
- 【BZOJ】3527: [Zjoi2014]力
- Mybatis的SqlSession理解(二)
- sas基础系列(2)-时间差精度获取
- (二)创建ROS工作空间
- CSS命名规范和规则
- php -- or 的用法
- 释放linux端口
热门文章
- 使用 dotnet core 和 Azure PaaS服务进行devOps开发(Web API 实例)
- Cacti监控一台Webserver上多个Tomcatport的实现
- Replace Pioneer
- 基于 Asp.Net Core MVC 的 Angular4 SSR 英雄指南
- shell脚本小案例
- (转自知乎https://www.zhihu.com/question/20794107)动态代理
- spring boot部署系统--morphling简介
- selenium.common.exceptions.WebDriverException: Message: &#39;phantomjs&#39; executab
- css盒子模型(3)
- 《极客与团队》【PDF】下载