【实战】Hadoop安装01-伪分布式-Pseudo
Hadoop安装-伪分布式-Pseudo
〇、所需资料
一、前置环境安装
1、包含内容
(1)安装
虚拟机安装、系统安装
(2)配置
ip、host、主机名配置
关闭防火墙及selinux
SSH免密登录
(2)基础环境安装
安装jdk
安装ntpd开启时钟同步
2、参考地址
https://www.cnblogs.com/liujinhui/p/16838546.html
二、Hadoop安装配置
1、解压与环境变量配置
(1)目录介绍
sbin目录:服务的启动脚本
bin目录:功能模块下的一些命令
lib:所需jar包
(2)环境变量配置
vi /etc/profile
增加:hadoop的bin和sbin目录
source /etc/profile使配置文件生效
2、hadoop-env.sh:配置jdk
export JAVA_HOME=/usr/java/default
3、core-site.xml:配置NN
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/data/hadoop</value>
</property>
</configuration>
4、hdfs-site.xml:配置SNN和DN
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/data/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/data/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop01:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>
</configuration>
5、slaves:配置DN节点位置
hadoop01
三、启动及验证
1、格式化NN
bin/hdfs namenode -format
2、验证NN对应位置
/usr/local/data/hadoop/dfs/name/xxx
3、HDFS启动与验证
sbin/start-dfs.sh
4、页面及生成文件验证
(1)页面验证
修改Windows的地址:C:\Windows\System32/drivers\etc\hosts
增加ip和主机的映射关系
192.168.40.101 hadoop01
四、使用
1、命令介绍
hdfs dfs【得到支持的命令】
2、创建目录
创建目录:hdfs dfs -mkdir abc(操作的是NN的元数据)
通常会创建:hdfs dfs -mkdir -p /usr/root 【点右上角的go!进行刷新】【对比linux家目录home,此处为user】【-p表示递归创建】
3、上传文件
上传数据:hdfs dfs -put a.txt /usr/root【点go刷新】
上传过程显示:COPYING
4、查看DN文件所在位置
/usr/local/data/hadoop/dfs/data/xxx
5、上传时附加配置
按字节切割:block.size【hdfs-site.xml】
上传时,指定块大小1m,验证如何切割
hdfs dfs -D dfs.blocksize=1024*1024(1048576=1m) -put data.txt
最新文章
- 天津政府应急系统之GIS一张图(arcgis api for flex)讲解(七)地图打印模块
- CSS3基础03(3D②) 求粉丝
- angular 路由去除#号
- hdu - 1728逃离迷宫 &;&; hdu - 1175 连连看 (普通bfs)
- android 用ListView实现表格样式
- Python核心编程2第五章课后练习
- java提高篇(二二)-----LinkedList
- 转:JS在文本域鼠标指定位置插入文本-柯乐义
- flash跨域策略文件crossdomain.xml
- spring EL表达式,null-safe表达式
- ionic结合HTML5实现打电话功能
- 重设msyql数据库root密码
- 数据库概论_3标准化的SQL语言_ 数据定义
- <;TCP/IP原理>; (一)
- nginx.conf配置详解
- jtag、在线仿真器
- jQuery——检测滚动条是否到达底部
- 【Java】JavaWeb 登录检查及界面跳转
- POJ 2438 Children’s Dining (哈密顿图模板题之巧妙建反图 )
- 基于Vue的WebApp项目开发(三)