大数据笔记(四)——操作HDFS
一.Web Console:端口50070
二.HDFS的命令行操作
(一)普通操作命令
HDFS 操作命令帮助信息: hdfs dfs + Enter键
常见命令
1. -mkdir
- 在HDFS上创建目录:hdfs dfs -mkdir /aaa
- 如果父目录不存在,使用 -p 命令先创建父目录:
2. -ls /
查看hdfs文件系统根目录下的目录和文件:
3.-ls -R /
查看所有目录和文件:
4.-put
上传数据:将本地Linux文件data.txt上传到HDFS的aaa目录下
-copyFromLocal 上传数据,类似-put
-moveFromLocal 上传数据,类似-put,相当于ctrl+x
5.-get 下载数据(刚才上传数据时已经有data.txt,所以要把Linux目录下的data.txt先删除)
6.-rm: 删除目录
-rmr: 删除目录,包括子目录
hdfs dfs -rmr /bbb
7. -getmerge:把某个目录下的文件,合并后再下载
8.-cp:拷贝 hdfs dfs -cp /input/data.txt /input/data2.txt
9.-mv:移动 hdfs dfs -cp /input/data.txt /aaa/a.txt
10.-count 统计hdfs对应路径下的目录个数,文件个数,文件总计大小:hdfs dfs -count /students
11.-du 显示hdfs对应路径下每个文件夹和目录的大小 hdfs dfs -du /students
12.-cat 查看文本的内容 hdfs dfs -cat /input/data.txt
13.balancer:平衡操作 如果管理员发现某些DataNode上保存数据过多,某些过少,就可以采取此操作
(二)管理命令:hdfs dfsadmin
举例:
1.-report 打印hdfs的报告 hdfs dfsadmin -report
2.-safemode:安全模式(安全模式下对hdfs只能进行只读操作)
三.JavaAPI
通过HDFS提供的JavaAPI,我们可以完成以下的功能:
(一)在HDFS上创建目录
(二)写入数据(上传文件)
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test; import com.jcraft.jsch.Buffer; public class TestUpload { @Test
public void testUpload() throws IOException{
System.setProperty("HADOOP_USER_NAME", "root");
//NameNode core.site.xml
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.153.11:9000"); //构造一个输入流 <---HDFS
FileSystem fs = FileSystem.get(conf); InputStream in = new FileInputStream("D:\\temp\\hadoop-2.7.3.tar.gz"); //构造一个输出流------> HDFS
OutputStream out = fs.create(new Path("/tools/hadoop-2.7.3.tar.gz")); byte[] buffer = new byte[1024];
int len = 0; while ((len=in.read(buffer)) > 0) {
out.write(buffer, 0, len);
} out.flush(); in.close();
out.close(); }
}
(三)通过 FileSystem API 读取数据(下载文件)
(四)查看目录及文件信息
(五)查找某个文件在HDFS集群的位置
(六)删除数据
(七)获取HDFS集群上所有数据节点信息
最新文章
- python flask detect browser language
- HTML中id、name、class 区别
- PC客户端测试总结
- Linux shell入门基础(二)
- 11997 - K Smallest Sums(优先队列)
- Itext简绍及操作PDF文件
- 配置cinder使用NFS后端
- ReactJS React+Redux+Router+antDesign通用高效率开发模板,夜间模式为例
- C#中的委托(一)
- Android Stuido 提高开发效率的插件
- 网页搜索之后的APP搜索
- 清除Windows访问共享时保存的凭据记录
- MongoDB 组合多个条件查询($and、$in、$gte、$lte)
- xargs与exec详解
- Java实验2
- C 简单1
- JAVA Serverlet 请求头信息和响应头信息
- elasticsearch 多列 聚合(sql group by)
- 如何使用Ultraiso制作U盘启动盘
- jquery获取的html元素和document获取的元素的区别
热门文章
- springboot swagger教程&#128512;
- pthread.h 的 undefined reference to `pthread_create&#39;
- Self-Driving Database
- sublime3跳转函数
- ambari 2.5.0源码编译安装
- 实现webpack的实时打包构建
- mailaddr - 关于邮件地址的描述
- 115-基于TI TMS320DM6467无操作系统Camera Link智能图像分析平台
- CRMEasy知识库访问权限
- 神经风格转换Neural Style Transfer a review