大数据学习——java操作hdfs环境搭建以及环境测试
2024-08-23 05:18:54
1 新建一个maven项目
打印根目录下的文件的名字
添加pom依赖
pom.xml
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion> <groupId>com.cyf</groupId>
<artifactId>hdfstest</artifactId>
<version>1.0-SNAPSHOT</version>
<packaging>war</packaging> <name>hdfstest Maven Webapp</name>
<!-- FIXME change it to the project's website -->
<url>http://www.example.com</url> <properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.9</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.4</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.4</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.4</version>
</dependency>
</dependencies>
</project>
2 测试
TestHDFS.java
package cn.itcast.hdfs; import java.io.IOException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator; public class TestHDFS {
public static void main(String[] args) throws IOException {
Configuration conf = new Configuration();
//1首先需要一个hdfs的客户端对象
conf.set("fs.defaultFS", "hdfs://mini1:9000");
FileSystem fs = FileSystem.get(conf);
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), false);
//通过迭代器可以遍历出我们hdfs文件系统的根目录下的文件
while (listFiles.hasNext()) {
LocatedFileStatus fileStatus = listFiles.next();
Path path = fileStatus.getPath(); String fileName = path.getName();
System.out.println(fileName);
} }
}
运行结果如下图
最新文章
- 在Ubuntu下配置舒服的Python开发环境
- vb- ----之常用函数
- C#线程同步的几种方法
- [锋利JQ]-图片提示效果
- ABAP 内表的行列转换-发货通知单-SLIS
- 035. asp.netWeb用户控件之四通过用户控件实现投票和结果分析
- 注意Activator.CreateInstance两个重载方法的性能
- The class has no identifier property
- LeetCode Peeking Iterator
- 【Spark学习】Apache Spark for 第三方Hadoop分发版
- AvalonEdit 移除自身ScrollViewer (可配合外部自定义ScrollViewer 使用)
- HTML基础总结<;文本格式>;
- Html+Css实现九大行星动画效果
- WinForm 布局,容器、打印和对话框控件
- mysql5.6 主从复制
- python字符串27种常见的方法
- zlib 简单封装
- 再读c++primer plus 003
- 〖Android〗scp替换脚本
- WebGl 多缓冲区传递颜色和坐标(矩形)
热门文章
- Mysql查询语句的 where子句、group by子句、having子句、order by子句、limit子句
- android动画(3)layout动画,layoutChanged动画及算定义它,ListViewActivity的Layout动画(代码和xm配置两种实现l)
- 493 Reverse Pairs 翻转对
- Suricata产生的数据存储目录
- 关于c#的结构体struct与class的区别
- CSS进阶:提高你前端水平的 4 个技巧
- java将一个List赋值给另一个List的4种方法
- 洛谷P1724 东风谷早苗
- CSS 循环动画效果。
- SEO 第十章