Hadoop（五）：HDFS的JAVA API基本操作

HDFS的JAVA API操作

HDFS在生产应用中主要是客户端的开发，其核心步骤是从HDFS提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。

主要类

Configuration

其实就是我们Java项目的core-site.xml文件，就像安装Hadoop时要配置core-site.xml文件一样，我们的java项目也要正确配置才能连接Hadoop。
在实例化的时候，Configuration类会自动读取：
- core-default.xml（不需要我们增加）
- core-site.xml（我们配置）
- 其实和Hadoop配置一样，core-site没配置的时候，就取默认的core-default.xml里的配置。
Configuration类除了自动读取配置文件以外，还提供了一系列操作配置的方法，可以在程序里修改配置（而不是修改配置文件）。

FileSystem

类似Hadoop shell，对文件操作，通过该类可以对文件进行CRUD。
和Hadoop shell一样，可以对Hadoop支持的文件系统操作。
无参构造器是protected的，一般使用get方法获取该类的对象。
- get方法获取对象有4种重写，一般我们只会用两种，见下文。

示例代码

1.建立Maven项目，导入基本依赖

    <dependencies>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-common</artifactId>

            <version>3.2.1</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-hdfs</artifactId>

            <version>3.2.1</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-client</artifactId>

            <version>3.2.1</version>

        </dependency>

    </dependencies>

2.在resources文件夹下建立core-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.98.129:9000</value>

    </property>

</configuration>

备注：Hadoop中似乎已经封装了log4j日志，可以把log4j.properties也添加进去，否则log4j就一直报找不到配置文件。不加也可以。

3.建立测试类

1.基本使用

package com.rzp.hdfs;

//注意导入的包一定要正确

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;



import java.io.IOException;

import java.net.URI;

import java.net.URISyntaxException;



public class TestHDFSClient {

    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {



        //实例化Configuration

        Configuration conf = new Configuration();

        //使用root用户登录，如果不写，会用当前程序运行环境的用户登录，比如windows的Administrator用户导致报错

        System.setProperty("HADOOP_USER_NAME","root");

        //查看core-site.xml文件中fs.defaultFS的值

        System.out.println(conf.get("fs.defaultFS"));

        //第一种获取FileSystem的对象的方式，通过get(conf)方法，

        FileSystem fs1 = FileSystem.get(conf);

        //在根目录下增加/helloByJava文件夹

        fs1.create(new Path("/helloByJava"));

        //关闭连接

        fs1.close;

    }

}

测试结果：输出了配置中的值，Hadoop根目录下也增加对应文件夹，说明连接成功。

2.通过set方法，修改conf的参数

    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {

        Configuration conf = new Configuration();

        //set方法，修改conf的参数,可以把core-site.xml文件删除测试

        conf.set("fs.defaultFS","hdfs://192.168.98.129:9000");

        System.setProperty("HADOOP_USER_NAME","root");

        System.out.println(conf.get("fs.defaultFS"));

        FileSystem fs1 = FileSystem.get(conf);

        fs1.create(new Path("/helloByJava"));

    }

3.第二种FileSystem实例化的方法，指定用户的get方法

    public void test1() throws URISyntaxException, IOException, InterruptedException {

        Configuration conf = new Configuration();

        //直接指定操作该对象的用户名

        FileSystem fs1 = FileSystem.get(new URI("hdfs://192.168.98.129:9000"),conf,"root");

        fs1.create(new Path("/helloByJava"));

        //关闭连接

        fs1.close;

    }

FileSystem的主要方法

copyToLocalFile--下载文件到本地

    @Test

    public void test2() throws URISyntaxException, IOException, InterruptedException {

        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.98.129:9000"),conf,"root");
　　　　　//第一个地址是Hadoop路径，第二个地址是本地路径

　　　　  fs.copyToLocalFile(new Path("/install.log.syslog"),new Path("./log")); 
　　}

copyFromLocalFile 上传文件

static FileSystem fs = null;

public static void init() throws Exception {

   Configuration conf = new Configuration();

   fs = FileSystem.get(new URI("hdfs://192.168.98.129:9000"), conf, "root");

}



@Test

public void testAddFileToHdfs() throws Exception {

   HdfsClient.init();

　　//第一个地址是本地路径，第二个地址是Hadoop的路径

　　fs.copyFromLocalFile(new Path("D:\\log.log"), new Path("/")); fs.close(); 
}

文件CRUD

@Test

public void testMkdirAndDeleteAndRename() throws Exception {

   HdfsClient.init();

   // 创建目录

   fs.mkdirs(new Path("/a1/b1/c1"));

   fs.mkdirs(new Path("/d1"));

   // 删除文件，如果是非空文件夹，参数2必须给值true

   fs.delete(new Path("/a1"), true);

   // 重命名文件或文件夹

   fs.rename(new Path("/d1"), new Path("/d2"));

   fs.close();

}

查看目录（该部分笔者还没梳理完，所以没有注释，梳理完再修改）

    /**

     * 查看目录信息，只显示文件

     *

     * @throws IOException

     * @throws IllegalArgumentException

     * @throws FileNotFoundException

     */

    @Test

    public void testListFiles() throws Exception {

        HdfsClient.init();

        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

        while (listFiles.hasNext()) {

            LocatedFileStatus fileStatus = listFiles.next();

            System.out.println(fileStatus.getPath().getName());

            System.out.println(fileStatus.getBlockSize());

            System.out.println(fileStatus.getPermission());

            System.out.println(fileStatus.getLen());

            BlockLocation[] blockLocations = fileStatus.getBlockLocations();

            for (BlockLocation bl : blockLocations) {

                System.out.println("block-length:" + bl.getLength() + "--" + "block-offset:" + bl.getOffset());

                String[] hosts = bl.getHosts();

                for (String host : hosts) {

                    System.out.println(host);

                }

            }

            System.out.println("--------------打印的分割线--------------");

        }



    }



    /**

     * 查看文件及文件夹信息

     *

     * @throws IOException

     * @throws IllegalArgumentException

     * @throws FileNotFoundException

     */

    @Test

    public void testListAll() throws Exception {

        HdfsClient.init();

        FileStatus[] listStatus = fs.listStatus(new Path("/"));

        String flag = "";

        for (FileStatus fstatus : listStatus) {

            if (fstatus.isFile()) {

                flag = "f-- ";

            } else {

                flag = "d-- ";

            }

            System.out.println(flag + fstatus.getPath().getName());

            System.out.println(fstatus.getPermission());

        }

    }

巴特西

Hadoop（五）：HDFS的JAVA API基本操作

HDFS的JAVA API操作

主要类

Configuration

FileSystem

示例代码

1.建立Maven项目，导入基本依赖

2.在resources文件夹下建立core-site.xml文件

3.建立测试类

1.基本使用

2.通过set方法，修改conf的参数

3.第二种FileSystem实例化的方法，指定用户的get方法

FileSystem的主要方法

最新文章

热门文章