hadoop中常用的hdfs代码操作

一：向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件：

 package hadoopTest;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.*;

 import java.io.*;

 public class HDFSApi {

      /**

      * 判断路径是否存在

      */

     public static boolean test(Configuration conf, String path) throws IOException {

         FileSystem fs = FileSystem.get(conf);

         return fs.exists(new Path(path));

     }

     /**

      * 复制文件到指定路径

      * 若路径已存在，则进行覆盖

      */

     public static void copyFromLocalFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {

         FileSystem fs = FileSystem.get(conf);

         Path localPath = new Path(localFilePath);

         Path remotePath = new Path(remoteFilePath);

         /* fs.copyFromLocalFile 第一个参数表示是否删除源文件，第二个参数表示是否覆盖 */

         fs.copyFromLocalFile(false, true, localPath, remotePath);

         fs.close();

     }

     /**

      * 追加文件内容

      */

     public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) throws IOException {

         FileSystem fs = FileSystem.get(conf);

         Path remotePath = new Path(remoteFilePath);

         /* 创建一个文件读入流 */

         FileInputStream in = new FileInputStream(localFilePath);

         /* 创建一个文件输出流，输出的内容将追加到文件末尾 */

         FSDataOutputStream out = fs.append(remotePath);

         /* 读写文件内容 */

         byte[] data = new byte[1024];

         int read = -1;

         while ( (read = in.read(data)) > 0 ) {

             out.write(data, 0, read);

         }

         out.close();

         in.close();

         fs.close();

     }

     /**

      * 主函数

      */

     public static void main(String[] args) {

         Configuration conf = new Configuration();

     conf.set("fs.default.name","hdfs://localhost:9000");

         String localFilePath = "/home/flyuz/text.txt";    // 本地路径

         String remoteFilePath = "/text.txt";    // HDFS路径

         String choice = "append";    // 若文件存在则追加到文件末尾

 //        String choice = "overwrite";    // 若文件存在则覆盖

         try {

             /* 判断文件是否存在 */

             Boolean fileExists = false;

             if (HDFSApi.test(conf, remoteFilePath)) {

                 fileExists = true;

                 System.out.println(remoteFilePath + " 已存在.");

             } else {

                 System.out.println(remoteFilePath + " 不存在.");

             }

             /* 进行处理 */

             if ( !fileExists) { // 文件不存在，则上传

                 HDFSApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);

                 System.out.println(localFilePath + " 已上传至 " + remoteFilePath);

             } else if ( choice.equals("overwrite") ) {    // 选择覆盖

                 HDFSApi.copyFromLocalFile(conf, localFilePath, remoteFilePath);

                 System.out.println(localFilePath + " 已覆盖 " + remoteFilePath);

             } else if ( choice.equals("append") ) {   // 选择追加

                 HDFSApi.appendToFile(conf, localFilePath, remoteFilePath);

                 System.out.println(localFilePath + " 已追加至 " + remoteFilePath);

             }

         } catch (Exception e) {

             e.printStackTrace();

         }

     }

 }

追加或覆盖

二：从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；

 package hadoopTest;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.*;

 import java.io.*;

 public class HDFSApi {

     /**

      * 下载文件到本地 判断本地路径是否已存在，若已存在，则自动进行重命名

      */

     public static void copyToLocal(Configuration conf, String remoteFilePath, String localFilePath) throws IOException {

         FileSystem fs = FileSystem.get(conf);

         Path remotePath = new Path(remoteFilePath);

         File f = new File(localFilePath);

         /* 如果文件名存在，自动重命名(在文件名后面加上 _0, _1 ...) */

         if (f.exists()) {

             System.out.println(localFilePath + " 已存在.");

             Integer i = 0;

             while (true) {

                 f = new File(localFilePath + "_" + i.toString());

                 if (!f.exists()) {

                     localFilePath = localFilePath + "_" + i.toString();

                     break;

                 }

             }

             System.out.println("将重新命名为: " + localFilePath);

         }

         // 下载文件到本地

         Path localPath = new Path(localFilePath);

         fs.copyToLocalFile(remotePath, localPath);

         fs.close();

     }

     /**

      * 主函数

      */

     public static void main(String[] args) {

         Configuration conf = new Configuration();

         conf.set("fs.default.name", "hdfs://localhost:9000");

         String localFilePath = "/home/flyuz/text.txt"; // 本地路径

         String remoteFilePath = "/text.txt"; // HDFS路径

         try {

             HDFSApi.copyToLocal(conf, remoteFilePath, localFilePath);

             System.out.println("下载完成");

         } catch (Exception e) {

             e.printStackTrace();

         }

     }

 }

下载文件

三：将HDFS中指定文件的内容输出到终端中；

 package hadoopTest;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.*;

 import java.io.*;

 public class HDFSApi {

     /**

      * 读取文件内容

      */

     public static void cat(Configuration conf, String remoteFilePath) throws IOException {

         FileSystem fs = FileSystem.get(conf);

         Path remotePath = new Path(remoteFilePath);

         FSDataInputStream in = fs.open(remotePath);

         BufferedReader d = new BufferedReader(new InputStreamReader(in));

         String line = null;

         while ((line = d.readLine()) != null) {

             System.out.println(line);

         }

         d.close();

         in.close();

         fs.close();

     }

     /**

      * 主函数

      */

     public static void main(String[] args) {

         Configuration conf = new Configuration();

         conf.set("fs.default.name", "hdfs://localhost:9000");

         String remoteFilePath = "/text.txt"; // HDFS路径

         try {

             System.out.println("读取文件: " + remoteFilePath);

             HDFSApi.cat(conf, remoteFilePath);

             System.out.println("\n读取完成");

         } catch (Exception e) {

             e.printStackTrace();

         }

     }

 }

输出到终端

四：显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；

 package hadoopTest;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.*;

 import java.io.*;

 import java.text.SimpleDateFormat;

 public class HDFSApi {

     /**

      * 显示指定文件的信息

      */

     public static void ls(Configuration conf, String remoteFilePath) throws IOException {

         FileSystem fs = FileSystem.get(conf);

         Path remotePath = new Path(remoteFilePath);

         FileStatus[] fileStatuses = fs.listStatus(remotePath);

         for (FileStatus s : fileStatuses) {

             System.out.println("路径: " + s.getPath().toString());

             System.out.println("权限: " + s.getPermission().toString());

             System.out.println("大小: " + s.getLen());

             /* 返回的是时间戳,转化为时间日期格式 */

             Long timeStamp = s.getModificationTime();

             SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

             String date = format.format(timeStamp);

             System.out.println("时间: " + date);

         }

         fs.close();

     }

     /**

      * 主函数

      */

     public static void main(String[] args) {

         Configuration conf = new Configuration();

         conf.set("fs.default.name", "hdfs://localhost:9000");

         String remoteFilePath = "/text.txt"; // HDFS路径

         try {

             System.out.println("读取文件信息: " + remoteFilePath);

             HDFSApi.ls(conf, remoteFilePath);

             System.out.println("\n读取完成");

         } catch (Exception e) {

             e.printStackTrace();

         }

     }

 }

ls-l

巴特西

hadoop中常用的hdfs代码操作

最新文章

热门文章