《Hadoop学习之路》学习实践二——配置idea远程调试hadoop

背景：在上篇文章中按照大神“扎心了老铁”的博客，在服务器上搭建了hadoop的伪分布式环境。大神的博客上是使用eclipse来调试，但是我入门以来一直用的是idea，eclipse已经不习惯，于是便摸索着配置了idea远程调试hadoop的环境。

步骤一：

下载与服务器上的hadoop同版本的hadoop安装包，我下载的是hadoop-2.7.7.tar.gz，下载后解压到某个目录，比如D:\Software\hadoop-2.7.7，不需要其他配置和安装

步骤二：

下载hadooop.dll和winutils.exe，这两个文件主要是调试运行的时候要用，不然运行会报错。我是在网上下载的2.7.x版本的压缩包。解压后放置在D:\Software\hadoop-2.7.7/bin/文件夹下：

同时将hadoop.dll文件复制到C:\Windows\System32下，并且重启电脑，否则会报错

Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

步骤三：

配置系统环境变量：

配置环境变量Path，在现有Path后追加 %HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;

步骤四：

在idea中新建一个maven项目，配置pom.xml依赖

<dependencies>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-client</artifactId>

            <version>2.7.7</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-common</artifactId>

            <version>2.7.7</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-hdfs</artifactId>

            <version>2.7.7</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-mapreduce-client-core</artifactId>

            <version>2.7.7</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>

            <version>2.7.7</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-mapreduce-client-common</artifactId>

            <version>2.7.7</version>

        </dependency>

    </dependencies>

步骤五：将服务器上集群中hadoop/etc/hadoop/下的core-site.xml和hdfs-site.xml和log4j.properties配置复制到idea项目下的resources路径下

注意1：core-site.xml中的fs.defaultFS的值的ip不可用localhost，否则服务器不暴露ip，从PC本地上无法连上hadoop服务；ip在服务器和本地同步修改，服务器端修改后需重启hadoop服务

步骤六：代码测试

测试1-网上的hdfs读写的例子up2hdfs.java，直接运行即可

import org.apache.commons.lang.StringUtils;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

import java.io.*;

import java.net.URI;

public class up2hdfs {

    private static String HDFSUri = "hdfs://10.164.96.220:9000";

    /**

     * 1、获取文件系统

     *

     * @retrun FileSystem 文件系统

     */

    public static FileSystem getFileSystem(){

        //读取配置文件

        Configuration conf = new Configuration();

        //文件系统

        FileSystem fs = null;

        String hdfsUri = HDFSUri;

        if (StringUtils.isBlank(hdfsUri)){

            //返回默认文件系统，如果在hadoop集群下运行，使用此种方法可直接获取默认文件系统；

            try{

                fs = FileSystem.get(conf);

            }catch(IOException e){

                e.printStackTrace();

            }

        }else{

            //返回指定的文件系统，如果在本地测试，需要此种方法获取文件系统；

            try{

                URI uri = new URI(hdfsUri.trim());

                fs = FileSystem.get(uri,conf);

            } catch (Exception e) {

                e.printStackTrace();

            }

        }

        return fs ;

    }

    /**

     * 2、创建文件目录

     * @param path 文件路径

     */

    public static void mkdir(String path){

        try {

            FileSystem fs = getFileSystem();

            System.out.println("FilePath"+path);

            //创建目录

            fs.mkdirs(new Path(path));

            //释放资源

            fs.close();

        } catch (IOException e) {

            e.printStackTrace();

        }

    }

    /**

     * 3、判断目录是否存在

     *

     * @param filePath 目录路径

     * @param create 若不存在是否创建

     *

     */

    public static boolean existDir(String filePath,boolean create){

        boolean flag = false;

        if (StringUtils.isNotEmpty(filePath)){

            return flag;

        }

        try{

            Path path = new Path(filePath);

            //FileSystem对象

            FileSystem fs = getFileSystem();

            if (create){

                if (!fs.exists(path)){

                    fs.mkdirs(path);

                }

            }

            if (fs.isDirectory(path)){

                flag = true;

            }

        }catch (Exception e){

            e.printStackTrace();

        }

        return flag;

    }

    /**

     * 4、本地文件上传至HDFS

     *

     * @param srcFile 源文件路径

     * @param destPath 目的文件路径

     */

    public static void copyFileToHDFS(String srcFile,String destPath) throws Exception{

        FileInputStream fis = new FileInputStream(new File(srcFile));//读取本地文件

        Configuration config = new Configuration();

        FileSystem fs = FileSystem.get(URI.create(HDFSUri+destPath),config);

        OutputStream os = fs.create(new Path(destPath));

        //cpoy

        IOUtils.copyBytes(fis,os,4096,true);

        System.out.println("copy 完成 ......");

        fs.close();

    }

    /**

     * 5、从HDFS下载文件到本地

     *

     * @param srcFile 源文件路径

     * @param destPath 目的文件路径

     *

     */

    public static void getFile(String srcFile,String destPath)throws Exception{

        //HDFS文件地址

        String file = HDFSUri+srcFile;

        Configuration config = new Configuration();

        //构建filesystem

        FileSystem fs = FileSystem.get(URI.create(file),config);

        //读取文件

        InputStream is = fs.open(new Path(file));

        IOUtils.copyBytes(is,new FileOutputStream(new File(destPath)),2048,true);

        System.out.println("下载完成......");

        fs.close();

    }

    /**

     * 6、删除文件或者文件目录

     *

     * @param path

     */

    public static void rmdir(String path){

        try {

            //返回FileSystem对象

            FileSystem fs = getFileSystem();

            String hdfsUri = HDFSUri;

            if (StringUtils.isNotBlank(hdfsUri)){

                path = hdfsUri+path;

            }

            System.out.println("path"+path);

            //删除文件或者文件目录 delete(Path f)此方法已经弃用

            System.out.println(fs.delete(new Path(path),true));

            fs.close();

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

    /**

     * 7、读取文件的内容

     *

     * @param filePath

     * @throws IOException

     */

    public static void readFile(String filePath)throws IOException{

        Configuration config = new Configuration();

        String file = HDFSUri+filePath;

        FileSystem fs = FileSystem.get(URI.create(file),config);

        //读取文件

        InputStream is =fs.open(new Path(file));

        //读取文件

        IOUtils.copyBytes(is, System.out, 2048, false); //复制到标准输出流

        fs.close();

    }

    /**

     * 主方法测试

     */

    public static void main(String[] args) throws Exception {//200         //连接fs

        FileSystem fs = getFileSystem();

        System.out.println(fs.getUsed());

        //创建路径

        mkdir("/dit2");

        //验证是否存在

        System.out.println(existDir("/dit2",false));

        //上传文件到HDFS

        copyFileToHDFS("G:\\testFile\\HDFSTest.txt","/dit/HDFSTest.txt");

        //下载文件到本地

        getFile("/dit/HDFSTest.txt","G:\\HDFSTest.txt");

        // getFile(HDFSFile,localFile);

        //删除文件

        rmdir("/dit2");

        //读取文件

        readFile("/dit/HDFSTest.txt");

    }

}

测试2-网上的mapreduce的例子

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

import java.util.StringTokenizer;

public class WcMapper extends Mapper<LongWritable,Text,Text,IntWritable>{

    @Override

    protected void map(LongWritable key, Text value, Context context)

            throws IOException, InterruptedException {

// IntWritable one=new IntWritable(1);

        String line=value.toString();

        StringTokenizer st=new StringTokenizer(line);

//StringTokenizer "kongge"

        while (st.hasMoreTokens()){

            String word= st.nextToken();

            context.write(new Text(word),new IntWritable(1));   //output

        }

    }

}

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/**

 * Created by iespark on 2/26/16.

 */

public class McReducer extends Reducer<Text,IntWritable,Text,IntWritable> {

    @Override

    protected void reduce(Text key, Iterable<IntWritable> iterable, Context context) throws IOException, InterruptedException {

        int sum=0;

        for (IntWritable i:iterable){

            sum=sum+i.get();

        }

        context.write(key,new IntWritable(sum));

    }

}

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**

 * Created by iespark on 2/26/16.

 */

public class JobRun {

    public static void main(String[] args){

        System.setProperty("hadoop.home.dir", "D:\\Software\\hadoop-2.7.7");

        Configuration conf=new Configuration();

        try{

            Job job = Job.getInstance(conf, "word count");

//            Configuration conf, String jobName;

            job.setJarByClass(JobRun.class);

            job.setMapperClass(WcMapper.class);

            job.setReducerClass(McReducer.class);

            job.setOutputKeyClass(Text.class);

            job.setOutputValueClass(IntWritable.class);

            //解决No job jar file set. User classes may not be found. See Job or Job#setJar(String)报错的问题

//            job.setJar("E:\\idea2017workspace\\myhadoop\\out\\artifacts\\myhadoop_jar\\myhadoop.jar");

            FileInputFormat.addInputPath(job,new Path(args[0]));

            FileSystem fs= FileSystem.get(conf);

            Path op1=new Path(args[1]);

            if(fs.exists(op1)){

                fs.delete(op1, true);

                System.out.println("存在此输出路径，已删除！！！");

            }

            FileOutputFormat.setOutputPath(job,op1);

            System.exit(job.waitForCompletion(true)?0:1);

        }catch (Exception e){

            e.printStackTrace();

        }

    }

}

JobRun.java运行时需要输入参数，hdfs计算输入和输出的路径，或者在run configurations中配置，如下图，注意路径的hdfs地址需要为core-site.xml中的地址

巴特西

《Hadoop学习之路》学习实践二——配置idea远程调试hadoop

最新文章

热门文章