Hive UDF 用户自定义函数编程及使用

首先创建工程编写UDF 代码，示例如下：

1、新建Maven项目 udf

本机Hadoop版本为2.7.7， Hive版本为1.2.2，所以选择对应版本的jar ，其它版本也不影响编译。

2、 pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0"

    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0

        http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.hive</groupId>

    <artifactId>udf</artifactId>

    <version>1.0.0</version>

    <dependencies>

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-common</artifactId>

            <version>2.7.7</version>

        </dependency>

        <dependency>

            <groupId>org.apache.hive</groupId>

            <artifactId>hive-exec</artifactId>

            <version>1.2.2</version>

        </dependency>

    </dependencies>

    <build>

        <finalName>${project.artifactId}</finalName>

        <plugins>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-compiler-plugin</artifactId>

                <version>3.8.0</version>

                <configuration>

                    <source>1.8</source>

                    <target>1.8</target>

                    <encoding>UTF-8</encoding>

                </configuration>

            </plugin>

        </plugins>

    </build>

</project>

3、 DateFormatConvert.java

package com.hive.udf;

import java.text.ParseException;

import java.text.SimpleDateFormat;

import java.util.Date;

import org.apache.hadoop.hive.ql.exec.UDF;

import org.apache.hadoop.io.Text;

/**

 * Hive 日期格式转换函数

 *

 * @author Logan

 * @createDate 2019-04-30

 * @version 1.0.0

 *

 */

public class DateFormatConvert extends UDF {

    /**

     * 日期格式转换函数

     *

     * @param text 输入日期文本

     * @param srcFormat 源格式

     * @param destFormat 目标格式

     * @return

     * @throws ParseException

     */

    public Text evaluate(Text text, Text srcFormat, Text destFormat) throws ParseException {

        if (null == text || null == srcFormat || null == destFormat) {

            return text;

        }

        SimpleDateFormat srcDateFormat = new SimpleDateFormat(srcFormat.toString());

        SimpleDateFormat destDateFormat = new SimpleDateFormat(destFormat.toString());

        Date date = srcDateFormat.parse(text.toString());

        String destDateString = destDateFormat.format(date);

        return new Text(destDateString);

    }

}

4、打包上传到 /root/files/udf.jar

5、添加用户自定义函数

add jar /root/files/udf.jar;

create temporary function udf_date_format_convert as 'com.hive.udf.DateFormatConvert';

6、使用

select udf_date_format_convert(log_time, 'yyyyMMddHHmmss', 'yyyy-MM-dd HH:mm:ss') from tb_logs;

表 tb_logs 数据如下：

log_time

20190529072650

20190529072730

20190529072812

使用UDF 函数输出结果如下：

2019-05-29 07:26:50

2019-05-29 07:27:30

2019-05-29 07:28:12

Hive UDF 用户自定义函数编程及使用

巴特西

Hive UDF 用户自定义函数编程及使用

最新文章

热门文章

巴特西

Hive UDF 用户自定义函数 编程及使用

最新文章

热门文章

Hive UDF 用户自定义函数编程及使用