聚合函数 函数处理的数据粒度为多条记录. sum()—求和 count()—求数据量 avg()—求平均直 distinct—求不同值数 min—求最小值 max—求最人值 分析函数 Analytics functions RANK ROW_NUMBER DENSE_RANK CUME_DIST PERCENT_RANK 字符串连接函数 concat concat_ws collect_list collect_set 其他函数 cast -类型转换 if判断 -- if(con,'','');

Hive常用函数的使用 文章作者:foochane  原文链接:https://foochane.cn/article/2019062501.html 1 基本介绍 1.1 HIVE简单介绍 Hive是一个可以将SQL翻译为MR程序的工具,支持用户将HDFS上的文件映射为表结构,然后用户就可以输入SQL对这些表(HDFS上的文件)进行查询分析.Hive将用户定义的库.表结构等信息存储hive的元数据库(可以是本地derby,也可以是远程mysql)中. 1.2 Hive的用途 做数据分析,不用自

第三天笔记 第三天笔记 SQL练习Hive 常用函数关系运算数值计算条件函数日期函数重点!!!字符串函数Hive 中的wordCount1.1 Hive窗口函数1.1.1 聚合开窗函数聚合开窗函数实战:实战1:Hive用户购买明细数据分析实战1需求:1.1.2 排序开窗函数实战2:Hive分析学生成绩信息Hive 行转列Hive 列转行Hive自定义函数UserDefineFunctionUDF:一进一出函数加载方式UDTF:一进多出方法一:使用 explode+split方法二:自定UDTFU

字符串函数 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length(‘abcedfg’) from dual; 7 字符串反转函数:reverse 语法: reverse(string A) 返回值: string 说明:返回字符串A的反转结果 举例: hive> select reverse(‘abcedfg’) from dual; gfdecba 字符串连接函数:concat 语法

参考地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1. parse_url(url, partToExtract[, key]) 解析URL字符串,partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO] eg:         2. concat(str1,SEP,str2,SEP,str3,--) 和 conc

函数分类 oracle hive 说明 字符函数 upper('coolszy') upper(string A) ucase(string A) 将文本字符串转换成字母全部大写形式 lower('KUKA') lower(string A) lcase(string A) 将文本字符串转换成字母全部小写形式 initcap('kuKA aBc') 无  将每个单词的首字母大写,其他位置的字母小写 concat('Hello',' world') concat(string A, string 

Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数. 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 其他函数     数学函数(目录) Return Type Name (Signature) Description DOUBLE round(DOUBLE a) Returns the rounded BIGINT value of a. 返回对a四舍五入的BIG

cast 函数: 类型转换函数,cast(kbcount as int); case when: 条件判断,case when kbcount is not null and cast(kbcount as int) >= cast(patch_count as int) then '1' else '0' end as isinstalled ; 语法:方法1 ( case sex when '1' then '男' when '2' then '女' else '未知' end ) as 性

复合类型构建操作 1. Map类型构建: map 语法: map (key1, value1, key2, value2, …) 说明:根据输入的key和value对构建map类型 举例: hive> Create table lxw_test as select map('100','tom','200','mary') as t from lxw_dual; hive> describe lxw_test; t       map<string,string> hive>

字符串函数 1. 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length('abcedfg') from lxw_dual; 7 2. 字符串反转函数:reverse 语法: reverse(string A) 返回值: string 说明:返回字符串A的反转结果 举例: hive> select reverse(abcedfg’) from lxw_dual; gfdecba 3. 字

日期函数 1. UNIX时间戳转日期函数: from_unixtime 语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳(从1970-01-01 00:00:00 UTC到指定时间的秒数)到当前时区的时间格式 举例: hive> select from_unixtime(1323308943,'yyyyMMdd') from lxw_dual; 20111208 2. 获取当前UNIX时间戳

逻辑运算: 1. 逻辑与操作: AND 语法: A AND B 操作类型:boolean 说明:如果A和B均为TRUE,则为TRUE:否则为FALSE.如果A为NULL或B为NULL,则为NULL 举例: hive> select 1 from lxw_dual where 1=1 and 2=2; 1 2. 逻辑或操作: OR 语法: A OR B 操作类型:boolean 说明:如果A为TRUE,或者B为TRUE,或者A和B均为TRUE,则为TRUE:否则为FALSE 举例: hive>

Hive概念 Hive最适合于数据仓库应用程序,使用该应用程序进行相关静态数据分析,不需要快速响应出结果,而数据本身不会发生频繁变化. Hdfs分布式文件系统限制了hive,使其不支持记录级别的更新.插入.删除.但是支持用户通过查询生成新表或者将查询结果导入文件中. Hive的查询延迟较高,且不支持事物. Hive不支持OLTP(联机事物处理),更接近为一个OLAP(连接分析技术)工具. 大多数数据仓库应用程序是基于sql的关系型数据实现的.所以hive降低了这些应用程序移植到Hadoop上的障

常用日期函数 1.返回当前或指定时间的时间戳 select unix_timestamp();select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2.将时间戳转为日期格式select from_unixtime(1603843200);  3.当前日期 select current_date;  4.当前的日期加时间 select current_timestamp; 5.抽取日期部分 to_date 6. year:获取年select

SUM--sum(汇总字段) over (partition by 分组字段 order by 排序字段) 如果不指定ROWS BETWEEN,默认为从起点到当前行;如果不指定ORDER BY,则将分组内所有值累加;关键是理解ROWS BETWEEN含义,也叫做WINDOW子句:PRECEDING:往前FOLLOWING:往后CURRENT ROW:当前行UNBOUNDED:起点, UNBOUNDED PRECEDING 表示从前面的起点, UNBOUNDED FOLLOWING:表示到后面的终

1.字符串长度函数:length(X)(返回字符串X的长度) select length('qwerty') from table --6 2.字符串反转函数:reverse(X)(返回字符串X反转的结果) select reverse('qwerty') from table --ytrewq 3.字符串连接函数:concat(X,Y,...)(返回输入字符串连接后的结果,支持任意个输入字符串连接) select concat('abc','qwe','rty') from table --a

1 1.取整函数:round(X)(遵循四舍五入) 2 select round(3.1415926) from table --3 3 select round(3.5) from table --4 4 5 2.指定精度取整函数: round(X,Y)(遵循四舍五入) 6 select round(3.14159,3) from table --3.142 7 select round(3.14123,3) from table --3.141 8 9 3.向下取整函数: floor(X)

一.Hive的简介: Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能. 优点: ) 操作接口采用类SQL语法,提供快速开发的能力(简单.容易上手). ) 避免了去写MapReduce,减少开发人员的学习成本. ) Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合. ) Hive优势在于处理大数据,对于处理小数据没有优势,因为Hive的执行延迟比较高. ) Hive支持用户自定义函数,用户可以根据自己的需求来实现

4.2.Hive参数配置方式 Hive参数大全: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 开发Hive应用时,不可避免地需要设定Hive的参数.设定Hive的参数可以调优HQL代码的执行效率,或帮助定位问题.然而实践中经常遇到的一个问题是,为什么设定的参数没有起作用?这通常是错误的设定方式导致的. 对于一般参数,有以下三种设定方式: l  配置文件 l  命令行参数 l  参数声明   配

1介绍 Hive自定义函数包括三种UDF.UDAF.UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数,多进一出.Count/max/min UDTF(User-Defined Table-Generating Functions)  一进多出,如lateral view explore) 使用方式 :在HIVE会话中add 自定义函数的jar文件,然后创建function继而使用

Hive 自定义函数 UDF UDTF UDAF 1.UDF:用户定义(普通)函数,只对单行数值产生作用: UDF只能实现一进一出的操作. 定义udf 计算两个数最小值 public class Min extends UDF { public Double evaluate(Double a, Double b) { if (a == null) a = 0.0; if (b == null) b = 0.0; if (a >= b) { return b; } else { return a