hive 基础

Apache的顶级项目，（java）

2008年Facebook公司开源给Apache基金会

官网：http://hive.apache.org/

hive 将SQL转换成MapReduce程序，并将程序提交到YARN 集群运行，不会自动生成结果文件

　　直接读取HDFS上的数据然后处理

　　sql query（查询）

概念：未定

　　　hive 是基于Hadoop的一个开源数据仓库工具

　　　能够将结构化数据映射成为一张数据库表（二维表），

　　　底层依赖HDFS存储数据，Hive的本质是HQL语句转化成MR程序，提交给Hadoop运行　　

和传统数据库的区别：

　　具有sql数据库的外表，但应用场景完全不同hive只试用于做批量数据分析【海量离线数据的统计分析】

，Hive核心组件

　　解释器：把HQL语句转换成一颗抽象语法树

　　编译器：把抽象语法树转化成一系列MR程序

　　Hive的底层有一系列的MR模板（Operation：GroupByOperation，JoinOperation）

　　优化器：执行这一系列MR程序的优化

　　执行器：组织相关的资源提交给Hadoop集群

------------------------------------------------------------------------------------------------------------------------------hive安装
上传、解压、重命名
修改配置
hive-env.sh (Hadoop_home)
创建数据仓库：
hive数据需要保持到HDFS上,(hdfs上需要有hive所运行的路径和权限!)
创建对应的目录和赋予权限
bin/hdfs dfs -mkdir -p /tmp
bin/hdfs dfs -mkdir -p /user/hive/warehouse
bin/hdfs dfs -chmod g+w /tmp
bin/hdfs dfs -chmod g+w /user/hive/warehouse
hive配置官方网址: https://cwiki.apache.org/confluence/display/Hive/GettingStarted

------------------------------------------------------------------------------------------------------------------------------hive和mysql的差异:
共性:
database：数据库，命名空间
将同一类的表放到此空间下，方便进行管理操作
table：表，字段：数据类型和字段名称

区别：

　　hive没有真正意义

巴特西

hive 基础

最新文章

热门文章