在前面的文章中,介绍了可以把Hive当成一个"数据库",它也具备传统数据库的数据单元,数据库(Database/Schema)和表(Table). 本文介绍一下Hive中的数据库(Database/Schema)和表(Table)的基础知识,由于篇幅原因,这里只是一些常用的.基础的. 二.Hive的数据库和表 先看一张草图: Hive结构 从图上可以看出,Hive作为一个"数据库",在结构上积极向传统数据库看齐,也分数据库(Schema),每个数据库下面有各自的表组

Hive drop table时没有反应,于是强制中断. 解决之法,对其进行补充. mysql> show variables like 'char%';第一步:进入mysql,输入:show variables like 'char%'.显示如下 此时的character_set_database编码是utf8,问题就出在这里,如果你是latin1,可能是在建好hive数据库后,没有第一时间将character_set_database编码由utf8修改为latin1.而是去hive中crea

Hive与关系型数据库的比较     使用Hive的CTL(命令行接口)时,你会感觉它很像是在操作关系型数据库,但是实际上,Hive和关系型数据库有很大的不同.       1)Hive和关系型数据库存储文件的系统不同.          Hive使用HDFS(hadoop的分布式文件系统),关系型数据库则是服务器本地的文件系统: 2)Hive使用的计算模型是MapReduce,而关系型数据库则是自己设计的计算模型. 3)Hive是为海量数据做数据挖掘设计的,实时性差:而关系型数据库是为实时查询

1)hive和关系型数据库存储文件的系统不同.  hive使用hdfs(hadoop的分布式文件系统),关系型数据库则是服务器本地的文件系统: 2)hive使用的计算模型是mapreduce,而关系型数据库则是自己设计的计算模型. 3)hive是为海量数据做数据挖掘设计的,实时性差:而关系型数据库是为实时查询的业务进行设计的. 4)hive很容易扩展自己的存储能力和计算能力,这个是继承hadoop的,而关系型数据库在这方面相对较差.而数据库由于 acid 语义的严格限制,扩展行非常有限. 5)h

表 1.重命名表重命名表的语句如下: ALTER TABLE table_name RENAME TO new_table_name 2.修改表属性: ALTER TABLE table_name SET TBLPROPERTIES (property_name = property_value, property_name = property_value,... ) 3.修改表注释: ALTER TABLE table_name SET TBLPROPERTIES('comment' = n

一:基本用法 1.新建数据库 2.删除数据库 3.删除非空的数据库 4.指定数据库的位置 LOCATION:指定数据库的位置,不会在系统的默认文件下. 5.在指定数据库中新建表(验证在指定的数据库中可以建表) 6.在页面上观看表 可以看到在指定的目录下有一张新建的表. 但是,没有看到指定的数据库. 7.新建表 8.删除一张表 drop  table if exists student; 9.清空一张表 10.加载数据 1)从本地加载 2)从HDFS上加载 3)区别: 移动. 11.查询 12.描

在hive中,show tables,create 等命令能正常执行,删除表drop table x时,会出现卡住的现象. 进入mysql, show variables like 'char%' 可以看到 按理说是正确的. 后面发现,是在建好hive数据库后,没有第一时间将character_set_database编码由utf8修改为latin1.而是去hive中create了一张表.而后才将character_set_database编码由utf8改成了latin 解决办法: 在mysql

一:基本用法 1.新建数据库 2.删除数据库 3.删除非空的数据库 4.指定数据库的位置 LOCATION:指定数据库的位置,不会在系统的默认文件下. 5.在指定数据库中新建表(验证在指定的数据库中可以建表) 6.在页面上观看表 可以看到在指定的目录下有一张新建的表. 但是,没有看到指定的数据库. 7.新建表 8.删除一张表 drop  table if exists student; 9.清空一张表 10.加载数据 1)从本地加载 2)从HDFS上加载 3)区别: 移动. 11.查询 12.描

创建数据库 hive创建数据库的最简单写法和mysql差不多: create database foo; 仅当名为foo的数据库当前不存在时才创建: create database if not exists foo; 创建数据库时指定位置,这个位置一般是在hdfs上的位置: create database foo location '/db/foo'; 查看已经创建的数据库: show databases ; 使用通配符查看foo开头的数据库: show databases like 'foo

HBase 1.hbase为查询而生,它通过组织机器的内存,提供一个超大的内存hash表,它需要组织自己的数据结构,表在hbase中是物理表,而不是逻辑表,搜索引擎用它来存储索引,以满足实时查询的需求: 2.hbase 是一个基于列存储的非关系型数据库,查询效率高,主要用于查询和展示结果:   3.hbase可以认为是hdfs的一个包装.它的本质是数据存储,是个nosql数据库:hbase部署于hdfs之上,并且克服了hdfs在随机读写方面的缺点.   https://www.ibm.com/d

1.hive数据库 我们在hive终端,查看数据库信息,可以看出hive有一个默认的数据库default,而且我们还知道hive数据库对应的是hdfs上面的一个目录,那么默认的数据库default到底对应哪一个目录呢?我们可以通过hive配置文件hive-site.xml中的一个hive.metastore.warehouse.dir配置项看到信息. 如上图,它告诉了我们默认数据库default在hdfs的目录. 在我们的metastore中,我们可以查阅表DBS来获知对应关系. 2.hive表

Hive是什么? Hive是基于Hadoop之上的数据仓库: Hive是一种可以存储.查询.分析存储在hadoop中的大规模数据 Hive定义了简单的类SQL查询语言,成为HQL,它允许熟悉SQL的用户查询数据 允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作 Hive没有专门的数据格式 Hive:数据仓库. Hive:解释器,编译器,优化器等. Hive运行时,元数据存储在关系型数据库里面. 1. 为什么

项目中需要比对两种方法计算生成的数据情况,需要做两件事情,比对生成的中间表的行数是否相同,比对最后一张表的数据是否一致. 在获取表的数据量是一条一条地使用select count(*) from table来获取等待结果比较烦人,所以就写了一个bash shell来做这件事. 但一开始是这样的: for line in $(cat tables.txt) do echo "tablename :$line"; value=$(hive --database databasename -

if the hive version not support drop table tablename purge. your drop table command will move data to .Trash in hdfs. dfs .Trash; drop table tablename; dfs .Trash/Current; #batch drop tables you want in hive. hive --database databaseName -e "show tab

TreeDMS数据库管理系统使用JAVA开发,采用稳定通用的springMVC +JDBC架构,实现基于WEB方式对 MySQL,Oracle,PostgreSQL,mongoDB ,Hive, SAP HANA 等数据库进行维护管理操作.单支持一个数据库就很牛了,而TreeDMS支持多种数据库并存同时管理,太强大了. 功能包括:数据库的展示,库表的展示,表字段结构的展示, SQL语句的在线编辑批量执行,表结构的在线设计维护,数据的在线编辑维护,查询语句保存,数据备份还原,复制表,复制数据,JS

数据库查询*分组排序取top n要求:按照课程分组,查找每个课程最高的两个成绩. 数据文件如下: 第一列no为学号,第二列course为课程,第三列score为分数 mysql> select * from lesson;+-------+---------+-------+| no | course | score |+-------+---------+-------+| N0101 | Marth | 100 || N0102 | English | 12 || N0102 | Chine

hive>show databases;hive>use databasename;hive>show create table tablename; --查看table的存储路径hive>desc tablename; --查看table的表结构hive>show functions; --查看所有的hive函数 desc formatted dev.dev_jypt_jiadian_cate3_pred_res_20181116_8000  路径在location那

hive> desc database extended wx_test; OK wx_test hdfs://ns1/user/hive/warehouse/wx_test.db hadoop USER {t_date=2015-06-21, creator=wx} Time taken: 0.027 seconds, Fetched: 1 row(s) hive> desc formatted page_view; OK # col_name data_type comment viewt

创建parquet table : create table mytable(a int,b int) STORED AS PARQUET; 创建带压缩的parquet table: create table mytable(a int,b int) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY'); 如果原来创建表的时候没有指定压缩,后续可以通过修改表属性的方式添加压缩: ALTER TABLE mytable SE

一般Hive依赖关系型数据库Mysql,故先安装Mysql $: yum install mysql-server mysql-client [yum安装] $: /etc/init.d/mysqld start [启动mysql服务] $: mysql [登录mysql客户端] mysql> create database hive; 安装配置Hive $: tar zvxf apache-hive-2.1.1-bin.tar 1. 配置环境变量 export HIVE_HOME=/usr/l