一.引言: 快下班的时候我开发同事问能不能将hive中drop掉的数据恢复过来,我记得是有开回收站的,当时我回答说可以恢复的. 二.恢复过程: 在之前我有对hadoop的回收站有过了解,就是将hdfs dfs -rm删除掉的文件进行恢复,只需要hdfs dfs -mv将文件从回收站中搬过来就行,我就先使用这个方法,但是效果不佳,执行select count(*) from table_name,得到的结果为0.这个时候我想到这个表被drop掉以后在mysql的元数据库中已经没有数据了,那就得需要

练习oracle时create了很多表,drop表后select * from tab; 网上找了好些方法,但是好多都适用... SQL>purge recyclebin; 回收站已清空.

数据库执行drop table XXX后,查看du -sh 已下降,但df -h /pgdb没有减少,是有还有进程使用对应的文件句柄 1.通过表名确认文件ID select pg_relation_filepath('table_name'); 2.确认使用文件ID的进程是否可以删除 lsof | grep “文件ID” select * from pg_stat_activity where pid="PID” 3.删除对应进程 select pg_terminate_backend('PID

己亥清爽系列说明:清爽系列是作为恢复系列的基础篇,基于FS(File System)文件系统的手工还原恢复,也叫基于用户管理的还原恢复,来自于博客园AskScuti. 实验说明:你不小心Drop掉了一张表数据,且没能及时反应过来,后面才恍然大悟,想利用闪回Drop技术进行闪回操作,可发现表空间被挤占,导致回收站里改表已被清空,又或者表是以Purge方式Drop掉的.如何进行手工不完全还原恢复操作.注:在数据文件.控制文件.在线日志和归档日志都完整的情况下. 基于版本:Oracle 11gR2 1

1.查看回收站中表 select object_name,original_name,partition_name,type,ts_name,createtime,droptime from recyclebin; 2.恢复表 SQL>flashback table test_drop to before drop; 或 SQL>flashback table "BIN$zGmbX+sxT2S3YtdqJWNa5g==$0" to before drop; 脑袋一花,吓个半

mysql从5.6.17开始自动设置innodb_file_per_table为on,每个表设置单独表空间,数据不是集中存放在ibdata1里.下面测试下无备份后drop表后的恢复. 前奏生成数据字典https://www.cnblogs.com/omsql/p/9253234.html 删除表前的准备 mysql> SHOW VARIABLES LIKE 'innodb_file_per_table'; +-----------------------+-------+ | Variable_

-----正常运行计划 set autotrace traceonly set linesize 1000 select /*+index(t idx_object_id)*/ * from t where object_id=19; Execution Plan ---------------------------------------------------------- Plan hash value: 2041828949 ------------------------------

有些时候,不小心删除了一些需要的表,而且数据库不能停止,只能一直运行下去,这样的话很麻烦 下面介绍的方法就是删除表后通过时间戳后者scn找回删除的数据 模拟实验环境: 创建一个新表 SQL> create table www as select * from hr.employees; Table created. 查看新表是否有数据 SQL> select count(*) from www;   COUNT(*) ----------        107 查看当前的时间,这里时间或者sc

hive内部表.外部表.分区 内部表(managed table) 默认创建的是内部表(managed table),存储位置在hive.metastore.warehouse.dir设置,默认位置是/user/hive/warehouse. 导入数据的时候是将文件剪切(移动)到指定位置,即原有路径下文件不再存在 删除表的时候,数据和元数据都将被删除 默认创建的就是内部表create table xxx (xx xxx) 外部表(external table) 外部表文件可以在外部系统上,只要有

在hive中,show tables,create 等命令能正常执行,删除表drop table x时,会出现卡住的现象. 进入mysql, show variables like 'char%' 可以看到 按理说是正确的. 后面发现,是在建好hive数据库后,没有第一时间将character_set_database编码由utf8修改为latin1.而是去hive中create了一张表.而后才将character_set_database编码由utf8改成了latin 解决办法: 在mysql

Hive管理表,也叫内部表.Hive控制着管理表的整个生命周期,默认情况下Hive管理表的数据存放在hive的主目录:/user/hive/warehouse/下,并且当我们删除一张表时,这张表的数据也会相应的被删除掉,在文件层面上讲,就是在Hive主目录下的表目录以及目录里面的数据文件都会被删除掉. 管理表能够有效的管理表的数据,但是不利于对数据的分享,同一份数据,我希望既能够指向表A,有能够分享给表B,但是相应的这些表不应该控制数据的生命周期,这种表在Hive里面成为外部表.在创建外部表的时

标题比较笼统,实际情况是: 对于Hive 的分区外部表的已有分区,在对表新增或者修改字段后,相关分区不生效. 原因是:表元数据虽然修改成功,但是分区也会对应列的元数据,这个地方不会随表的元数据修改而修改. 处理办法: 有两种 第一种:修改表,然后对于需要生效的分区,先drop 再 add. (或者说:先drop 表在重新建表再添加分区) 第二种:修改表,对需要生效的分区也执行添加或者修改字段的操作,比如:alter table tablename partition(year='2017') a

Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理. 1. 版本表 i) VERSION   -- 查询版本信息 2. 数据库.文件存储相关 i) DBS -- 存储Hive中所有数据库的基本信息 ii) SDS -- 存储Hive中文件存储的基本信息 3. 表.视图相关 i) TBLS -- 存储Hive表.视图.索引表的基本信息 简要说明:1. 内部表与外部表的区别, 外部表 drop table 后,只删除元数据信息,数据文件还在.但是内部表 drop t

hive 内部表: hive> create table soyo55(name STRING,addr STRING,money STRING) row format delimited fields terminated by ',' stored as textfile; hive> load data local inpath '/home/soyo/桌面/4.txt' into table soyo55; 表中的数据到底存放在HDFS的什么地方?其实在Hive的${HIVE_HOME

Hive drop table时没有反应,于是强制中断. 解决之法,对其进行补充. mysql> show variables like 'char%';第一步:进入mysql,输入:show variables like 'char%'.显示如下 此时的character_set_database编码是utf8,问题就出在这里,如果你是latin1,可能是在建好hive数据库后,没有第一时间将character_set_database编码由utf8修改为latin1.而是去hive中crea

在hdfs目录:/user/xx/table/test_external 保存 test_external 表数据 先建表,使用列式存储格式 CREATE external TABLE `test_external` (`schedule_no` STRING, `shop_code` STRING, `goods_code` STRING `created` STRING) PARTITIONED BY (day_mart string) ROW FORMAT SERDE 'org.apach

1. 内部表 create table test (name string , age string) location '/input/table_data'; 注:hive默认创建的是内部表 此时,会在hdfs上新建一个test表的数据存放地 load data inpath '/input/data' into table test ; 会将hdfs上的/input/data目录下的数据转移到/input/table_data目录下.删除test表后,会将test表的数据和元数据信息全部删

hive内部表.外部表区别自不用说,可实际用的时候还是要小心. 1. 内部表: create table tt (name string , age string) location '/input/table_data'; 此时,会在hdfs上新建一个tt表的数据存放地,例如,笔者是在 hdfs://master/input/table_data 上传hdfs数据到表中: load data inpath '/input/data' into table tt; 此时会将hdfs上的/inpu

     现在进入oracle12c时代:普遍用的oracle版本为10g以上.在oracle10g之后提供了一个回收的机制.所以恢复drop表的数据以及表很容易.当然需要打开回收机制以及是归档模式.若表被drop table tablename purge;这个是闪回技术恢复不了的.现如今中国技术达人(laoxiong)提供了odu工具,让这成为现实.大家可以关注他的博客.在此感谢(laoxiong)的贡献.        就在这几天,技术老大认为数据库有几张表没用(其实另外一个平台页面有用)

hive内部表.外部表区别自不用说,可实际用的时候还是要小心. Hive的数据分为表数据和元数据,表数据是Hive中表格(table)具有的数据:而元数据是用来存储表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等.下面分别来介绍. 一.Hive的数据存储 在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的,它的数据存储在Hadoop分布式文件系统中.Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告

2014-06-25 Created By BaoXinjian