hive数据的导入导出方式
导入方式
1、load方式
load data local inpath 'local_path' into table tb_name;
从本地复制了文件到表的路径下
应用场景:大部分的使用,文件几乎都是默认现在本地的
2、load方式,HDFS
load data inpath 'hdfs_path' into table tb_name;
将文件移动到了表的路径下
应用场景:更适合大数据量的存储
3、load方式,overwrite
load data inpath 'hdfs_path' overwrite into table tb_name;
应用场景:适合一些重复写入的表(临时表),作为一个过渡使用
4、子查询方式,as
create table tb_name as select sql;
应用场景:对于数据查询结果的保存
5、insert方式
传统关系型数据库中,insert是插入一个值
在hive中insert into table后面还是跟一个语句(select语句)
insert into table select sql;
举例:
create table emp_insert like emp;
insert into table emp_insert select * from emp;
6、location
指定一个文件夹,然后将数据导入进去
导出方式
1、insert方式
格式:insert overwrite [local] directory 'path' select sql;
数据导出到本地
insert overwrite local directory '/opt/datas/emp_in01' select * from emp;
-》输出的目标可以提前存在,底层实现的时候,先删除再重新创建
-》指定分隔符
insert overwrite local directory '/opt/datas/emp_in01' row format delimited fields terminated by '\t' select * from emp;
-》HDFS
insert overwrite directory '/emp_insert' select * from emp;
-》注意:上一级的父目录必须存在
2、HDFS SHELL命令 -get
bin/hdfs dfs -get hdfs_path local_path
3、在Linux的命令行使用hive的-e -f参数,将输出重定向保存到本地文件
bin/hive -e "select * from student" > /opt/datas/
4、sqoop方式
如:
bin/sqoop export \
--connect \
jdbc:mysql://hostname:3306/sqoop \
--username root \
--password 123456 \
--table tomysql \
--export-dir /sqoop \
--num-mappers 1 \ --->设置分片个数
--input-fields-terminated-by '\t' --->设置分隔符
5、hive支持export和import
-》export
export table tb_name to 'hdfs_path'
-》import
import table tb_name from 'hdfs_path'
最新文章
- 【转】机器学习教程 十四-利用tensorflow做手写数字识别
- LINQ to SQL语句(1)之Where
- 使用数据泵导入(impdp)和导出(expdp)
- js问题解释
- C语言bool类型定义
- SQL中PERSISTED关键字
- (转载)php循环检测目录是否存在并创建(循环创建目录)
- 项目经验谈---IM新消息界面刷新异常处理记录
- Qt 学习之路:模型-视图高级技术
- html5介绍
- 【ASP.NET MVC 学习笔记】- 08 URL Routing
- [Linux] scp本地服务器和远程服务器拷贝文件
- ssh整合oracle数据源报错????
- ubuntu 16.04 修正网卡与ifname对应关系
- adb shell 命令之----pm
- Tomcat 中 jsp 中文乱码显示处理解决方案
- Linux中Redis的安装
- js备忘录2
- 从Runoob的Django教程学到的
- angular -- 自定义指令和模板
热门文章
- 创建有输出参数的存储过程并在c#中实现DataGridView分页功能
- IDEA运行时报错(IDEA不识别新语法):Error:java: Compilation failed: internal java compiler error
- 从零开始的全栈工程师——js篇2.14(表单与计时器)
- 锁丶threading.local丶线程池丶生产者消费者模型
- Oracle 11g服务详细介绍
- Retrofit 2.0 轻松实现多文件/图片上传/Json字符串/表单
- slfj4 + logback
- uvm_analysis_port——TLM1事务级建模方法(二)
- 修复SQL中的孤立账户
- ajax请求成功后js刷新当前页,当前页是post查询结果(用post请求进行搜索筛选)的问题