Sqoop hive 和mysql 交互 完整案例
2024-09-06 05:24:52
本文完成:在hive里建管理表;注入部分数据;利用sqoop导入mysql中
期间:解决中文乱码问题
飞行报告故障表
- 建表命令
- 查看表
- 人工灌入少量数据
- Windows系统向Linux系统数据传输
解决中文乱码问题
1)显示终端xshell 属性里修改为utf-8 编码格式
2)源文本文件编辑为utf-8格式
3)修改fileformat (可选)
- 加载数据
- 显示内容
- 根据分区做查询
将结果写入本地目录
关联mysql
- 在mysql中建立相同的表结构
- 利用sqoop导入(注意当前用户环境变量)
- 设置mysql编码格式
- 导入数据
sqoop export --connect jdbc:mysql://localhost:3306/trans_db --username root --password root --table ex_trans --export-dir /user/hive/warehouse/ga_mis.db/ex_tst_like/tst_failureRp.txt --input-fields-terminated-by '\t'
- 查看mysql中表的导入内容
最新文章
- [更新设计]跨平台物联网通讯框架ServerSuperIO 2.0 ,功能、BUG、细节说明,以及升级思考过程!
- JS检查是否支持Storage
- Unity协程截图,WWWForm、WWW配合上传
- 24 映射-Map
- FZU2082树链剖分
- Java设计模式-状态模式(State)
- 类(class)、构造函数(constructor)、原型(prototype)
- openstack 整合
- Spark RDD概念学习系列之Spark的算子的作用(十四)
- 【转】maven 项目出现 java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener
- mysql select简单用法
- JFinal教程1——小白的第一个JFinal程序
- Java 多线程之内存一致性错误
- Swashbuckle Swagger组件扩展
- oracle查询第一篇
- Maven pom.xml简单归结
- java--GUI(图形用户接口)
- 【原创】大叔经验分享(14)spark on yarn提交任务到集群后spark-submit进程一直等待
- sql查询语句时怎么把几个字段拼接成一个字段
- Codeforces 891C Envy
热门文章
- 【树形dp小练】HDU1520 HDU2196 HDU1561 HDU3534
- HDU4930-Fighting the Landlords
- FreeRTOS系列第14篇---FreeRTOS任务通知
- 利用runtime检測这个对象是否存在某属性?
- 每个sql结果返回值的字节大小的峰值统计
- location.replace
- YTU 2622: B 虚拟继承(虚基类)-沙发床(改错题)
- phpstorm配置php脚本执行
- 美国诚实签经验——我们准备了XX万的存款,这足以应付我预算表中涉及的所有开支,如果有意外情况我们的资金不足以应付,我们双方的父母也会支援我们,绝对不会占用美国的任何福利
- Oracle.ManagedDataAccess.dll