serde
2024-09-21 17:46:49
一、背景
1、当进程在进行远程通信时,彼此可以发送各种类型的数据,无论是什么类型的数据都会以二进制序列的形式在网络上传送。
发送方需要把对象转化为字节序列才可在网络上传输,称为对象序列化;
接收方则需要把字节序列恢复为对象,称为对象的反序列化。
2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。
3、Hive可以方便的将数据加载到表中而不需要对数据进行转换,这样在处理海量数据时可以节省大量的时间。
二、技术细节
1、SerDe是Serialize/Deserilize的简称,目的是用于序列化和反序列化。
2、用户在建表时可以用自定义的SerDe或使用Hive自带的SerDe,SerDe能为表指定列,且对列指定相应的数据。
创建指定SerDe表时,使用row format row_format参数
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
'field.delim'='\u0001',
'serialization.format'='\u0001')
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';
最新文章
- ASP.Net WebForm温故知新学习笔记:二、ViewState与UpdatePanel探秘
- IIS发布站点错误收集(持续更新)
- java25
- jenkins配置
- Linux服务器中木马(肉鸡)手工清除方法
- 彻底删除java*
- vs2013 遇到的web性能记录器无法使用问题
- 利用scale9sprite制作动态聊天背景
- SQL数据库基础(四)
- IE下实现打印功能
- 简单聊下Unicode和UTF-8
- UVa10917 A Walk Through the Forest(SPFA+记忆化搜索)
- Java学习第二篇:类,对象,成员属性,成员方法,构造方法,类变量,类方法
- Linux2.6内核 -- 结构的初始化
- ubuntu安装最新的rails-4.2.0
- Go语言基础之接口
- 爬虫:输入网页之后爬取当前页面的图片和背景图片,最后打包成exe
- ODbgScript 2.01帮助文档
- [daily] docker
- NetBpm 示例:请假审批(6)
热门文章
- 05_ssm基础(一)之mybatis简单使用
- java.security.MessageDigest (2) 生成安全令牌!
- onMouseOver&;onMouseOut vs onMouseEnter&;onMouseLeave
- php使用redis扩展以及安装redis(linux下)
- OWAPSP_ZAP使用
- 使用git或TortoiseGit推送项目至gitlab
- 二、Blender/Python API总览
- .net连接MySql 出错
- jquery 动态数字滚动
- 限制IP远程访问