Hawq架构
Hawq采用分层架构，将MPP shared-nothing的计算层架在HDFS之上。
Hawq集群中有三种角色：master, namenode和segment hosts。
1、Master负责认证、授权、从查询解析、分析、优化到生成计划，启动并分发计划，并收集执行状态和结果。
2、segment host包含一个hdfs datanode和多个segment以更好地利用多核架构，datanode和segment放在一起可以更好地利用数据本地性。一个datanode对应多个segment，segment通过libhdfs3来访问hdfs，libhdfs3是一个c++的hdfs client。对于segment，每个segment在hdfs上对应一个单独的目录，在负责读写分配给它的数据时，就是读写该目录下的文件。
Hawq支持两种分配方式：hash和random。hash distribution将某个指定的列进行hash来分配数据。对于hash数据分配方式，相同key的数据都由同一个segment负责读取，而不需要再做shuffle或redistribute，既提升性能又节省网络带宽。
Hawq支持事务，对于catalog数据, 使用write ahead log(WAL)和mvcc多版本并发控制。
• A massively parallel processing SQL engine
• Inherits merits from MPP database and HDFS
• Stateless segment design supported by metadata dispatch and self-described execution plan
• UDP based interconnect to overcome TCP limitations
• Transaction management supported by a swimming lane model and truncate operation in HDFS
• Significant performance advantage over Stinger
最新文章
- WebForm增删改查
- JS:event对象下的target属性和取消冒泡事件
- 网络流 最大流HDU 3549
- OpenGL开发环境配置-Windows/MinGW/Clion/CMake
- GS初始化
- Windows.document对象
- Storm流计算之项目篇(Storm+Kafka+HBase+Highcharts+JQuery，含3个完整实际项目)
- rm link
- window.close()方法对谷歌和火狐浏览器无效
- 玩玩微信公众号Java版之二：接收、处理及返回微信消息
- Java Script--------问题错误解决意外的终止输入Uncaught SyntaxError: Unexpected end of input解决办法
- npm install报错 npm ERR! enoent ENOENT: no such file or directory
- Iterable接口
- Web 通信 之 长连接、长轮询（long polling）(转载)
- 雷林鹏分享：jQuery EasyUI 树形菜单 - 树形菜单添加节点
- 对HTML的理解及常用标签使用介绍--来自我的百度前端技术学院的笔记
- java中pojo、dao命名解释
- Nginx+FastCGI运行原理(二)
- [one day one question] 有没有免费接收短信验证用于注册的软件或者平台？
- linux服务器上创建svn版本库
热门文章
- C/ C++ 快速上手
- FastJson实现复杂对象序列化与反序列化
- 关于SQL中的 where 1 = 1 的用法
- 避免SQL全表模糊查询查询 下载文件时-修改文件名字
- main process exited, code=exited, status=203/EXEC
- 动态路由 RIP
- CentOS6.7安装部署之Tomcat多实例
- ERROR 1129 (HY000): Host '192.168.7.210' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'
- 将python图片转为二进制文本的实例
- 100% 成功率的 offer 收割机是怎样练成的？