第1节 IMPALA:1、impala的基本介绍
impala的介绍:
impala是cloudera公司开源提供的一款高效率的sql查询工具
impala可以兼容hive的绝大多数的语法,可以完全的替代表hive
impala与hive的关系:紧耦合的关系
impala的优点与缺点:优点:快 ,以内存空间换区时间速度,所以比较快
缺点:内存消耗比较大,官方推荐每个节点的内存128G起步
底层的实现,是基于C++,维护难度增大
与hive共存亡,紧耦合的关系
稳定性不如hive
===============================================
通过本地yum源进行安装impala
所有cloudera软件下载地址
http://archive.cloudera.com/cdh5/cdh/5/
http://archive.cloudera.com/cdh5/
impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快3到10倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具,
impala是参照谷歌的新三篇论文(Caffeine、Pregel、Dremel
)当中的Dremel实现而来,其中旧三篇论文分别是(BigTable,GFS,MapReduce)分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce
impala是基于hive并使用内存进行计算,兼顾数据仓库,具有实时,批处理,多并发等优点
impala与hive的关系
impala是基于hive的大数据分析查询引擎,直接使用hive的元数据库metadata,意味着impala元数据都存储在hive的metastore当中,并且impala兼容hive的绝大多数sql语法。所以需要安装impala的话,必须先安装hive,保证hive安装成功,并且还需要启动hive的metastore服务
impala的优点
1、impala比较快,非常快,特别快,因为所有的计算都可以放入内存当中进行完成,只要你内存足够大
2、摈弃了MR的计算,改用C++来实现,有针对性的硬件优化
3、具有数据仓库的特性,对hive的原有数据做数据分析
4、支持ODBC,jdbc远程访问
impala的缺点:
1、基于内存计算,对内存依赖性较大
2、改用C++编写,意味着维护难度增大
3、基于hive,与hive共存亡,紧耦合
4、稳定性不如hive,不存在数据丢失的情况
最新文章
- asp.net微信jsapi支付
- 自定义滚动条 - mCustomScrollbar
- ArrayList其实就那么一回事儿之源码浅析
- 增加Activity Monitor中的作业保存数量
- HTML5自学笔记[ 13 ]canvas绘图小实例之方块移动
- 基本的Web控件二
- 使用adns库解析域名
- 慕课网上的Bootstrap学习(二)
- Js替换地址栏参数
- ssh,telnet远程AIX以及数据传输问题
- Chrome App远程控制
- vim编辑器操作
- Photoshop调出清晰的阴雨天气山水风景照
- 嵌入式linux——点亮led灯(二)
- Android为TV端助力 遥控器的映射
- Java秒杀系统方案优化 高性能高并发实战(1)
- Android取得系统时间
- ES6:export default 和 export 区别
- 1257: [CQOI2007]余数之和
- ASP.NET Forms身份认证详解