基于mondrian聚合表的R计算olap开发
原文出处：http://www.cnblogs.com/qiaoyihang/p/7348328.html
最近在做基于Mondrian的olap开发，总结一下！
一、 schema构建
1、思考：我们为什么要构建多维模型？
多维模型schema就相当于我们多维分析的一个逻辑模型，就类似于我们开发一个java应用模块的uml原型图。试想，没有原型图，开发一个应用就是盲目的，这里如果没有逻辑模型，你的多维分析也就是盲目的！
2、多维模型的基本概念和主要架构
A、基本概念：
cube可以理解为数据仓库中被挑选出来当成研究对象的数据集，相当于oltp里面的数据库，包括原始事实数据、聚合数据，这些数据聚合允许用户快速进行复杂查询。
维度（Dimension):描述对象事务的一个方面，角度
级别（Level）:维度可以分为多个级别。比如,地区维度可以包含级别层级:Country、school、class
成员（Member）:一个成员是维度（包括度量维Measures）上的一个项目值
度量（Measure）:度量实际上市属于维度的成员
看着这个图能正确理解先关概念才算对多维模型又了初步的认识
B、要想知道多维模型是如何构建的，那就要了解多维模型的主要架构。
这是我自己总结的简单理解，更深入的可以自己google下！
两种主要架构，星型和雪花型。
从查询性能角度来看，在OLTP角度看，星型架构性能更高，因为雪花型要做多个表联接；
当然雪花型也有自己的优势：
从OLAP环节，由于雪花型架构更有利于度量值的聚合，因此性能要高于星型架构。
雪花型架构更加贴近OLTP系统的结构，比较符合业务逻辑，层次比较清晰
我们系统的组织机构这块可以明显的看出区别！(xx省，xx市，xx区)
我们一般建议使用星型架构, 因为我们在实际项目中，往往最关注的是查询性能问题.
那么我们可以完全抛弃雪花型模型了吗？
当然不是，
在维度表数据量极大，需要节省存储空间的情况下，或者是业务逻辑比较复杂、必须要体现清晰的层次概念情况下，可以使用雪花型。
好了，我们现在已经大概了解了多维模型的基本概念，下面开始构建
构建步骤：
通过workbench 这个工具
构建schema》cube》table》dimension》level》measure
二、 R计算
思考：我们为什么抛弃了原先的java计算，而用R计算
代码量大，多层循环，对配置要求高，不易扩展
很多现成算法函数，抛弃循环对数据进行操作，各种新需求可快速开发，数据类型丰富易用，现阶段虽然对配置要求高，但是后面可用磁盘作为内存扩展，也可搭建分布式环境，跑到sparkR上，甚至yarn上面
计算步骤：
1、 抽mysql 的数据到R内存
2、 在构建的schema 的基础上分析数据
3、 把产生的结果，各种维度组合放在postgre 数据库
需要对OLAP星型模型的所有维度进行组合
组合的结果集为：
如果有5个维度
取一个维度: C(5,1)5种组合
取二个维度: C(5,2)10种组合
取三个维度: C(5,3)10种组合
取四个维度: C(5,4)5种组合
取五个维度: C(5,5)1种组合
总的组合数为： C(5,1)+ C(5,2)+ C(5,3)+ C(5,4)+ C(5,5) = 31种
如果有6个维度
C(6,1)+ C(6,2)+ C(6,3)+ C(6,4)+ C(6,5)+C(6,6) = 63种
如果有8个维度
2的8次方减1等于255种
如果有3个维度
2的3次方减1等于7种
到这里，我们可以感觉到，Mondrian只做了个表路由的功能，选择维度的组合，自动映射相应的表。这个思路，不用mondrian也可以实现，但选择Mondrian最大的优点是拥有cache缓存和支持MDX查询
4、 把分析完成之后的数据构建xml
5、 发布到saiku(由于我们的展现端用的saiku，可根据自己的情况来)
6、 重点注意几个包：
data.table，string2，plyr，xml，parallelsugar
三、 mondrian介绍
好了，到现在我们已经有了我们自己的逻辑模型和聚合表数据，那么saiku是如何操作聚合表的数据呢？那就需要用到mondrian。
Mondrian是一个开源项目。一个用Java写成的OLAP（在线分析性处理）引擎。它自定义了一种使用mdx语言的客户端接口，从关系数据库(RDBMS)中读取数据。然后经过Java API用多维的方式对结果进行展示。
注意：Mondria的元数据仅仅包括了多维逻辑模型，从关系型数据库到多维逻辑模型的映射，存取权限等信息，它不是数据仓库服务器，但是支持星型模型和雪花模型的功能
不用mondrian也可以实现，但选择Mondrian最大的优点是拥有cache缓存和支持MDX查询(经过实际测试，报表的第二次打开速度会比第一次快许多)，同时Mondrian支持XMLA协议(类似于soap的一种协议)
最新文章
- Javascirpt中创建对象的几种方式
- 随笔之——各大热门网站search 搜索框的写法，浅析！
- iOS学习16之OC集合遍历和数组排序
- 解决WCF的service端无法使用泛型的问题
- Fix network adapter not present problem in cloned CentOS
- android Android-PullToRefresh 下拉刷新
- Android ListVIew 详解（一）
- .NET中的加密算法总结(自定义加密Helper类续)
- 炼狱—Bug集中营
- 小心DriveInfo类IsReady属性的较大延迟问题
- Set的并集
- 初步C++类模板学习笔记
- 事件冒泡 ，停止事件冒泡 e.stopPropagation()
- C#标识符
- 深入理解Java虚拟机（第二版）中《长期存活对象将进入老年代》的实践
- 为什么react的组件要super(props)
- Junit测试用例
- 设置linux新用户默认当前目录及使用的shell
- 垃圾回收（GC）相关算法笔记
- Python pyQt4/PyQt5 学习笔记3(绝对对位,盒布局,网格布局)