ODS设计
2024-08-27 02:35:17
1.数据调研
2.确定数据范围
需要把上端应用需求与ODS数据范围进行验证,以确保应用所需的数据都已经从业务系统中抽取出来,并且得到了很好的组织,以ER模型表示数据主题关系
3.根据数据范围进行进一步的数据分析和主题定义
把第一步生成的每个ER图中的实体进行分解,分解的结果仍以ER表示为佳
4.定义主题元素
定义主题、粒度、维、度量、存储期限
a.定义维的概念特性:
维名称,名称应该能够清晰表示出这个维的业务含义。
维成员,也就是这个维所代表的具体的数据,
维层次,维成员之间的隶属与包含的层次关系,每个层次需要定义名称
b.定义度量的概念特性:
度量名称,名称应该能够清晰标书这个度量的业务含义
c.定义主题的概念特性:
主题名称和含义,说明该主题主要包含哪些数据,用于什么分析;
d.主题所包含的维和度量;
主题的事实表,以及事实表的数据。
e.定义粒度:
主题中事实表的数据粒度说明,这种粒度可以通过对维的层次限制加以说明,也可以通过对事实表数据的业务细节程度进行说明。
f. 定义存储期限:
主题中事实表中的数据存储周期。
5.迭代,归并维、度量的定义
具体的业务代码所形成的各个维、以及维成员等需要进一步进行归并,把概念统一的维定义成一个维,不允许同一个维存在不同的实体表示
6.物理实现
定义每个主题的数据抽取周期、抽取时间、抽取方式、数据接口,抽取流程和规则
7.对ODS中的各个主题的事实数据进行时间上的汇总
按照时间维进行汇总,以实现初步的信息沉淀
8.按照业务逻辑的规则,对数据进行归并
9.把包含细节过多的交易记录进行拆分
10.汇总、再汇总
最新文章
- 线程处理模型 由于 SynchronizationContext 引起的死锁问题解决
- IOS第三方字体
- MVC4 WebAPI(二)——Web API工作方式
- .Net 程序的运行
- C++访问声明
- find()与children()方法的区别
- 从Tomcat的处理web请求分析Java的内存模型
- kmp算法笔记
- 数据库小组第N次小组会议
- vue.js阻止事件冒泡和默认事件
- 高德地图API(流程法)整理分析
- CF567F/51nod2522 上下序列
- MQTT的学习研究(十一) IBM MQTT 简单发布订阅实例
- hexo + Github 搭建问题综述
- Python基础(2) - 动态数据类型
- java 获取目标时间到当前时间中间的月份和每月最大时间
- jquery实现奇偶行赋值不同css值
- erlang四大behaviour之一gen_server(转载)
- Highcharts 图表js框架
- 有关git的使用,和git的一些提交冲突。