一. 确定主题
即确定数据分析或前端展现的主题(例如:某年某月某地区的啤酒销售情况). 主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系, 确定主题时要综合考虑.
二. 确定量度
确定主题后, 需要考虑分析的技术指标(例如: 年销售额等). 它们一般为数值型数据, 其中有些度量值不可以汇总; 有些可以汇总起来, 以便为分析者提供有用的信息. 量度是要统计的指标, 必须事先选择恰当, 基于不同的量度可以进行复杂关键性指标(KPI)的设计和计算.
三. 确定事实数据粒度
确定量度之后, 需要考虑该量度的汇总情况和不同维度下量度的聚合情况; 例如在业务系统中数据最小记录到秒, 而在将来分析需求中, 时间只要精确到天就可以了. 在ETL处理过程中, 按天来汇总数据, 这时数据仓库中量度的粒度就是”天”. 如果不能确认将来的分析需求中是否要精确到秒, 那么, 我们要遵循”最小粒度原则”, 在数据仓库中的事实表中保留每一秒的数据, 从而在后续建立多维分析模型(Cube)的时候, 会对数据提前进行汇总, 保障产生分析结果的效率.
四. 确定维度
维度是分析的各个角度, 例如:我们希望按照时间, 或者地区, 或者按照产品进行分析. 那么这里的时间, 地区, 产品就是相应的维度. 基于不同的维度, 可以看到各个量度汇总的情况, 也可以基于所有的维度进行交叉分析.
维度的层次(Hierarchy)和级别(Level). 例如: 在时间维度上, 按照”年-季度-月”形成一个层次, 其中的”年”, “季度”, “月”成为了这个层次的3个级别. 我们可以将”产品大类-产品子类-产品” 换分为一个层次, 其中包含”产品大类”, “产品子类”,”产品”三个级别.
我们可以将3个级别设置成一张数据表中的3个字段, 比如时间维度; 我们也可以使用三张表, 分别保存产品大类, 产品子类, 产品三部分数据, 比如产品维度.
建立维度表时要充分使用代理键, 代理键是数值型的IP号码(每张表的第一个字段), 它唯一标识了第一维成员. 在聚合时, 数值型字段的匹配和比较, join效率高. 同时代理键在缓慢变化维中, 起到了对新数据与历史数据的表示作用.
五. 创建事实表
在确定好事实数据和维度后, 将考虑加载事实表. 业务系统的一笔笔生产, 交易记录就是要建立的事实表的原始数据.
我们的做法是将原始表与维度表进行关联, 生成事实表. 关联时有为空的数据时,需要使用外连接, 连接后将各维度的代理键取出放于事实表中, 事实表除了各维度代理键外, 还有各度量数据, 不应该存在描述性信息.
事实表中的记录条数据都比较多, 要为其设置复合主键和索引, 以实现数据的完整性和基于数据仓库的查询性能优化.
六. 元数据
描述数据及其环境的数据. 两方面用途:
首先, 元数据能够提供基于用户的信息, 如记录数据项的业务描述信息的元数据能帮助用户使用数据.
其次, 元数据能支持系统对数据的管理和维护, 如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据.
元数据机制主要支持一下五类系统管理功能:
1. 描述哪些数据在数据仓库中;
2. 定义要进入数据仓库中的数据和从数据仓库中产生的数据;
3. 记录根据业务时间发生而随之进行的数据抽取工作时间安排;
4. 记录并检测系统数据一致性的要求和执行情况;
5. 衡量数据质量.
相关推荐
ETL工具算法构建企业级数据仓库五步法.docx
构建企业数据仓库五步法,概括构建步骤.通俗简单
构建企业级数据仓库的流程! 构建企业级数据仓库五步法;
ETL构建企业级数据仓库五步法.docx ETL高级教程.docx 三大主流ETL工具选型.docx 什么是ETL.docx 商业智能 通过SSIS设计ETL来将Oracle,DB2,Sybase等数据源的数据定期导入到数据仓库.docx 商务智能(BI)的四大关键技术-...
大数据技术 数据仓库设计与开发技术 ETL构建数据仓库五步法 共9页.pdf
数据仓库使用手册包括数据仓库构建、数据仓库建模技术、数据仓库构建的五步法、数据仓库基础知识讲解,数据仓库入门等知识讲解汇总
企业数据质量管理三步法
本文描述了成功建立企业级数据仓库的基本步骤和所使用的高级...库的五步法,在对数据仓库分析、设计、建模方面提出了完备的解决方案和实用的高级技巧,尤其对数据 仓库模型搭建以及ETL处理有非常好的指导意义和使用价值
包括数据仓库基本概念,以及实现ETL的一些基本方法和步骤,即五步法
数学建模五步法
数据仓库入门,简单明了
2运营转型五步法.pptx
企业管理五步法.doc
职业生涯自我规划五步法.doc
企业架构业务流程设计五步法.pptx
该资源中有owl文件一个用于描述university领域,同时还有一个PPT文档用于说明该ontology的构建过程,另外还有Protégé5.1以及一个现实插件和配置方法。
数据分析六步法
针对传统石门揭煤技术揭煤时间长,放炮震动易诱发突出,严重影响矿山企业的安全生产和经济效益等难题,提出"五步法"渐进式快速石门揭煤新技术。研究了渐进式快速石门揭煤新技术原理,得出多参数综合预测是该技术的关键;...
matlab相移三步法、四步法、五步法及相应的相位解包裹
浅析大班幼儿深度学习“五步法”——以轨道建构游戏为例.pdf