探索数仓模型设计:从IBM BDWM到NCR FS-LDM的行业应用与启发 教资机构网站建设
栏目:广告资讯 发布时间:2026-01-17
本文是我在写中台系列时在整理自己的历史文档时发现的关于数据仓库模型的设计文档。 本文最初由时任 IBM 信息技术专家 Bao 于 2008 年在 IBM 网

本文是我在写中台系列时在整理自己的历史文档时发现的关于数据仓库模型的设计文档。

本文最初由时任 IBM 信息技术专家  Bao 于 2008 年在 IBM 网站上发表。这篇文档当时给了我很大的启发。

俗话说,水无定势,兵无常法。不同的行业有不同的特点。因此,从业务角度来看,它们对应的数据模型有很大不同。目前业界比较主流的数据仓库厂商是IBM和NCR。这两家公司除了提供比较强大的数据仓库平台之外,还拥有自己针对某个行业的数据模型。

例如,在银行业,IBM有自己的BDWM(数据模型),NCR有自己的FS-LDM模型。在电信行业,IBM有TDWM(数据模型),NCR有自己的TS-LDM模型。所以我们看到不同的企业对于某个行业有自己的理解,所以针对某个行业就会有不同的企业模式。对于不同的行业,同一家公司也会有不同的模式,这主要取决于不同行业的不同业务特点。

例如IBM的TDWM模型总共包含以下9个概念,如下图:

图 1. IBM 的 TDWM 概念模型

很多人可能会问,为什么你的模型有9个概念,而不是10个或11个?您的数据仓库模型的基础是什么?事实上,这是我们在向客户介绍我们的数据模型时经常被问到的问题。希望读者读完本文后能找到自己的答案。

虽然每个行业都有自己的模型,但我们发现不同行业的数据模型在数据建模方法上有共同的基本特征。

本文的一个主要目的是希望读者通过阅读本文的同时,结合自己在数据仓库建设方面的经验,总结出一套适合自己在构建数据仓库时的建模方法。仓库,可以更好的帮助客户发挥数据仓库的作用。

本文的主线是回答以下三个问题:

最后,在本文的最后,我们向您介绍一个具体的数据仓库建模示例,帮助您理解整个数据建模过程。

什么是数据模型

数据模型是抽象描述现实世界的工具和方法。它是通过抽象实体和实体之间的关系来表示现实世界中交易相互关系的映射。这里,数据模型表示实体之间的抽象关系,并通过实体之间关系的定义和描述来表达实际业务中的具体业务关系。

数据仓库模型是针对特定数据仓库应用系统的数据模型中的具体数据模型。一般来说,我们的数据仓库模型分为几个层次,如图1所示。

图 2. 数据仓库模型

通过上图我们不难看出,在整个数据仓库建模过程中,我们需要经历四个大致流程:

因此,整个数据仓库模型的设计和架构既涉及到业务知识,又涉及到具体的技术。我们不仅需要了解丰富的行业经验,还需要一定的信息技术来帮助我们实现目标。数据模型,最重要的是,我们还需要一个非常适用的方法论来指导我们业务各个阶段的抽象、处理、生成模型。

为什么需要数据模型

在数据仓库的建设中,我们多次强调数据模型的必要性,那么为什么数据模型如此重要呢?首先,我们需要了解整个数据仓库建设的发展历史。

数据仓库的发展大致经历了三个过程:

通过数据仓库建设的发展阶段可以看出,数据仓库建设与数据集市建设的重要区别在于数据模型的支持。因此,数据模型的构建对于我们数据仓库的建设具有决定性的意义。

一般来说,数据模型的构建主要可以帮助我们解决以下问题:

如何构建数据模型

既然构建数据模型是整个数据仓库建设中非常重要的关键部分,那么如何构建我们的数据仓库模型就是我们需要解决的问题。这里我们将详细介绍如何创建适合您的数据模型。

数据仓库数据模型架构

数据仓库的数据模型架构与数据仓库的整体架构密切相关。我们先来了解一下整个数据仓库的数据模型应该包含哪几个部分。从下图中,我们可以清楚地看到整个数据模型架构分为5个部分,每个部分实际上都有自己独特的功能。

图 3. 数据仓库数据模型架构

从上图我们可以看出,整个数据仓库的数据模型大致可以分为5个部分:

通过对整个数据仓库模型的数据区域的划分,我们可以了解到,一个好的数据模型不仅对业务进行了抽象的划分,而且对实现技术也提供了具体的指导。它应该涵盖从业务到实施的所有内容。技术的各个部分。

数据仓库建模阶段划分

我们之前已经介绍过数据仓库模型的几个层次。下面分别讲一下这几个层次不同阶段数据建模工作的主要内容:

图 4. 数据仓库建模阶段的划分

从上图我们可以清楚地看到数据仓库的数据建模大致分为四个阶段:

业务建模,这部分建模工作,主要包括以下几个部分:

领域概念建模,这部分建模工作,主要包括以下几个部分:

逻辑建模,这部分建模工作,主要包括以下几个部分:

物理建模,这部分建模工作,主要包括以下几个部分:

从上面对数据仓库的数据建模阶段的划分,我们可以了解整个数据仓库建模的主要工作和工作量,希望对我们在实际的项目建设中有所帮助。

数据仓库建模方法

世界表面上看起来五光十色,但实际上,一切都遵循着自己的规律。数据仓库的建模方法也有很多。每一种建模方法实际上都代表了一种哲学观点、一种归纳、一种概括世界的方式。目前业界流行的数据仓库建模方法有很多。这里主要介绍范式建模方法、维度建模方法、实体建模方法等几种方法。每种方法实际上都是从不同的角度来看待的。我们业务中的问题,无论是从技术层面还是从业务层面,其实都代表了一种哲学世界观。下面我们将详细介绍这些建模方法。

1.范式建模方法(Third Form,3NF)

范式建模方法实际上是构建数据模型的常用方法。该方法主要由Inmon倡导,是主要解决关系数据库的数据存储和利用的技术方法。目前,我们在关系数据库中的建模方法大多采用三范式建模方法。

范式是数据库逻辑模型设计的基本理论。关系模型可以无损地从第一范式分解到第五范式。这个过程也可以称为标准化。第三范式一般用于数据仓库模型设计,它有严格的数学定义。从其表达的意义来看,符合第三范式的关系必须具备以下三个条件:

由于该范式是基于整个关系数据库的理论基础而开发的,所以这里就不介绍了。有兴趣的读者可以通过阅读相应的资料来获取这方面的知识。

按照Inmon的观点,数据仓库模型的构建方法与业务系统的企业数据模型类似。在业务系统中,企业数据模型决定了数据的来源,企业数据模型也分为两个层次,即主题领域模型和逻辑模型。同样,主题领域模型可以看作是业务模型的概念模型,而逻辑模型则是领域模型在关系数据库上的实例化。

图5 范式建模方法

从业务数据模型转向数据仓库模型时,还需要数据仓库的领域模型,即概念模型,同时还有领域模型的逻辑模型。这里,业务模型中的数据模型与数据仓库中的模型略有不同。主要区别是:

在笔者看来,Inmon的范式建模方法最大的优点是可以从关系数据库的角度,将其与业务系统的数据模型相结合,更加方便地实现数据仓库建模。但其缺点也很明显。由于建模方法仅限于关系数据库,有时会限制整个数据仓库模型的灵活性和性能,特别是考虑到数据仓库的底层数据转移到数据集市。在聚合数据时,需要进行一定的修改以满足相应的需求。因此,笔者建议读者在实际使用中参考该建模方法。

2. 维度建模方法

维度建模方法最先提出了这个概念。最简单的描述就是基于事实表和维度表构建数据仓库和数据集市。这种方法最广为人知的名称是星型模式(Star-)。

图 6. 维度建模方法

上图中的架构是典型的星型架构。星型模型之所以被广泛使用,是因为对每个维度都做了大量的预处理,比如按照维度进行预先统计、分类、排序等。通过这些预处理,可以大大提高数据仓库的处理能力。特别是对于3NF建模方法,星型模型在性能上具有明显的优势。

同时,维度建模方法的另一个优点是维度建模非常直观,紧密围绕业务模型,能够直观地反映业务模型中的业务问题。无需特殊抽象即可完成维度建模。这也是维度建模的优势。

然而,维度建模方法的缺点也非常明显。由于在构建星型模型之前需要进行大量的数据预处理,因此会导致大量的数据处理工作。而且,当业务发生变化,需要重新定义维度时,往往需要重新对维度数据进行预处理。在这些处理过程中,往往会造成大量的数据冗余。

维度建模方法的另一个缺点是,如果仅仅依靠纯粹的维度建模,无法保证数据源的一致性和准确性,并且在数据仓库底层,并不是特别适合维度建模的方法。

因此,在笔者看来,维度建模领域主要适用于数据集市层,其最大的作用其实就是解决数据仓库建模中的性能问题。维度建模很难提供一种抽象方法来完整地描述真实业务实体之间的复杂关系。

3.实体建模方法

实体建模不是数据仓库建模中的常用方法。它来自哲学流派。从哲学意义上来说,客观世界应该是可再分的。客观世界应该分为实体和实体之间的关系。那么我们就可以在数据仓库建模过程中引入这种抽象方法,整个业务就可以被一一划分为实体,而每个实体之间的关系以及这些关系的描述就是我们数据建模需要做的工作。

虽然实体法乍一看似乎很抽象,但实际上很容易理解。也就是说,我们可以将任何业务流程分为3个部分,实体、事件和描述,如下图所示:

图 7. 实体建模方法

上图表达了一个抽象的意思。如果我们描述一个简单的事实:“小明开车去学校”。以这个商业事实为例,我们可以将“小明”和“学校”视为一个实体。 “上学”描述了一个业务流程。这里我们可以将其抽象为一个具体的“事件”,而“开车去”则可以看作是对“上学”事件的解释。

从上面的例子我们可以了解到,我们使用的抽象归纳方法其实非常简单。任何一个业务都可以看作是三个部分:

由于实体建模方法可以方便地实现业务模型的划分,因此在业务建模阶段和领域概念建模阶段得到广泛应用。从笔者的经验来看,当没有现成的行业模型时,我们可以使用实体建模的方法,与客户一起理清整个业务模型,划分领域概念模型,抽象出具体的业务概念。结合客户的使用特点,您可以创建满足您需求的数据仓库模型。

然而,实体建模方法也有其固有的缺陷。由于实体描述方法只是一种对客观世界进行抽象的方法,注定了这种建模方法只能局限于业务建模和领域概念建模阶段。因此,到了逻辑建模阶段和物理建模阶段,就是发挥范式建模和维度建模优势的阶段。

因此,笔者建议读者在创建自己的数据仓库模型时,可以参考以上三种数据仓库建模方法,并在不同阶段使用不同的方法,以保证整个数据仓库建模的质量。

数据仓库建模示例

以上介绍的是一些抽象的建模方法和理论,可能比较难理解。因此,笔者在这里举了一个例子。读者可以按照我们的示例来初步了解整个数据仓库建模过程。

背景介绍

熟悉社保行业的读者都会知道,目前我国的社保主要分为六大业务领域:养老、失业、工伤、生育、医疗保险和劳动力市场。在这六大业务领域中,目前养老金和职业体系的现状已经基本完善,部分数据已经开始上线测试。但对于工伤、生育、医疗、劳动力市场业务,有的地方相对成熟,有的地方还不够成熟。

1.业务建模阶段

基于上面的背景介绍,我们在业务建模阶段就可以很容易的划分出相应的业务。因此,在业务建模阶段,我们基本确定了我们数据仓库建设的目标、建设方法以及长期规划。如下图:

图 8. 业务建模阶段

在这里,我们把整个业务明确划分为几大业务线,比如:养老、失业、工伤、生育、医疗、劳动力等,然后我们可以基于这几大模块,在每个业务线,考虑特定业务线内需要分析的业务主题。

所以,业务建模阶段实际上就是和业务人员一起梳理业务的过程。在这个过程中,不仅可以帮助我们的技术人员更好的了解业务,另一方面也可以发现业务流程中的一些不合理的环节。 、改进、改进。

同时,业务建模阶段的另一个重要任务就是确定我们数据建模的范围。例如,在某些数据准备不充分的业务模块中,我们可能会考虑先不构建相应的数据模型。当条件足够成熟的时候,我们可以再次考虑数据建模的问题。

2.领域概念建模阶段

领域概念建模阶段是数据仓库数据建模的重要阶段。由于我们在业务建模阶段已经完全明确了相应的业务范围和流程,所以我们在这个领域概念建模阶段最重要的工作就是对概念进行抽象,整个领域概念建模的工作层次如下图所示:

图 9. 领域概念建模阶段

从上图我们可以清楚地看到,领域概念建模采用实体建模的方法,从复杂的业务表示背后抽象出实体、事件、描述等抽象实体,从而找出业务后抽象实体之间的相互关联性。表示保证了我们的数据仓库数据按照数据模型能够达到的一致性和关联性。

从图中我们可以将整个抽象过程分为四个层次,分别是:

通过领域概念建模,将数据仓库模型抽象为实体,构建模型框架。下一步是在这些框架中注入有效的机构。

3.逻辑建模阶段

领域概念建模后,虽然模型的框架已经完成,但仍有大量的细节工作需要完成。一般来说现阶段我们还需要做很多工作,主要包括:

总而言之,在逻辑建模阶段,我们主要考虑抽象实体的一些细节属性。通过逻辑建模阶段,我们可以将整个概念模型完全连接成一个有机实体,充分表达业务之间的关联性。

现阶段笔者建议大家参考3NF建模方法来表达实体的属性以及实体之间的联系。例如:现阶段我们可以使用ERWIN等建模工具来创建符合3NF的关系数据模型。

4.物理建模阶段

物理建模阶段是整个数据建模的最后一个过程。这个过程实际上是实现前面的逻辑数据模型的过程。考虑到不同的数据仓库平台,数据模型的物理建模过程可能会略有不同。现阶段我们的主要工作是:

经过物理建模阶段,整个数据仓库模型就完成了。我们可以根据自己的设计,针对当前的行业,创建一个符合我们需求的数据模型。

在这里,作者希望通过一个数据建模的例子,让读者对数据仓库建模有一个感性的认识。希望读者在使用这些数据仓库建模方法创建自己的数据模型时,能够根据自己的实际业务需求和对抽象能力的掌握,创建出适合自己的数据模型。

结尾

作者:松子(李博渊),自由撰稿人,数据产品&BI高级总监。我从2000年开始涉足数据领域,是一名互联网数据考古学家,经历过互联网的古生代、中生代和当今时代。


# 哈尔滨集团网站建设  # 将其  # 技术推广属于营销吗  # 镇江网站建设推广公司  # 信息关键词排名规划  # 优化常见网站排名方法有  # 酒吧推广和营销的区别  # 闽清网页seo大概费用  # seo网络营销推广公司排行  # 贵定seo优化价格  # 云浮网站建设服务  # 是从  # 推广网站建设企业的目的  # 秀洲区网站建设代理  # 怎么进行网站优化设计呢  # 吉林短视频营销推广  # 嘉兴小企业网站推广服务  # seo的流量精准吗  # 商城网站建设义乌  # 东湖最大的网站建设  # 营销推广工作靠谱嘛  # 网站查询地址seo精品  # 过程中  # 探索数仓模型设计  # 从IBM BDWM到NCR FS-LDM的行业应用与启发  # 自己的  # 我们可以  # 几个  # 主要包括  # 这部  # 上图  # 在这里  # 如下图  # 探索数仓模型设计:从IBM BDWM到NCR FS-LDM的行业应用与启发  # 还需要  # 所示  # 您的  # 互联网  # 都有  # 也有  # 图中  # 在这个  # 就可以 


相关文章: 微信:全新生活方式,聊天超实用,快来下载体验   小红书笔记有效推广秘籍!内容6字诀之真与美?   微信聊天记录误删别慌!教你用电脑PC端轻松恢复方法   网站建设运营,从规划到优化,打造高效在线平台,构建高效在线平台,网站建设与运营全攻略  在互联网快速发展的今天,选择一个合适的网站空间对于建立和维护个人或企业在线平台至关重要。本文将详细介绍如何购买适合的网站空间,并提供一些关键考虑因素,帮助读者做出明智的选择。,如何购买适合的网站空间?  承德网站建设,打造高效 *** 平台,助力企业腾飞,承德企业腾飞,高效 *** 平台建设,专业网站打造  智能手机普及下微信必备!误删好友快速找回方法你知道吗?   阿里云优惠券先领券再下单,误删微信好友如何找回?有妙招   今天才知道!微信删除和拉黑区别大不同,别再乱用了   乐清网站建设,打造企业互联网新名片,助力企业腾飞,乐清企业互联网新名片,网站建设助力腾飞  深圳网站空间,助力企业互联网发展的基石,深圳优质网站空间,企业互联网腾飞之基  阿里云优惠券先领券再下单,重新下载微信后聊天记录还在吗?如何恢复?   遇到侵害权益App如何举报?这些防范个人信息泄露的方法请收好   江门网站 *** ,打造个性化企业品牌,助力企业腾飞,江门企业品牌腾飞,个性化网站 *** 助力创新营销,江门企业品牌腾飞,个性化网站 *** 助力创新营销  龙*站建设,打造专业、高效的在线平台,助力企业腾飞,龙华企业腾飞之选,专业高效网站建设服务  个人公众号与企业公众号的区别:认证及自定义菜单差异解析   “长在手上”的遥控器 如何承包牛奶盒子的亮点  临沂网站,助力城市发展,打造信息高速公路,临沂信息高速公路,网站助力城市腾飞  微信朋友圈九宫格拼图教程来啦!爱心九宫格图片超好看   深度解析,打造个性化网站的利器——做网站的软件全攻略,个性化网站建设指南,软件利器深度解析攻略,个性化网站建设全攻略,深度解析网站 *** 软件利器  寻找理想房源?百度房产平台功能及进入方式详解   广西网站建设,助力企业数字化转型,抢占市场先机,广西企业数字化转型升级新引擎,网站建设助力抢占市场制高点  “情绪价值”才是消费驱动力  衡阳网站建设,打造高效互联网营销新引擎,衡阳网站建设,高效互联网营销新引擎助力企业腾飞  石家庄网站优化,提升网站流量与用户体验的秘诀解析,石家庄网站优化攻略,揭秘流量与用户体验双提升之道,石家庄网站优化攻略,流量与用户体验双提升秘诀揭秘  途阔分析短视频SEO趋势,抖音搜索超4亿次,优化要懂啥?   北海网站建设,助力企业拓展线上市场,抢占发展先机,北海企业线上拓展新引擎,专业网站建设助力抢占市场先机  公众号可见置顶朋友留言,微信更新意在增强社交属性?   抖音顶部导航栏可个性化设置?功能及设置方法大揭秘   台州网站建设,打造个性化 *** 品牌,助力企业腾飞,台州企业腾飞之路,个性化网站建设助力品牌崛起  洛阳网站建设,助力企业互联网转型升级,洛阳企业互联网转型新引擎,专业网站建设服务  杭州网站设计,打造独特视觉体验,助力企业 *** 营销,杭州专业网站设计,塑造企业个性视觉,赋能 *** 营销,杭州专业网站设计,定制独特视觉,助力企业 *** 营销飞跃  微信右上角+号藏玄机!教你检测好友是删是拉黑?   *热点下拉:支持多平台下拉,低成本宣传推广利器   长沙专业做网站,助力企业互联网转型新篇章,长沙专业网站建设,助力企业互联网转型再出发  赣州网站优化,提升企业在线竞争力的关键策略,赣州企业在线竞争力加速,网站优化策略全解析  抖音取图有啥妙招?常见方法来啦,简单几步轻松获取   汕头网站建设,助力企业互联网发展新篇章,汕头企业互联网发展新引擎,专业网站建设服务  网站建设一条龙服务,一站式解决方案,助力企业互联网发展,一站式企业互联网发展解决方案,网站建设一条龙服务  扬中网站建设,打造数字化时代的企业新名片,扬中企业数字化升级,网站建设,塑造时代新名片  收到这类微信官方短信要小心!点开链接后果不堪设想?   旅游网站策划书,打造一站式旅游服务平台的新蓝图,构建一站式旅游服务平台,旅游网站策划书新蓝图,构建一站式旅游服务平台,旅游网站策划书新蓝图  电子商务网站策划书,打造高效便捷的在线购物平台,构建高效便捷电商平台的策略规划书,构建高效便捷电商平台的策略规划与电子商务网站策划书  微信10年超12亿用户,全方位渗透生活,诞生于2011年1月21日   香港警方:近三日拘捕41名社交平台涉毒贩,涉资超百万   江苏徐州警方破特大网络贩毒案,抓获140余人缴获大量毒品   如何设置让对方在主界面隐身,却仍在好友列表的方法?   淄博网站优化,提升企业在线竞争力,开启数字营销新篇章,淄博企业网站优化攻略,抢占在线市场,引领数字营销潮流  近日洛阳发布2025民营企业30强名单,都有谁入选了?   西安网站维护,专业服务,保障网站稳定运行,西安专业网站维护服务,确保网站稳定可靠运行 


相关栏目: 【 广告资讯90366 】 【 广告推广18483 】 【 广告优化154267 】 【 广告营销46464