主数据架构
视频号
微信公众号
知识星球
- 571 次浏览
【主数据架构】14个主数据管理误区
它是为企业和企业的要求是不可能得到的
虽然理想情况下是针对“企业”(企业可能不是您的整个组织),但是MDM仍然必须交付应用程序,从而支持多个应用程序,并且在某种程度上能够成为真正的企业。
它是针对单个应用程序的,所以它不必是一个单独的组织规程
MDM工作不应该局限于单个应用程序或主题领域。在您的企业中,构建MDM foundation的工作对未来十年的企业应用程序交付有很大的影响。不要把MDM与第一次交付紧密地联系在一起,否则就很难进行进一步的开发
这一切都是关于-----------------
用数据质量、层次管理、合并/匹配处理、工作流/治理、实时数据集成、企业数据模型或其他内容来填补空白。实际上,都是上面提到的。虽然这些价值主张中的一个或多个可能是最有趣的,并可能启动项目,但是要了解MDM的各种可能性,并准备在需要时利用它们
我可以将主数据放在数据仓库中
是的,可以,但是批处理数据仓库在数据生命周期中太迟了,不能有效地进行实时处理。即使是实时数据仓库通常也缺少MDM的许多功能
大多数主题领域不需要工作流/治理
很多不需要复杂的工作流/治理,因为它们来自于标准的其他地方,而MDM将这些数据合并为主数据。这通常是客户的情况,就像POS系统一样。然而,用于授权和充实的更小的工作流甚至可以增加这些数据的价值
没有投资回报
从技术上讲,这是正确的。除非MDM是提供回报的业务应用程序的一部分,否则MDM就是全部投资。使用这些数据的项目的效率得到了提高,其中许多项目可以通过MDM数据更好地完成它们的功能(最终在某种程度上减少销售或开支),而不是依靠它们自己。企业MDM还提供了更低的组织总拥有成本,只需做一次就可以反复使用
这些项目似乎都失败了
失败捕获了注意力,MDM似乎抓住了传播失败的坏运气。如果你做错了,所有的项目都会失败。MDM需要业务输入才能成功。它不是严格意义上的It项目,这样做会导致失败。出色的MDM为各行各业的公司提供非常高的价值
我从选择MDM供应商开始
从供应商中立的教育和咨询开始。稍后会有时间让供应商参与进来
我可以通过MDM避免数据建模
这个模型是MDM最有用的组件。您投入到数据模型中的所有内容都将获得多次回报。您应该自定义打包的模型,并期望将工作周期投入到这项工作中。
要提高MDM数据的数据质量,最好的方法是首先找出一个数据分析工具,然后对我的数据盲目地运行它
如果你喜欢没有意义的工作,就这样做。数据质量是定制的,应该从理解数据应该遵循哪些规则的概要开始。
数据质量是模糊和无形的
最有效的方法是对数据质量进行评分,并且非常明确。
所有的MDM工具都是一样的
所有的工具都不相同,有些工具甚至不能完成所有的MDM任务,不管您多么努力。有些提供了大量关于主题领域的知识产权(模型、报告、工作流),而有些则没有。你应该决定什么对你来说是重要的。
组织的接受会自己照顾自己
组织接受是最难的部分。在MDM实现中包含组织更改管理,从而获得成功。
第三方数据不适合MDM
第三方数据主要是关于扩展重要主题领域的配置文件,这些领域在MDM中掌握。将第三方数据引入组织实际上已经启动了许多MDM程序。
这篇文章是IBM中型企业计划的一部分,该计划为中型企业提供他们需要的工具、专业知识和解决方案,以成为一个更智能的星球的引擎。我对这个项目的贡献得到了补偿,但这篇文章中表达的观点是我自己的,不一定代表IBM的立场、战略或观点。
原文:https://www.mcknightcg.com/top-14-master-data-management-misconceptions/
本文:http://jiagoushi.pro/top-14-master-data-management-misconceptions
讨论:请加入知识星球【首席架构师圈】或者飞聊小组【首席架构师智库】
- 193 次浏览
【主数据架构】4种常见的主数据管理实现风格
主数据管理(MDM)系统的基础是什么,这取决于您所认同的实现风格,这为项目成功提供了最佳机会。这在很大程度上取决于您在数据管理方面的业务情况。
有几种不同的实现样式可供选择,主要的区别在于是否从中心集线器控制数据,还是将集线器与现有数据源同步。
但是,为什么必须仔细考虑执行的风格呢?
对大多数组织来说,在整个组织中维护一个单一版本的真相是一个高度优先级的任务——同时还要满足遵从性和监管义务。重点放在提高数据质量、建立数据治理的指导方针以及确保数据可以在整个业务中轻松地管理和访问。
这些因素都可以通过使用最常见的实现样式来实现。然而,不同组织之间的主数据管理系统差异很大,您的部署类型将取决于您的核心业务、公司结构和公司目标。
您的MDM解决方案提供商将根据您的业务需求为您提供最佳的解决方案。在这里,我们将查看四种常见的主数据管理实现样式,以帮助您确定哪一种最符合您的组织需求。
MDM实现1:注册表样式
首先,我们将了解注册表样式,它主要用于通过对来自不同源系统的数据运行清理和匹配算法来发现重复项。它将唯一的全局标识符分配给匹配的记录,以帮助识别单一版本的真相。
这种样式不会将数据发送回源系统,因此对主数据的更改将继续通过现有的源系统进行。相反,它清理并匹配标识的交叉引用信息,并假设源系统可以管理其自身数据的质量。
将存储匹配和提供相应记录之间的链接所需的信息,并且可以根据需要访问此数据的视图。
当需要一个单一的、全面的客户视图时,它使用每个参考系统来实时构建一个360度视图。但是,需要对数据进行中央治理,以确保黄金记录是可靠的。
注册表样式实现的优点
如果您在世界各地有大量的源系统,则很难建立权威的源。可以使用注册表风格的方法来分析数据,同时避免在源系统中覆盖信息的风险。这将帮助您避免在源数据更改时可能发生的潜在遵从性失败或其他监管影响(可能因国家而异)。
Registry Style提供了一个不修改主数据的只读数据视图,是删除重复和获得对主数据的一致访问的有用方法。
它提供了低成本、快速的数据集成,对应用程序系统的入侵最小化。
MDM实现2:合并样式
接下来,让我们看看合并样式。使用整合样式,主数据通常从中心中的多个源进行整合,以创建单个版本的真相,也称为黄金记录。
黄金记录存储在中心集线器中,用于报告和参考。但是,对主数据进行的任何更新都将应用于原始数据源。
整合样式实现的好处
使用整合样式,您可以从许多现有系统提取主数据,并将其导入一个受管理的MDM hub。然后可以清理、匹配和集成这些数据,为一个或多个主数据域提供完整的单个记录。
合并后的集线器成本低,而且安装速度快,为方便企业范围的报告提供了一种快速而有效的方法。这种风格主要用于分析,为报告和分析提供可靠的数据来源。
MDM实现3:共存风格
共存样式允许您以与整合样式相同的方式构造黄金记录,但是主数据存储在中心MDM系统中,并在其源系统中更新。
共存样式比合并样式的部署成本更高,因为主数据更改可能发生在MDM系统和应用程序系统中。
主数据模型的所有属性在上载到主数据管理系统之前必须保持一致并清除。
共存风格实现的好处
这种风格的主要好处是,数据在源系统中被控制,然后与中心同步,因此数据可以和谐地共存,并且仍然提供单一版本的真相。
这种方法的另一个好处是主数据的质量得到了改善,访问速度更快。报告也更容易,因为所有主数据属性都在一个地方。
如果您的业务需要能够将集中治理的数据链接回源系统,那么整合样式中心可以自然地发展为共存样式中心。
MDM实现4:事务/集中式风格
事务样式使用链接、清理、匹配和丰富算法来存储和维护主数据属性,以增强数据。然后可以将增强后的数据发布回其各自的源系统。
中心支持主记录的合并,源系统可以订阅由中央系统发布的更新,以提供完全的一致性。但是,这种风格需要对源系统进行双向交互。
事务/集中式实现的优点
这种风格的真正好处是,您的主数据在任何时候都是准确和完整的,而事务样式中心可以支持数据属性级别的安全性和可视性策略。您可以为一个或多个域获得一组集中的主数据。
事务样式通常可以从合并或共存样式演化而来。
MDM实现风格
我们希望这四种常见的主数据管理实现风格的简要概述将帮助您确定适合您的组织的正确方法。
但是,在开始任何实现之前,需要定义希望通过MDM系统解决哪些业务挑战。
如果您被分散在不同系统中的数据所阻碍,那么您的第一步应该是探索如果您可以方便地访问单个综合记录,那么您将如何处理数据。
下一步是考虑组织中谁需要访问这些数据,最后是希望他们能够从全球不同的设备和位置访问这些数据吗?
这时,听取主数据管理专家的建议是值得的。理想情况下,您选择的实现风格应该帮助您管理和维护最关键的数据,使您能够克服挑战并实现积极的业务结果。
幸运的是,使用我们列出的所有样式,您可以随着公司需求的增长或组织的扩展从一个样式发展到另一个样式。关键因素是一开始就使用正确的MDM平台,这样它就可以与您的业务一起开发。
原文:https://blog.stibosystems.com/4-common-master-data-management-implementation-styles
本文:https://pub.intelligentx.net/node/843
讨论:请加入知识星球【首席架构圈】或者飞聊小组【首席架构师智库】
- 611 次浏览
【主数据架构】介绍下一代主数据管理(MDM)
主数据管理是旨在创建和维护权威、可靠、可持续、准确、及时和安全的环境的过程和技术框架。这个环境代表了一个单一版本的事实,作为跨不同的系统、业务单元和用户社区的可接受的记录系统。
尽管MDM不是新的,但是最近人们对开发MDM解决方案的兴趣大增。这是因为跨广泛行业的组织的战略和战术需求。这种趋势的一些关键驱动因素是诸如GPDR、Sarbanes-Oxley Act和HIPAA等法规的遵从性。
主数据管理还使组织能够更好地关注以客户为中心的活动,更好地洞察客户的目标、需求、能力和要求额外产品和服务的倾向。如果执行正确,这可以增加交叉销售和追加销售的收入机会,并改善整体客户体验。
MDM实现过程中遇到的一些关键技术挑战包括:
- 数据治理以及度量和解决数据质量问题的能力
- 创建和维护组织范围内一致的数据定义
- 可伸缩性方面的挑战,要求MDM解决方案处理大量和复杂的数据,特别是增加“大数据”的使用,包括移动和社交媒体等非结构化数据
- 实施过程控制以支持审计和合规报告的需要
MDM解决方案和供应商产品通过引入和集成新技术、提高数据质量和匹配解决方案,不断扩展各种特性集的功能。下面是一些特定的核心功能,它们随着时间的推移不断发展,以满足当今的业务需求并减少实现风险。
MDM业务价值从集成模型发展到分析模型
许多客户将他们的MDM计划与实时客户参与(360视图)和业务流程优化紧密联系在一起。这些用例依赖于大量的属性和元数据,这些属性和元数据为个性化、后勤和预防性维护提供上下文。在过去,一个hub最多只包含几百个数据元素。
今天,客户需要的解决方案能够支持一个域的数千个数据元素和一个多域中心的数万个数据元素。一些数据驱动的用例是:
- 基于上下文信息的重要性,如谷歌现在显示即将到来的旅行,报告目的地天气,预测分析和建议
- 内置的MDM功能,可以将实体关联到360个视图中,供打开的机票、订单和朋友的参考
- 行为、偏好、权限、安全性、身份、位置和时间都在图中维护和连接,并在业务上下文中表示给数据使用者。例如,行为模式可以定义客户域,而不是只关注身份。这将创建相关性、敏捷性和灵活性,以便将主数据塑造为任何业务服务。
下一代数据源的架构考虑:(大数据、社交)、云和其他关键技术趋势,如图形数据库
像Informatica、Reltio和Pitney Bowes这样的MDM工具使用一个图形数据库来收集主数据,并将它们与其他属性和元数据联系起来。相对容易地跨通道集成内部、外部、移动和非结构化源是图数据库采用的关键考虑因素。
此外,数据模型更加多维,数据层次更加深入。为了适应组织需求的复杂性和复杂性,客户参考更倾向于使用上下文和分析性MDM解决方案,而不是传统的MDM工具,后者将关系数据库作为体系结构的一部分。
通过图形数据库、机器学习、大数据和分析可视化支持MDM功能和分析功能的解决方案。这些解决方案将主数据直接转换为insight。数据模式的可视化显示了客户连接和偏好。机器学习仅仅通过理解数据链接就能提供真知灼见。一些示例场景包括产品建议、身份和欺诈分析、合并和收购协调。机器学习采用动态的、不断演化的数据,而关系数据库在互连数据方面比较慢。
需要特定的工具来提供构建高级匹配和合并流程算法的能力。社交分析尤其如此,它是大数据中应用最广泛的用例之一。社会分析的最大挑战是成功地识别组织现有客户的社会概况,这主要是因为在搜索常见名称时可以返回多个结果。此外,许多人在他们的社交资料中使用化名而不是真名,这使得识别这些资料更加困难。
一个主动的数据治理过程
为了进行适当的数据治理,您需要一个MDM工具,它可以简化和自动化管理过程,消除过去让管理人员不堪重负和数据使用瓶颈的手工过程。实现高级数据治理策略也很重要。这些规则不仅涉及数据使用、所有权等方面,还涉及特定于大数据的数据治理和数据管理。
数据治理中其他两个必要的因素包括确保外部数据不会影响内部数据的完整性,以及确保能够管理数据冲突的升级路径。出于安全原因,您还应该简化隐私策略的定义和管理。
Reltio、Informatica、SAP、IBM和Pitney Bowes领衔(Forrester)
这些领导者展示了丰富的MDM功能,可以用于复杂的主数据场景、大型复杂的生态系统和数据治理,从而交付企业级的业务价值。
外部引用数据提供者及其服务将在MDM实现中扮演重要角色。诸如Dun & Bradstreet、Acxiom、Lexus-Nexus等公司就是这样的数据提供商。它们是提供关键功能的关键,例如数据清理、合理化、充实和匹配。
业务需求和供应商整合最终将导致提供全面的MDM解决方案,其中包括复杂的数据质量组件、灵活的规则引擎、元数据存储库和基于组件化服务的产品套件中的遵从性和审计监控功能。
在Intersys,我们的一大批高技能的顾问在许多不同类型的MDM工具和用例方面都非常合格。凭借我们的专业知识,我们可以实现或支持您的所有Maser数据管理需求,并帮助您的组织实现数字化转型。
原文:https://www.intersysconsulting.com/blog/master-data-management/
本文:https://pub.intelligentx.net/node/844
讨论:请加入知识星球【首席架构师圈】或者飞聊小组【首席架构师智库】
- 394 次浏览
【主数据管理】主数据管理定义:MDM的完整A-G
产品信息管理(PIM), DAM, EAM, PII,数据丰富,匹配和链接。不太清楚这些缩写、术语和宣传的含义,以及它们与主数据管理(MDM)的关系?将MDM定义放在这个A-Z MDM中。
A
分析[Analytics]
发现数据中有意义的模式。对于业务,数据分析用于获得洞察力,从而优化流程和业务策略。主数据管理可以通过提供有组织的主数据作为分析的基础或将受信任的主数据链接到分析的新类型信息输出来支持分析。
应用数据管理[Application Data Management:ADM]
操作特定业务应用程序所需的应用程序数据的管理和治理。ADM的作用与MDM相似,但范围要小得多,因为它只允许管理单个应用程序使用的数据。
应用程序编程接口[Application Programming Interface (API)]。
大多数软件(如应用程序和操作系统)的一个集成部分,它允许一个软件与其他类型的软件交互。在主数据管理中,并不是所有的功能都必须在软件平台中处理。例如,您希望能够向外部系统和应用程序传递或接收数据。通过使用内置在软件中的api,可以实现这一点,从而扩展MDM解决方案的功能。
资产【Assets]
在MDM术语中,可以以稍微不同的方式理解资产。有一个术语“数据作为资产”,其中资产被定义为可以“拥有”或“控制”以产生价值的某种东西。这里我们讨论一种将某物视为资产的方式。但是,当您听说资产管理和企业资产与MDM结合使用时,资产是可以优化管理的更实际的东西。资产可以是物理的(人、建筑物、部件、计算机)和数字的(数据、图像)。
同时,看到DAM。
体系结构【Architecture】
MDM解决方案不是你买了就开始使用的东西。需要将它安装到特定的企业设置中,并与整个企业体系结构和基础设施集成,这就是为什么MDM体系结构是MDM过程的第一步。
属性【Attributes】
在MDM中,属性是帮助定义实体的规范或特征。例如,一个产品可以有几个属性,比如颜色、材质、尺寸和组件。MDM支持管理产品数据,包括相关属性数据。
也看到实体【Entity】。
B
商业智能【Business Intelligence (BI)】。
商业智能是一种分析方法。它需要帮助组织了解他们的操作、客户、财务、产品性能和许多其他关键业务度量的策略和技术。MDM通过向BI解决方案提供可信的主数据来支持BI工作。
另外,看分析。
大数据【Big Data】。
大型或复杂的数据集,使传统的数据处理工具不能满足需要。大数据有三个v: Volume(大量数据),Velocity(高速创建的数据)和Variety(数据有多种形式和范围)。使用大数据技术的目的是获取数据并将其转化为可操作的见解。从大数据分析中收集的信息可以链接到你的主数据,从而提供新的层次的见解。
物料清单[Bill Of Materials (BOM)]。
构建产品所需的部件或组件的列表。
B2B、B2C B2B2C。无论您是作为企业对企业、企业对消费者或任何组合进行操作,如果您处理大量关于产品、客户、资产、位置或员工的主数据,那么主数据管理都是适用的。
业务规则 【Business rules】。
业务规则是MDM解决方案中设置的允许修改数据的条件或操作。根据业务规则,您可以确定如何组织、分类、充实和管理数据。业务规则通常用于工作流。
同时,看到工作流。
C
客户数据集成【Customer Data Integration (CDI)】。
将从内部和外部来源获得的客户信息组合起来以生成统一的客户视图的过程。CDI通常被认为是客户数据MDM的一个子集。
同时,看到CMDM。
客户数据平台【Customer Data Platform (CDP)】
一种营销系统,它将公司来自营销和其他渠道的客户数据统一起来,以优化消息和报价的时机和目标。MDM平台通过将CDP数据链接到其他主数据(如产品和供应商数据)来支持CDP,从而最大化数据的潜力。
变更管理【Change Management】
准备和支持个人、团队和组织进行组织变革。在任何MDM实现中,如果您想最大化ROI,这都是必须的,因为这与更改流程和思维方式密切相关。
清洗。【Cleansing】
比如数据清理。识别、删除和/或纠正不准确数据记录的过程(例如,通过重复数据删除)。数据清理消除了无用数据的问题,以确保整个企业的质量和一致性,是任何像样的主数据管理过程的一个完整过程。
同时,看到重复数据删除。
云。【Cloud】
MDM解决方案有很多变体,现在的一个中心问题是,是在本地还是在云中(或者混合在一起,称为混合)存储MDM解决方案。云MDM正在缓慢增长,许多供应商提供了在云中托管的可能性,但是出于安全考虑,大多数公司仍然选择内部解决方案。对于托管的云解决方案,通常运行在Amazon的Web服务、Microsoft的Azure或谷歌云上,组织不必安装、配置、维护和托管硬件和软件。它被外包给第三方,通常作为订阅服务提供。
另外,看到SaaS。
沟通。【Communication】
在实现MDM解决方案时不要忘记这一点。重要的是,整个公司每天都要了解MDM是什么,它能带来什么价值,它对每个人意味着什么。这是人们承诺的唯一方式。
另外,参见变更管理。
上下文。【Contextual】
例如上下文主数据管理。有时称为情景MDM(参考Gartner Hype Cycle)。它指的是管理可变的主数据,而不是传统的、更静态的主数据。随着产品和服务变得越来越复杂和个性化,数据也变得越来越复杂,使得管理变得同样复杂。动态和上下文相关的主数据管理将是MDM领域的下一个热门话题。
了解更多。
客户关系管理 【Customer Relationship Management (CRM)】
一个可以帮助企业管理业务关系以及与之相关的数据和信息的系统。对于小型企业来说,CRM系统足以管理客户数据的复杂性,但在大多数情况下,组织有多个CRM系统,用于不同程度和不同目的。例如,销售和营销组织经常使用一个系统,财务部门使用另一个系统,可能还会采购第三个系统。MDM可以提供这些系统之间的关键链接。它不取代CRM系统,而是支持和优化CRM系统的使用。
同时,看到ERP。
客户主数据管理。【Customer Master Data Management】
有时也称为客户数据MDM。其目标是获得关于每个业务客户(所谓的360度客户视图)跨系统、跨位置等的单一而准确的数据集,以创建最佳的客户体验并优化流程。
了解更多。
D
数字资产管理【Digital Asset Management (DAM)】。
数字资产(通常是图像、视频、数字文件及其元数据)的业务管理。许多企业都有独立的或自行开发的DAM解决方案,这限制了数据流的效率,从而延迟了流程,例如将新产品安装到电子商务网站。MDM使您能够更有效地处理数字资产,并将其与其他数据连接起来。在一些MDM解决方案中,DAM可以是预先构建的函数。
数据。【Data】
数据是一个计算术语,用来描述计算机系统所存储的字符、符号、数字和媒体。数据是未经处理的信息。
同时,看到信息。
重复数据删除。【Deduplication】
消除数据集中冗余数据的过程,方法是识别和删除相同数据的额外副本,只留下一个高质量的数据集。数据重复是一个常见的业务问题,它会造成资源浪费并导致糟糕的客户体验。在实现主数据管理解决方案时,彻底的重复数据删除是该过程的关键部分。
域。【Domain】
在MDM世界中,域被理解为您的业务可以从数据管理中受益的几个领域之一,例如产品数据域、客户数据域、供应商数据域等。
同时,看到多畴的。
数字转换【Digital Transformation】。(或数字中断【Digital Disruption】)。
指与数字技术在人类社会各方面的应用相关的变化。对于企业来说,数字化转型的一个核心方面是“永远在线”的消费者,这迫使组织改变他们的商业战略和思维,以提供优秀的客户体验。数字化转型也对效率和工作流程产生重大影响(如所谓的第四次工业革命,由自动化和数据驱动,也被称为工业4.0)。MDM可以在推动数字转换方面发挥关键作用,因为这些转换的基础是数据。
D-U-N-S。【Data Universal Numbering System】
数据通用编号系统。D-U-N-S编号是由邓白氏公司提供的每个业务实体的唯一九位数标识符。该系统被广泛用作标准业务标识符。一个好的MDM解决方案应该能够支持使用D-U-N-S,方法是提供两个系统之间的集成。
E
企业资产管理【Enterprise Asset Management (EAM). 】
对组织资产(如设备和设施)的管理。
同时,看到资产。
企业资源规划【Enterprise Resource Planning (ERP)】
指用于管理日常业务活动的企业系统和软件,如会计、采购、项目管理、库存、销售等。许多企业有多个ERP系统,例如,每个系统管理关于产品、位置或资产的数据。全面的MDM解决方案是ERP的补充,它确保ERP使用的每个数据域的数据在多个ERP实例之间是准确的、最新的和同步的。
充实。【Enrichment】
数据充实是指用于增强、细化或以其他方式改进原始数据的过程。在MDM环境中,可以通过包括第三方数据来获得更完整的视图,比如向客户主数据添加社交数据,从而丰富主数据。MDM消除了手工的产品丰富过程,代之以定制的工作流、业务规则和自动化。
另外,请参阅工作流和业务规则。
实体。【Entity】
对企业感兴趣的对象(例如,人、地方、事物、概念和事件)的分类。
ETL。
提取、转换和加载。数据仓库中的一种过程,负责从源系统中提取数据并将其放入数据仓库。
G
黄金记录。【Golden Record】
在MDM世界中,有时也称为“单一版本的真相”。这是您希望主数据处于的状态,也是每个MDM解决方案努力创建的状态:尽可能创建最纯粹、完整、可靠的数据记录。
治理。【Governance】
数据治理是一组实践和过程的集合,旨在创建和维护一个健康的组织数据框架,方法是建立确保在整个企业中对数据进行正式管理的过程。它可以包括围绕版本控制、批准等创建策略和流程,以维护组织信息的准确性和可靠性。数据治理本身并不是一门技术学科,而是现代组织中不可或缺的学科,是任何数据管理活动的基本补充。
GS1。全球标准。【Global Standards One】
GS1标准是全球100多万家公司使用的唯一标识码。这些标准旨在为企业在识别和共享有关产品、位置、资产等重要信息时建立一个共同的基础。最容易识别的GS1标准是条形码和射频识别(RFID)标签。MDM解决方案将支持和集成跨行业的GS1标准。
原文:https://blog.stibosystems.com/the-complete-a-z-of-master-data-management
本文:https://pub.intelligentx.net/node/845
讨论:请加入知识星球【首席架构师圈】或者飞聊小组【首席架构师智库】
- 144 次浏览
【数据架构】:为什么要为MDM构建业务用例?
需要从IT中交付更多的业务价值
今天的IT预算主要花在了“保持灯亮”上。事实上,大约70%预算被用于维持和运行现有的能力,而只有30%被用于为业务提供新的功能。企业和IT部门需要找到解决问题的方法,增加现有投资和新投资所创造的价值。最理想的配置IT预算大概是在现有能力上花费55%,在新能力上花费45%为企业创造价值。
坏数据的商业影响
数据仓库研究所(Data Warehousing Institute)估计,数据质量问题让美国企业付出的代价更高,每年超过6000亿美元。然而,大多数高管都没有注意到数据质量问题慢慢侵蚀他们组织的价值。比不必要的印刷更有害,邮费和人事费导致一个组织信誉的缓慢而稳定的侵蚀,客户和供应商,以及它无法利用商业情报投资根据准确的信息做出合理的决定。
此外,CRM项目未能实现所承诺的价值的首要原因是数据质量差,导致用户采用差。用户不会使用不需要的系统向他们提供准确的信息,并且倾向于继续使用他们以前使用过的任何工具
这有助于他们完成工作。这个问题并不局限于前台系统;ERP、SCM等等也有同样的问题。
量化的业务价值
现在比以往任何时候都更需要组织证明IT投资的价值,为了让主动性工作优先于竞争对手。IT项目的日子基于总拥有成本(TCO)的决策已经消失。TCO本身并不能证明决定业务需要看到的价值。在这样一个有许多创意的经济体中,为了争夺同样的资金,只有最引人注目的商业案例才能胜出。技术人员必须量化成本削减、成本规避和对顶线的影响。
MDM是一次旅行
公司的主数据管理程序应该是企业范围内的计划。然而,通常很难在整个企业中启动这个主动性工作。关键是要启动与MDM整体企业远景一致的战术项目。选择一个以有限的范围作为起点,证明了技术方法和交付更快的业务的好处。这有助于整合中心的技术基础,并通过有限但受控的数据管理获得经验。通过有限但受控的数据管理获得经验。当然,要注意即使是这个有限的项目也会带来可测量的ROI。
一旦MDM的第一次战术试验被证明是成功的,公司就应该迅速总结经验教训,并在整个企业范围内为MDM开发更长远的战略远景。开发一个路线图,概述企业MDM体系结构,包括源和目标系统,并确定下一轮MDM实现将涉及的实体的范围。例如,决策可以是是否实现customer和产品主数据,甚至在客户和产品领域,是否计划要逐项精通或者去掌握一个又一个的源系统。列出每个可能的选项并计算每个选项的ROI有助于决定选择哪个选项。
在这个战略步骤中要完成的三个重要任务是,形式化数据治理方法,创建一个闭环数据质量框架,并在每个重要阶段度量MDM实现的ROI。一旦实现了这一点,随着企业MDM体系结构的实现,MDM旅程将开始形成所需的形状。下一步是在企业范围内传播MDM哲学。在MDM过程的第三步(在企业范围内采用MDM哲学)中,MDM成为公司的一部分。信息被识别为公司资产,因此将更多的信息域放在MDM保护伞下。在企业中标识了更多MDM项目,并扩展了现有实现的范围。绩效标杆和衡量绩效的持续改进成为企业的规范。
在MDM旅程中逐步执行这个过程,可以为企业MDM实现和更高的ROI提供一个合适的、可实现的目标。还应该注意到,采用MDM策略需要进行流程更改并影响许多人的日常工作。将这种变更引入企业需要仔细的计划和深思熟虑的过程来管理变更工作。
- 59 次浏览
【数据架构】:主数据管理(MDM)对我的行业有什么帮助?
虽然所有行业都存在数据质量问题;每个行业都有其独特的需求。
MDM提供对于这些行业改进业务流程所需的数据合理化所需的工具.
通信、媒体和公用事业
通信、媒体和公用事业行业的公司面临着激烈的竞争,需要提供创新的服务才能生存。客户越来越多需要为他们量身定做的下一代服务。作为行业融合提供如果是捆绑服务,以客户为中心的观点是至关重要的。当前的系统以产品为中心,使360度视角难以获得,减少了向上销售和交叉销售的机会。MDM通过减少客户信息,帮助组织合理化客户信息复制并创建一个惟一的客户标识符,该标识符用于跨竖井交叉引用数据系统生成客户所需的单个视图。
日用消费品
消费品包装(CPG)公司面临着不断变化和增加全球竞争。他们必须努力满足推出有利可图的产品的高要求同时提高分销和运营效率。然而,在大公司、关键的管理信息被隔离在整个企业的不同系统中。随着数据量的激增和数据复杂度的不断增加,CPG公司的业务也在不断增加
今天,这个问题正在加剧。从客户和产品数据中获得洞察实时促销优化,分类/SKU盈利报告和需求预测是最大化性能的关键。数据集成给了CPG公司能够创造一个整体的运营观和销售。分享“最好的真相”组织内部和跨补货渠道的信息允许公司这样做专注于简化他们的流程以增加利润,有效地管理促销活动,减少供应链成本和改善协同规划。
金融服务
银行业和资本市场行业有一些独特的挑战需要克服。这是这是一个面临困难时期的行业,对这些机构来说,优化它们的业务是至关重要的与客户建立良好的关系,通过追加销售和增加收入交叉销售机会,通过更高的IT敏捷性降低成本。一些金融机构已经开始利用MDM来增加本国的CIF系统,以便实现更大的灵活性和降低成本。
健康和生命科学
健康和生命科学公司使用MDM支持关键的数据需求组织增加收入,加快药物开发周期和管理法规要求。为消费者,处方者和组织改进CRM和销售分析以支持收入增长和改进销售,客户服务,订单到现金和返利管理流程。MDM还提供了一个可靠的监管框架,以成本效益的方式帮助健康和生命科学公司管理医生的支出,避免处罚或更严厉的监管措施。
高科技与制造
盈利能力、上市时间和设计复杂性并存的压力存在于此行业。产品商品化迫使公司寻找其他方式来创造收入。复杂的分销和销售——分销商、零售商、直销、在线等,使其变得非常困难准确预测需求。解决这些挑战的方法之一就是集中注意力以客户为中心的过程和同步需求驱动的供应链。MDM提供使这些过程中使用的数据合理化所需的功能。
公共部门
公共部门空间由几个稍微不同的分部门组成,即国防、司法、公共安全,国家和地方政府。他们面临的挑战略有不同,但是这些不同分部门的共同主题是需要提高效率和透明度。由于数据驻留在多个系统中,可以在案例管理和CRM工具中使用MDM获得选民(纳税人、公民、恐怖分子等)的单一观点.
零售和分销
缺货对全球前100位零售商和零售商来说意味着690亿美元的问题在所有缺货的情况中,有将近75%是由他们造成的。零售商们关注通过改进上市时间和增加销售决策来优化计划和销售决策战略采购。MDM为零售商提供使产品合理化所需的工具做出正确决定所需的信息。
- 88 次浏览
【数据架构】:如何为MDM构建业务用例
构建业务案例的方法需要三个主要步骤:
构建业务案例的方法需要三个主要步骤:
- 第一步是评估当前的掌握能力。在此步骤中,应该评估范围内实体的MDM成熟度。为了量化的影响MDM技术,重要的是有一个相对的比较点。
- 第二步包括展望未来的数据掌握能力和解决方案足迹,以支持它们。此外,重要的是定义实施计划和了解实施的成本。这是定义所需投资的必要条件。
- 第三步是我们真正理解MDM技术对业务的好处。正是在这个阶段,我们量化了技术的商业价值。使用步骤2中的投资和步骤3中量化的业务价值,我们可以计算MDM的ROI。
步骤1:评估MDM功能的成熟度
在了解了当前的功能之后,是时候评估MDM成熟度了。MDM成熟度可以通过五个维度进行评估:
- 配置文件数据来源
数据源、策略、需求和安全控制的清单
- 定义数据策略
关于数据将如何被用户使用的策略,以及存在用于管理数据质量的治理结构
- 定义整合策略
用于在应用程序之间共享主数据的机制,可以是批处理模式,也可以是实时模式
- 维护数据
数据管理和工具的到位,以确保数据的清洁
- 发布的数据
数据被发布并提供给订阅应用程序,执行用于创建、读取、更新和删除(CRUD)活动的数据策略。
可以使用简单的能力成熟度模型(CMM)来评估这些维度,以确定存在最大差距的领域。
上面的图描述了一个能力成熟度模型,该模型用于评估五个维度中的每个维度,以确定您现在的位置,然后绘制所需的最终状态,以确定存在最大能力差距的位置。
这将有助于优先考虑实施计划的重点领域。
第2步:制定解决方案足迹和实施计划
一旦确定了能力差距并定义了目标状态,此步骤中的下一个任务就是定义未来的状态体系结构以支持新的或新的流程。下图是使用Oracle MDM技术的未来状态体系结构的示例。
在展望未来的状态流程并定义未来的状态体系结构以支持它之后,最关键的任务是定义实现计划,以确保新流程的成功实现。下面的图是一个实现计划的示例,它显示了不同的阶段、阶段中的阶段和不同的部署波。实施方案是ROI计算的关键投入;它不仅提供了实现的时间,而且提供了实现的成本,这是ROI计算的一个关键输入。
步骤3:识别利益驱动因素并计算ROI
在我们与客户实现MDM的经验中,我们注意到可以从节省成本和提高收入的角度获得好处。这些好处都直接归功于MDM,例如减少数据管理成本、降低集成成本;通过增加交叉销售/追加销售、提高客户保留率等现有举措的增量价值,间接实现了这一目标。下图总结了我们观察到的客户的一些好处:
一旦确定了特定项目的适当利益驱动程序,下一步就是估计确定的驱动程序将获得的利益改进范围。这对于量化MDM的业务价值至关重要。MDM技术不仅可以节省成本,还可以增加收入。
上图显示了收益的量化。在这个例子中,我们选择了对效益价值进行保守、务实和激进的估计。除了数量上的好处,MDM项目还会产生很多质量上的好处。这些应该被记录下来并包含在其中,以进一步加强业务案例。
MDM成本
ROI计算的另一个关键输入是与获取和部署MDM技术相关的投资。 典型的成本包括软件许可,软件维护,实施,硬件,基础设施,培训和其他相关成本。 下图给出了如何分解成本的示例。 确定一次性成本以及持续成本也很重要,因为这会影响现金流。
“在过去的一年里,投资回报(ROI)指标比总拥有成本(TCO)驱动了更多的IT项目决策。”
在对收益进行量化并确定成本后,应绘制出五年(或其他)期间的年化现金流,以确定项目的净收益。利用这些数据可以计算出净现值(NPV)、内部收益率(IRR)和回收期。在当今的商业环境中,有许多项目都在争夺相同的资金来源,回报率最高、最引人注目的业务案例是那些更有可能获得资金的项目。使用ROI结果来驱动实现计划是很重要的,重点是首先实现提供业务价值的功能。在企业需要控制成本和推动价值的时候,那些提供最高回报的计划应该被取代。
- 106 次浏览
【数据目录】数据目录推动更好的主数据
视频号
微信公众号
知识星球
使用数据目录作为主数据和参考数据管理程序的早期对齐和设计工具,将更快、更好、(通常)更便宜地获得结果。
主数据管理挑战
如果你曾经试图在企业中建立主数据管理(MDM)计划,毫无疑问,你很快就意识到掌握数据是多么具有挑战性。虽然MDM已经存在了几十年,但它的成功记录并不出色。
那么,是什么让掌握MDM成为一项挑战呢?推动成功的因素有很多。建立领域范围很困难,而且往往是第一个绊脚石之一:
- 您应该掌握所有数据还是只掌握部分数据?
- 哪些领域的价值最大?
- 谁应该选择?
这往往会带来另一个挑战:当业务优先级与主领域相关时,领导层应该如何在业务优先级上保持一致?例如,“客户360”等业务史诗通常会创建复杂的数据环境。这可能会导致出现技术挑战,例如集成、数据访问,当然还有无法将MDM驱动的更改应用回源系统。然而,即使有最好的计划,许多程序也可能失败,部分原因是数据文化问题。不要低估围绕所有权、决策权的冲突,甚至对企业数据缺乏了解,都会破坏进展。
正如您现在可能已经了解到的那样,建立一个MDM程序需要一些深思熟虑。MDM的目标可能各不相同,但一个健康的计划必须确保业务在所有组织流程中拥有完整、一致、最新和权威的主数据和参考数据。这意味着主数据应该在企业功能和应用程序之间共享。这不仅可以降低运营成本,还可以通过标准、通用数据模型和集成模式降低数据使用和集成的复杂性。为了实现这一点,组织需要分析数据和支持元数据,向源系统提供反馈,并使用输入来调整和改进驱动MDM解决方案的规则引擎。
那么,您的组织应该如何最好地支持主数据生命周期呢?提出将数据目录作为催化剂的理由,以帮助MDM团队更好地掌握他们的数据,以及他们的程序。
评估数据环境
由于前面讨论过的原因,开始MDM程序可能很棘手。考虑你的项目,就像你可能在房子或汽车上做一个很棒的油漆工作一样:这一切都在准备工作中。
那么,数据领导者应该如何为成功的MDM计划做好准备呢?大多数从业者都认为匹配和合并是MDM的核心概念。管理主记录ID(作为母版制作过程的一部分)是领导者应该优先考虑的另一个关键准备步骤。这些部分确保了生存,生存是一个核心过程,用于将实体的重复记录驱动到单个主视图中。
如何确定要掌握的最值得信赖的数据资产?您如何确保您的MDM程序随着时间的推移而改进?虽然大多数MDM工具为这些工作流提供了一个执行框架,但它们往往缺乏推动早期分析和发现的能力。大多数MDM工具都为处理这些规则提供了强大的执行引擎,但在定义起点或随后推动Golden Record后的持续流程改进方面,它们往往做不到。我们在这里谈论的是管理,这对于编排掌握生命周期至关重要。管理也是处理主控过程中丢失的数据所需的人工操作。换句话说,如果您想首先解决记录脱落的原因,MDM程序需要持续的流程改进。
就像数据质量和治理一样,管理也是关键。为什么?MDM架构师所遭受的痛苦与影响业务分析师、数据科学团队和报告编写者的痛苦相同:如何发现、理解和信任数据。您所在组织的数据可能以不同的方式存储,以满足不同的需求。数据以表的形式存在于关系数据库、数据湖或仓库,甚至ERP或RDM系统中。从某种意义上说,可以说数据生活在它工作的社区。提前对这些来源进行编目为理解范围提供了重要的帮助,也为数据的复杂性或任何蔓延提供了早期见解。
通过将MDM计划与数据目录提供的管理和设计技术(搜索、元数据管理和协作)联系起来,团队能够更好地推动有效的设计,并审查掌握的规则和模型。正确的数据目录应该提供重要的协作和结构化的工作流程能力,以便在MDM架构师和业务分析师对数据(域和其他)进行分类时为他们提供能力。正确的平台还将帮助团队利用管理、治理和变更管理工作流来进行任何数量的MDM设计和文档工作。
实体决议是基础性的
重复记录对于任何数据驱动的企业来说都是一个常见的挑战。实体解析描述了跨数据源识别这些记录并将它们链接在一起的技术。这是一种广受好评的掌握技巧,将有助于为任何程序的发展奠定坚实的基础。这个概念是由John R.Talburt博士提出的。我第一次了解Talburt博士的实体解析方法是在我编写DAMA的数据管理知识体系第二版时。几年后,我有幸与John一起参与了一个我们都在咨询的MDM项目。正如他在《实体解析和信息质量》一书中所阐述的那样,实体解析是关于确定对现实世界实体的引用何时等效(指同一实体)或不等效(指不同实体)。
从最广义上讲,实体处置包括五项主要活动:
- 实体参考提取,
- 实体参考准备,
- 实体参考分辨率,
- 实体身份管理,以及
- 实体关系分析。
数据领导者通常依靠企业数据目录来深入了解实体,同时记录其环境的生命周期相关性。作为一个元数据管理平台,数据目录是理解和协调不同资产的理想环境,以了解它们是如何创建的以及为什么创建的。
Alation’s Data Catalog leverages domains
例如,最佳实践定义了将公共标识符附加到引用实例的重要性,因为这有助于表明它们是等效的。(塔尔伯特,2011年)
这可以表现为创建元数据,该元数据描述该公共标识符结构的结构和过程,例如master_id、match_id、merge_file_id属性,以及如何创建或填充它们。这是一个很好的例子,说明了元数据如何推动身份解析、记录链接、记录匹配、记录重复数据消除、合并清除和许多实体分析。通过这种方式,领导者可以将持续集成和持续交付(CICD)添加到他们的MDM战略中。
然而,要使元数据以这种方式可操作,您需要一个数据目录。在寻找MDM友好的目录时,领导者应该寻找诸如文章、标记、自定义字段和目录集之类的功能。他们还应确保在解决过程中做出的决定能够记录在目录中,以供子孙后代使用。这样,当未来出现问题时,可以很容易地参考答案,并将其传达给整个组织的利益相关者。
不要忘记参考数据
这里列出的概念也适用于参考数据管理。虽然通常不那么复杂,但参考数据管理程序也受益于数据目录的强大功能。
“参考数据是指用于表征或分类其他数据,或将数据与组织外部信息联系起来的任何数据”(Chisholm,2001)
典型的参考数据可能由代码和描述组成,但可能更复杂,并包含跨功能关系元数据。然而,大多数情况下,参考来源将侧重于分类和分类,如状态或类型(例如,订单状态:新建、进行中、关闭、取消)。它们还可能包括外部信息,如地理或标准信息(例如,国家代码:DE、US、TR)。这一部分的寓意是,如果你没有对你的参考数据进行编目,你应该这样做。
定义掌握黄金记录的规则
如果做得好,MDM程序也将推动元数据的改进,通常是通过质量评估的方式。数据目录可以通过推动澄清和定义以及属性的可视化检查来帮助MDM团队。同样,在规则开发、测试的设计思想上进行文档化和协作至关重要,最终是通过MDM工具驱动实际执行的匹配、合并和生存规则的下游执行的治理。
虽然数据目录不是MDM执行平台的替代品,但一些目录确实提供了大量开箱即用的功能,可以帮助MDM设计者和架构师设计或评估规则。使用数据目录应用批量分类和分类将有助于确定工具和执行需求的范围。这也是记录这些决定的另一个机会。
此外,数据管理员将需要与业务团队合作进行对账和协议,因为这与影响实体名称和企业级定义的规则有关。随着团队能够发现、理解和合理化数据元素和属性,他们也开始了解数据的质量。数据质量问题会使MDM项目复杂化,因此评估过程应该解决数据问题的根本原因。提供一套管理工具的数据目录将使您的管理人员和其他关键利益相关者能够评估主数据环境的数据源质量和适用性以及关键上下文。
数据模型和字典为来源分析提供信息
MDM架构师工具带中的另一个关键工具是数据模型。虽然目录可以支持传统的数据模型可视化,如实体关系图,但架构师将受益于这样一个事实,即当使用Alation数据目录时,源数据,例如,模型是通过本体自动创建和关联的(以及支持的元数据)。这些模型允许用户使用自然语言标题和描述来浏览和理解逻辑和物理模型结构。关于的目录示例在从源中提取元数据时自动创建这些本体论数据模型。为了进一步帮助MDM团队,通过机器学习和人工管理的结合来应用自然语言增强。
当MDM程序在主控之前对其源进行编目时,MDM架构师能够利用数据字典来总结这些自然标题和描述,以及可视化物理属性。这包括自定义字段值和子数据层次结构。该词典还将包括由管理员和用户添加到目录中的精心策划的数据源信息。这些元数据对于推动有效掌握讨论的重要性怎么强调都不为过。
数据目录-您的MDM白板
管理重要的事情。它是有效的数据素养和信任的基础。但它当然适用于主数据或参考数据管理程序——在设计MDM或RDM程序时,很容易在范围上过度索引。利用您的数据目录来“适当调整”您的工作。从小处着手,以有管理的速度成长,这是一个很好的建议。这将确保你不会吃得太多。在一定程度上,团队能够评估和评估数据源,为主数据管理计划的范围界定和设计做准备,作为“一块玻璃”的目录将给他们带来提升。
对于MDM团队来说,必须知道哪些数据存在于何处以及为什么存在。数据目录可以成为一个关键工具,帮助人们了解操作和参考数据的结构和内容,以及创建、汇总或报告数据的过程。
将目录视为元数据白板。这是一个很好的平台,可以帮助MDM团队进行与范围和方法相关的早期设计思维,顺便说一句,这也将在您进行过程中记录过程。该目录将有助于为您的主数据管理项目奠定良好的基础。此外,这也是一个很好的地方,可以将企业管理锚定在项目中。
- 11 次浏览