【数据网格】没有可信核心数据,Data Mesh就是Data Meh

QQ群

视频号

微信

微信公众号

知识星球

Chinese, Simplified

为应对不断增长的数据挑战而寻求快速响应和可持续解决方案的组织越来越依赖数据网格等架构方法来快速高效地提供信息。 数据网格和其他虚拟数据方法连接、统一信息,并使其在众多数据孤岛和仓库中可用,以将其有效地交到分析师和其他用户手中,从而做出更好的决策、增加数据集的所有权和分布式协作 ,以及其他积极成果。

然而,高质量、可信的数据是许多数据网格架构中经常被忽视的组成部分。 简单地将数据移动到云端并使其更易于访问并不能解决数据质量问题。 不准确、重复或过时的数据——无论是来自仓库还是通过数据网格虚拟化交付——加剧了现有问题并使问题变得更糟。 将基于云的主数据管理 (MDM) 解决方案添加到数据网格或任何虚拟数据架构有助于解决数据质量难题,并可以促进任何云转型。

虚拟数据有多种形式


数据虚拟化使应用程序能够访问和集成来自多个不相关数据源的数据,就好像它们是一个统一的数据源一样。 数据虚拟化可以实时访问数据库、文件系统和基于云的数据存储等来源,并创建一个可供应用程序和其他系统访问的虚拟数据层。 这可以在不物理移动或复制数据的情况下完成,从而节省时间和资源。

不同的数据虚拟化方法不断涌现,包括数据网格和数据结构。 虚拟化数据的力量在于创建数据产品,这些产品是特定业务领域可以使用的一组特定的有组织和可重用的信息,并且明确由最接近该数据的团队拥有。 数据产品可以为数据分析师节省时间,他们可以花更多的时间分析数据,而花更少的时间查找和修复数据。

数据网格和数据结构相似,但在关键方面有所不同:

  • 数据网格是一种分散式数据架构,为存储和管理大量数据提供灵活且可扩展的基础设施。 这种方法可以提高数据的可访问性,增加协作,并支持创建高质量、可靠和可重用的数据产品。 数据网格是一个概念,它将信息从集中的湖泊和仓库中转移出来,并将其交到领域和主题专家的手中。 在此构造中,数据被视为产品并由领域专家拥有。 Fabric 可以帮助领域专家和分析师确定可以在何处使用数据
  • 数据结构是互连数据存储和处理资源的网络,使组织能够更有效地访问和使用其数据。 Data Fabric 提供了一个统一的平台来管理、存储和访问数据,无论数据位于何处或如何构建。 数据结构通常包括一系列技术和工具,例如分布式存储系统、数据湖和数据管道,它们协同工作使组织能够大规模收集、处理和分析数据。 数据结构类似于元数据; 它是一个目录系统,用于识别可用的信息及其所在位置。

虽然这些架构因其解决数据访问问题的潜力而受到追捧,但也存在潜在的局限性,包括无法提供可信、准确的信息。 除非同时解决质量问题,否则仅将数据移动到云端或使其更及时和更易于访问无法改变业务

MDM:现代数据架构的统一基础


基于云的 MDM 使组织能够管理和维护组织关键核心数据的一致且准确的视图,例如有关客户、供应商、位置、资产和供应商的信息等。 这是每个组织运行所依赖的重要数据。 核心数据可能驻留在许多孤岛中,这给大多数组织带来了挑战。 核心数据通常不准确、过时或在其他地方重复。 解决这些问题既费时又费钱,因此越来越多的组织转向基于云的解决方案来掌握核心数据。

通过创建关键业务数据的单一、准确视图,MDM 可以确保虚拟化架构中的数据一致、准确和更新。 这可以提高数据质量,并大大提升数据对业务用户的价值。

换句话说,“核心数据作为产品”和 MDM 的概念有着密切的内在联系。

基于云的 MDM 通过提供用于管理数据定义、关系和规则的集中式系统,简化了虚拟化架构中的数据管理。 这使得数据管理员和其他数据管理专业人员更容易理解和管理数据,从而大大提高了虚拟架构的整体有效性。

基于云的 MDM 为组织提供了更大的可扩展性和灵活性,并帮助他们提高数据质量和一致性。 由于数据受到管理和治理,组织可以轻松执行数据标准并确保信息准确和最新。 由于云可以无缝扩展或收缩以满足不断变化的需求,因此组织可以快速添加或删除数据源和用户,而无需投资额外的硬件或软件。 这有助于避免代价高昂的错误并提高数据驱动决策的可靠性。

改善业务成果依赖于及时准确的数据


每家公司都越来越迫切地转向数字优先方向以提高效率、增长和风险管理,尤其是在考虑客户体验时。 消费者、供应商和员工期望在几乎任何情况下都能获得“按需”或全渠道体验。 他们希望能够利用数字技术实现 24/7 全天候自助服务(任何设备、任何地点、任何时间),并辅以呼叫中心等其他渠道。 犯了这个错误——或者让您的客户因不一致或糟糕的体验而感到沮丧,会将他们送到他们的竞争对手那里。 这就是为什么尽管最近面临经济挑战,但仍有如此多的人继续投资于云迁移和数字化转型。 现代数据架构方法是朝着这个方向迈出的重要的第一步。 然而,如果没有准确、可信和实时的核心数据作为基础,这些举措可能会适得其反。 投资基于云的现代 MDM 解决方案作为数据网格或任何虚拟数据架构的基础,可以提供准确、实时的核心数据统一视图,组织可以使用该视图来实现这些业务目标,同时提供切实的投资回报率。

 

本文地址
https://architect.pub/without-trusted-core-data-data-mesh-data-meh
SEO Title
Without Trusted Core Data, Data Mesh Is Data Meh