【数据网格】数据网格架构的优势和挑战

ThoughtWorks 顾问 Zhamak Dehghani 创建了数据网格的概念，作为一种自助式、面向领域的设计，后来演变成一种数据即产品设计。 通过同时集成和分析来自断开连接的系统的数据，数据网格架构无需从多个系统中提取数据并对其进行预处理，从而使组织受益。

在数据仓库或数据湖等传统数据架构中，数据在单个位置收集、存储、清理和处理以供进一步分析。 然而，在数据网格中，数据保留在各自的领域中，领域团队使用他们的领域数据来开发满足自己需求的数据产品，并将这些产品出售给其他消费者。

在这种情况下，领域团队完全拥有他们的数据基础设施、数据管道和数据产品。 各个域团队在数据网格内完成他们的数据处理任务——在控制每个域的后端存储和计算的集中单元中。

数据网格促进跨域的分布式数据、非 IT 人员的自助操作以及以域为中心的数据控制。 数据网格的操作原则包括以域为中心的数据控制、自助式数据访问、数据即产品 (DaaP) 以及数据网格框架内的标准化治理。

此外，根据作者 Cameron Turner 的说法，DaaP 方法使域所有者能够摆脱“集中式数据湖”，并将其域数据直接出售给其他域，从而为创收创造新的途径。

组织何时应使用数据网格架构？

如果企业有突然的扩展需求，必须在短时间内执行，那么数据网格就可以派上用场。 随着数据源和数据消费者的不断增长，单一、集中的数据管理方法可能会导致难以管理的扩展问题。

在许多情况下，企业数据的集中控制会造成不良瓶颈。 在数据优先的业务生态系统中，企业现在需要考虑有机地支持扩展的数据平台。

数据网格促进了分布式数据管理，这自然与整个组织的分布式数据创建模式保持一致。 一般来说，如果您的公司对云迁移、领域驱动开发或微服务感兴趣，现在是考虑实施数据网格架构的好时机。

使用数据网格架构的好处

数据网格架构可以帮助企业找到日常问题的快速解决方案，发现管理资源的更好方法，并开发更敏捷的业务模型。 以下是对数据网格架构优势的快速回顾：

• 数据网格架构是适应性强的，因为它可以适应公司规模、变化和成长的变化。
• 数据网格支持同时收集、集成和分析来自不同系统的数据，从而无需在一个中央位置从不同系统提取数据以进行进一步处理。
• 在数据网格中，各个域成为一个小型企业，并获得自我管理和服务于其数据科学和数据处理项目的各个方面的能力。
• 数据网格架构允许公司通过消除单个管道中的数据流来提高效率，同时通过集中监控基础架构保护系统。
• 领域团队可以设计和开发他们的特定需求、分析和操作用例，同时保持对其所有数据产品和服务的完全控制。
• 数据网格架构通过明智地跨域分配 IT 团队，独立控制所有与数据相关的活动，从而在不牺牲规模的情况下帮助解决数据治理瓶颈。
• 数据网格通过使领域团队遵守所有标准、政策和法规，同时通过快速访问数据、快速周转时间和量身定制的数据解决方案来奖励他们，从而维护集中式治理标准。
• 数据网格使用数据目录使领域驱动的数据产品和服务可被发现。
• 数据网格中的基础设施即平台 (IaaP) 提供了一种自动化的数据标准化和数据产品生命周期监控方法。

数据网格架构挑战

本节仅涉及围绕数据网格的一些技术和实施挑战，这些挑战需要进一步探索：

• 数据网格的采用迫使用户可能会抵制许多更改，因此实施需要大量组织支持。 数据工程师必须了解情况，这样他们才不会违背数据网格的利益。
• 不同数据系统之间的互操作性是数据网格工作的先决条件。
• 在维护数据管道的特定领域控制的同时，领域仍然必须遵守所有标准化的数据治理协议。
• 在数据网格中，数据访问围绕适当的权限进行，因此如果没有足够的权限，数据访问可能会被拒绝。
• 数据目录必须保持更新，以使数据产品保持可发现性。
• 在数据网格中，确保采用一致的方法来配置云基础设施、为数据产品制定明确的标准以及遵守标准化的治理协议尤为重要。
• 从单体数据仓库和数据湖迁移到数据网格需要的不仅仅是技术和后勤准备——文化和思维方式的改变，以及对业务领域建模采用更多跨职能方法的承诺。
• 域之间的最小共享治理可能会带来自己的挑战。

尾注

数据网格架构在提供对域的直接数据访问的同时，保留了在需要时将数据仓库或数据湖纳入其框架的灵活性。 在数据网格环境中，IT 和业务团队协作构建数据产品或为整个组织中的其他数据消费者提供 DaaP 服务。

数据网格的最大受益者是拥有许多域和断开连接的系统的组织。 领域团队生成并拥有特定于领域的数据以满足他们的日常需求，但他们也有能力构建自己的数据产品并将它们出售 (DaaP) 给其他领域或其他外部消费者。

数据网格架构不是依赖一个中央数据工程团队和一名数据科学家来完成整个数据管理操作，而是将 IT（数据）团队均匀分布在组织单位中。 尽管存在潜在挑战，但分散的领域团队和 IT 团队获得了密切合作以提供增值产品和服务的绝佳机会。