【数据治理】第二部分：联邦数据治理的四步框架

这是由两部分组成的数据治理系列的第二版。请在此处阅读关于利用良好治理的数据潜力的第一部分。

健全的数据治理将带来全组织的成果。通过编目和质量管理，数据治理确保了对数据的信任。它将通过确保可发现性、透明度、可访问性和易用性来缩短上市时间。它还将促进整合，以扩大合作伙伴生态系统和参与开放数据倡议。

不用说，数据治理使组织能够高效、有效、安全地利用其数据。但是，实现一个组织范围的数据治理计划并不是一件容易的事。根据我们与丹麦一家领先投资银行合作的经验，我们概述了在实施数据治理计划时需要牢记的首要事项。

步骤1-从“现状”状态分析和利益相关者参与开始

在开始绘图之前，先了解数据治理计划的愿景和关键驱动因素。在进行任何解决方案之前，先评估当前状态。基于这一理解，对不同的数据利益相关者进行人物访谈，并记录他们的痛点和目标。构建一个与数据治理解决方案的期望以及功能的优先级和关键性相对应的功能矩阵。

我们以以下方式对我们的经验教训和项目期望进行细分：

第2步-选择工具

选择适合组织环境的工具是至关重要的。在执行此操作时，请记住：

• 没有一种工具可以满足所有要求
• 商业工具有一长串的功能，但越多越好
• 对于开源工具，工具背后的社区、路线图可见性、体系结构、可扩展性等都很重要

考虑到这一点，请仔细选择您的工具：

• 分析当前的数据生态系统（源/分析存储、数据处理和管道、消费应用程序等）。基于此分析，列出您的不可协商事项和优先级。例如，您可能需要一个能够与数据网格原理保持一致或启用数据办公室的工具
• 从开源和商业产品中确定候选工具。使用特征矩阵进行第一次消除，反映现有数据生态系统中的差距、利益相关者的优先事项和对该工具的特征期望
• 基于二次研究、概念验证、研讨会和演示以及与产品供应商的互动，最终确定工具包。使用预定义的问卷来指导对话

步骤3-实施工具

我们建议采取以下步骤：

• 在现有客户端生态系统中安装和配置工具
• 在云上或预处理环境中部署该工具
• 设置DevOps管道
• 创建分叉/同步策略
• 实施可观测性和警报机制

在实现数据目录的同时，将技术元数据、所有权、沿袭和业务术语表结合在一起，通过定义的API/接口推动元数据存储库，并通过发现接口使其可用。

对于数据质量实施：

• 定义DSL，以便于数据生产者创建推送到相应域存储库的质量规则
• 构建管道以提供自动化作业、执行数据质量检查并发布结果
• 收集质量结果/指标，推送到指标商店，并将其提供给生产商/消费者

建立数据域所有权文化。组建一个具有明确角色和职责的数据治理委员会。创建域所有权，其中域团队负责拥有和管理数据。

第4步-赋予利益相关者权力

成功实施后，您的利益相关者——消费者和数据产品所有者——可以执行特定的功能。

这样的数据工作台将使领域团队能够为消费者发布透明和值得信赖的数据，并为更有信心地加入新的合作伙伴铺平道路。

数据治理对于任何处理大数据的组织来说都是至关重要的，因为它的影响不仅仅是技术。它是跨领域的，涉及数据收集和存储、明确和衍生的个人身份（PII）数据的数据安全、同意管理、算法设计、产品设计、组织激励等。

这为利用技术和工作模型消除数据驱动解决方案中的风险和偏见提供了一个独特的机会。好的解决方案需要多样化的多学科团队、可以自主使用的工具、可扩展的治理模型等等。数据网格非常适合这个用例。

数据治理的未来：数据网格

新兴技术总监兼Data Mesh创始人Zhamak Dehghani将其定义为一个新概念，通过将分布式领域驱动的架构、自助平台设计和产品思维与数据相融合，拥抱组织中无处不在的数据。以下是使其与众不同的功能：

• 数据作为产品（过程和数据）
• 按域分散的数据责任
• 数据生产者是数据所有者，并由自助服务平台/功能授权）
• 联合治理实现了集中的数据治理、数据质量和数据生命周期

要了解有关数据网格的更多信息，请单击此处。

本博客是第21届国际电子商务会议（ICEB 2021）白皮书的简短版本。