【数据治理框架】数据治理框架-示例、模板、标准、最佳实践&如何创建数据治理框架？

数据治理框架是一组标准、指导方针、协议、流程和规则，使组织能够有效地管理其数据。建立一个定义明确的框架对于数据治理举措至关重要。

听取治理专家的意见肯定会激励您优先考虑数据治理计划，并奠定坚实的基础。我们已经为您整理了入门所需的所有信息。

目录

1. What is a data governance framework?
2. Three pillars of data governance framework
3. Advantages of a data governance framework
4. Data governance framework examples
5. Data governance framework best practices
6. How to create a data governance framework?
7. Atlan: Effortless data governance for the modern data stack
8. Related reads on data governance framework

什么是数据治理框架？

数据治理框架是一种定义的结构，用于指导组织中数据治理的实施。它是数据治理程序的基础。它应该提供如何确保数据资产的质量、完整性、安全性、可发现性、可访问性和可用性的清晰可视化。

https://youtu.be/vyJ9uAAcwWE

根据DGI（数据治理研究所）的说法，数据治理框架是“一种逻辑结构，用于对企业数据决策和采取行动所涉及的复杂活动进行分类、组织和沟通。”

换句话说，数据治理框架就是“如何实施治理的蓝图”

如何对良好的数据治理框架进行基准测试？

根据明尼苏达州立大学提出的中小企业数据治理框架，一个坚实的数据治理框架应该：

• 实现更好的决策
• 减少操作摩擦
• 保护数据利益相关者的需求
• 培训管理层和员工对数据问题采取通用方法
• 建立标准、可重复的流程
• 通过协调工作降低成本并提高效率
• 确保流程的透明度

数据治理面临的五大挑战-Forester首席分析师Michele Goetz

https://youtu.be/a4PuoFf9cyE

任何数据治理框架的三大支柱

如果你查找任何数据治理框架的支柱，你会发现包括标准化政策和程序、数据安全和访问、合规性、风险缓解等在内的响应。

然而，这些可以被视为数据治理框架模板的组成部分。

这些支柱必须反映现代数据堆栈的治理本质——使数据流可跟踪，并使数据相关流程透明，以便您能够理解您的操作，提高性能，实现目标。

这就是为什么以下三大支柱构成了现代数据堆栈的任何数据治理框架的关键：

• 包含所有数据资产的治理
• 从业者主导的自下而上的方法
• 嵌入日常工作流程的治理实践

包含所有数据资产的治理

从仪表盘和代码到数据科学模型，一切都是数据资产。数据治理框架应考虑所有数据资产，即数据和分析治理。

从业者主导的自下而上的方法

随着数据用户和消费者的数量不断增加，让少数人（数据管理员或工程师）负责数据治理并不是一种可持续的方法。

一个去中心化、自下而上的数据治理框架，让每个数据创建者都负责数据治理，这是前进的方向。

去中心化、社区主导的方法的一个例子是数据网格。数据网格设计提出了一个联邦计算治理模型，其中每个组织都是业务域的联邦。域所有者完全管理他们创建的数据。

然而，每个域仍然遵循一组关于数据定义、标准、流程和发现的全局（或联邦）规则。

嵌入日常工作流程的治理实践

数据治理始终与合规性、控制和风险缓解相关。然而，它是一种业务功能，可以通过确保每个人都能获得准确、相关、高质量和值得信赖的数据来支持战略决策。

这就是为什么这不能成为事后的想法。相反，它应该嵌入到数据从业者的日常工作流程中。

阅读更多→ 数据治理存在严重的品牌问题

数据治理框架的优势是什么？

数据治理框架使企业范围内的协作能够管理所有数据资产，从而使它们与组织的总体公司目标保持一致。

以下是数据治理框架的优势：

1. 您非常清楚如何协同您的数据治理工作
2. 您有控制整个数据产业的计划和可见性
3. 透明度成为您管理数据的固有方式
4. 监控您的数据消耗或使用是高效的，因为它遵循蓝图
5. 框架还为法规遵从性实践奠定了坚实的基础

简而言之，减少混乱→ 更多的信任→ 巨大的价值

这为真正的数据民主化、跨团队的有效协作以及遵守数据保护法律法规铺平了道路。

https://youtu.be/YH_RViS3270

数据治理框架示例

有几个已经建立、尝试和测试过的数据治理框架示例已经在使用，例如：

1. DGI
2. DAMA DMBOK
3. McKinsey
4. Eckerson
5. PwC
6. Deloitte

让我们简单地研究一下这些模型中的每一个，以了解它们的异同。

1.DGI

DGI框架（DGI framework ）包含十个通用组件，这些组件解决了数据治理的原因和方式。

The DGI data governance framework. Source: DGI

让我们看看其中的一些组件：

• 目标、指标和资金（Goals, metrics, and funding）都是为了详细说明数据治理计划将如何增加收入、优化成本并确保业务在面临风险或中断的情况下恢复能力。
• 控制措施（Controls ）用于风险管理，可以是预防性的，也可以是纠正性的。它们可以应用于框架的各个级别，以支持数据治理计划的目标。
• DGO（数据治理办公室）负责监督整个治理计划，与其他利益相关者合作和联络，协调数据相关政策和标准，并维护计划的详细记录。

DGI将其每个组件划分为核心领域——规则、人员和流程——以简化概念。

数据目录正在经历范式的转变。以下是您需要了解的关于第三代数据目录的全部信息

2.DAMA

DAMA DMBOK 是另一个流行的数据治理框架。

DAMA-DMBOK data governance framework. Source: DAMA-DMBOK

它将数据管理描绘成一个轮子，以数据治理为中心（中心），由九个知识领域围绕。数据治理被认为是有效数据管理所需的高级规划。

每个知识领域都探索了数据治理的途径。例如：

• 数据体系结构管理（Data architecture management）代表了数据的整体结构，以及它如何与数据生态系统中的每个应用程序连接。
• 数据开发（Data development ）涉及数据建模、需求分析、设计、实现和维护数据存储元素，如数据库。
• 元数据管理（Metadata management）包括收集、分类、集成和维护高质量的元数据。

该框架进一步定义了为每个知识领域提供结构的环境元素。它们定义了指导每个领域规划和执行的基本流程、角色、技术和可交付成果。

它们还涵盖了一个组织的文化必须如何发展才能使数据治理举措发挥作用。

3.麦肯锡

麦肯锡认为，重新思考整个组织设计是确保数据治理成功的起点。他们的数据治理框架模板包括三个核心组件：

• 数据管理办公室（DMO）定义政策和标准，培训和指导数据领导者，并确保数据治理与组织内的所有其他职能部门相联系。
• 基于域的角色（Domain-based roles）管理数据治理程序的日常执行。
• 数据委员会（ data council ）负责数据治理计划的总体战略方向。它将DMO和领域领导者聚集在一起，审查进展，授权资金，并解决有效治理的问题和障碍。

4.埃克森（Eckerson）

埃克森集团在其拟议的数据治理框架中有六层和39个组成部分。让我们看看其中的一些层次：

• 目标和标准（Goals and standards）说明了为什么以及如何实施数据治理计划。
• 流程（Processes ）确保数据治理计划达到其最终目标。这可以是从确保质量和准确性到编目元数据的任何内容。
• 文化（Culture ）促进了一个没有任何冲突的协作、数据民主化和透明度的环境。

该框架的独特之处在于，它通过定义数据所有者、管理者、策展人（curators）和利益相关者等角色，将人们置于数据治理的核心，以概述他们在访问、使用和更改数据时的角色和责任。

这是因为：

“现实是，我们不管理数据。我们管理人们在处理数据时的行为。”

Eckerson Group’s modern data governance framework. Source: Eckerson

5.普华永道

普华永道企业数据治理框架（PwC enterprise data governance framework）将DAMA DMBOK和DGI等传统模型进一步考虑到下一代数据环境。

普华永道在其数据治理框架标准中包括五个组成部分，首先是数据治理战略，然后是涵盖数据生态系统所有方面的管理层。

生命周期管理层涵盖了确保数据在整个生命周期中实现精简流所需的所有策略。管理层侧重于实施治理，而治理推动者考虑到了确保有效治理所涉及的人员、流程和技术。

6.德勤

德勤表示，未来的数据治理是“最大限度地提高数据在运营效率、决策和监管要求方面的价值，并最大限度地降低与数据管理不善相关的风险。”

• 指导数据治理和数据管理的政策和原则
• 建立数据治理角色和职责的组织
• 概述如何创建、修改和维护数据的过程
• 制定工具、建模和数据架构实现的工具和技术
• 治理控制定义了衡量数据治理有效性的指标
• 德勤还建议持续监控和改进数据治理框架。

数据治理框架最佳实践

如果您研究最流行的数据治理框架模板，以下是它们的共同点：

• 他们从“为什么”开始——数据治理的目标
• 目标之后是“什么”-什么数据得到管理
• 然后是“如何”——如何管理这些数据，以及所涉及的流程、人员和工具是什么

在另一篇博客中，我们深入讨论了一些数据治理的最佳实践。请阅读此处。

现在，让我们探讨如何创建一个数据治理框架，同时考虑到它的支柱和基本组件。

如何创建数据治理框架？

以下是帮助您创建数据治理框架的五个步骤：

1. 重新审视您对数据治理的定义
2. 识别和定义数据域
3. 确定域数据所有者和消费者
4. 验证并记录有关数据的所有内容
5. 对每个域进行数据安全和风险评估

让我们进一步探索每一步。

步骤1。重新审视您对数据治理的定义

数据治理是一个不断发展的项目，这就是为什么在制定框架之前，您应该重新审视并质疑您的数据治理理念。

Snowflake提到：随着数据量的增长，新的数据流的出现，新的访问点的出现，您需要一个定期审查数据治理结构的策略，本质上是对数据治理过程的治理。

在重新审视数据治理的定义时，您应该问以下一些问题：

• 数据治理的目的是什么？
• 它是否涵盖整个组织的所有数据资产？
• 治理是否也促进了整个组织的数据共享和协作？

步骤2。识别和定义数据域

由于数据治理框架应涵盖所有数据资产，因此下一步是在整个组织中识别和标准化数据域。您可以拥有与生成数据的每个功能相对应的域，如财务、市场营销、销售等。

以下是您应该问的一些问题：

• 在我们的组织中，哪些是突出的数据域？
• 他们生成了什么数据？
• 这些数据现在在哪里？
• 谁使用这些数据？

步骤3。确定域数据所有者和消费者

现代数据治理的一个关键原则是共享数据责任。因此，每个创建数据的域都有责任对其进行管理，并确保其安全性、完整性和隐私性。

这就是为什么下一步是为每个域分配数据所有者，并了解其数据消费模式，以确保合适的人能够访问他们需要的数据。

以下是一些让您开始学习的问题：

• 谁在每个域中创建数据？
• 谁在使用这些数据以及如何使用这些数据？他们的日常工作流程是什么样子的？
• 当前访问域数据的依赖关系是什么？

步骤4。验证并记录有关数据的所有内容

到了这个阶段，您必须对组织内的数据流有一个清晰的概念。下一步是通过记录所有内容来标准化数据域定义、数据流规则和工作流、访问策略等。

文件应说明以下内容：

• 数据来源于何处？
• 这是什么意思？
• 它是如何在您的组织中流动的？
• 它是否有助于域实现其目标？
• 它是否支持您组织的业务成果？

记录和共享所有这些信息的一个好方法是建立一个现代数据工作区，该工作区使用活动元数据来保持文档的相关性、新鲜性和有用性。

步骤5。对每个域进行数据安全和风险评估

最后一步是建立流程，对每个域进行频繁的数据安全和风险评估。这是因为启用数据治理是一段旅程，而不是一次性的项目实现。

你应该先问问自己：

• 对于来自每个域的数据，现有的数据访问策略和安全检查是什么？
• 谁被允许访问哪些数据，为什么？
• 这些策略是否可以在不造成数据发现、访问和协作瓶颈的情况下降低风险？

一旦您完成了这些步骤，您就应该能够开始构建一个去中心化、社区主导的数据治理框架，该框架适用于您组织中的每个人。

数据治理框架读者也提出了以下问题

问题1：什么是数据治理框架？

回答：

数据治理框架是一种定义良好的结构，用于指导组织中数据治理的实施。它是数据治理程序的基础。它应该提供如何确保数据资产的质量、完整性、安全性、可发现性、可访问性和可用性的清晰可视化。

Q2：如何创建数据治理框架？

回答：

您可以通过以下5个步骤创建数据治理框架：

• 步骤1。重新审视您对数据治理的定义
• 步骤2。识别和定义数据域
• 步骤3。确定域数据所有者和消费者
• 步骤4。验证并记录有关数据的所有内容
• 步骤5。对每个域进行数据安全和风险评估

问题3：数据治理的三大支柱是什么？

回答：

以下是定义现代数据治理框架的三大支柱：

• 支柱#1-包括所有数据资产的治理
• 支柱#2-从业者主导的自下而上的方法
• 支柱#3-嵌入日常工作流程的治理实践

总结

实施一个坚实的数据治理框架需要对组织创建、感知和使用数据的方式进行实质性的改变。

Cognopia（一家为财富500强公司提供数据驱动业务转型建议的公司）的数据领导者兼首席执行官Neil Burge称治理是一项企业变革计划：

“如果你即将启动一项数据治理计划，花一些时间了解你需要参与的人，以实际制定和执行数据规则。你正在改变人们在数据方面的行为，改变他们日常工作中使用的流程，以及你要求他们每天承担的任务。”

这就是为什么必须开发一个自下而上、由从业者主导的数据治理框架，并通过定期审查和评估不断改进它。

现代数据堆栈的轻松数据治理

整个数据管理领域正在经历一场范式转变。

数据世界正在慢慢地围绕着处理大量数据的最佳工具，也就是“现代数据堆栈”

“现代数据堆栈”的数据治理需要重新思考。