这是关于数据治理的两部分系列文章的第一部分。在这里阅读关于在实现数据网格驱动的治理时需要考虑的事项的第二部分。
数据无处不在，正如人们渴望利用它一样。而且，组织越来越认识到它的潜力。数据生产呈指数级增长，其复杂性也是如此。以下趋势正在推动组织如何利用数据：
- 喜欢在决策中使用数据的庞大用户群
- 合作伙伴生态系统与其他组织的数据交换以及平台的出现
- 法规的复杂性和收紧性
- 越来越多的业务用户正在消费数据，同时通过降低技术壁垒来减少数据延迟
这些趋势也带来了一些挑战，我们将其归类为外部和内部风险。
数据管理的外部风险
- 安全和隐私：组织负责保护数据主体的安全和隐私。不这样做代价高昂——数据泄露的全球平均成本为386万美元，数据泄露中每个丢失或被盗记录的平均成本为1.5亿美元。
- 合规性：一个全球性组织需要遵守其运营所在所有国家的法规。这些法规可能多种多样，有时甚至相互矛盾。除了正在出现的许多新法律之外，还有一些特定于数据的法规，如GDPR、CCPA等。不合规可能代价高昂。
- 品牌和声誉：事件发生三年后，数据泄露公司的股价平均比纳斯达克指数低13%。除此之外，他们还有更大的社会责任义务。
内部生产力挑战和治理风险
- 信任：最大的挑战是数据发现和信任。当很难找到存在的数据、以前是如何使用的、来自哪里等时，用户往往不太信任它。为了满足业务的生产力需求，数据应该易于访问、可发现和值得信赖。
- 治理风险：了解谁访问数据、他们对数据做什么、他们把数据放在哪里以及数据如何在下游被消费是至关重要的，因为这会直接影响数据的安全性。
为了克服这些挑战并充分利用数据的潜力，组织需要稳健的数据治理。
良好的治理需要平衡和调整，如果做得好，它可以在不损害安全的情况下推动数字创新。
格雷戈里·维亚尔
蒙特利尔高等商学院信息技术助理教授
了解数据治理
数据治理是一种数据管理功能，可确保组织收集的数据的质量、完整性、安全性和可用性。良好的数据治理可以：
- 遵守安全和治理誓言
- 对数据提供高效、透明的控制
- 促进和支持联合交付
- 使数据可见且值得信赖
- 去中心化数据所有权
传统上，数据治理是一种集中式功能，但数据网格范式需要联邦数据治理来支持数据的分布式域驱动架构和产品思维。最重要的是，它可以通过两个基本框架确保对数据的信任，包括可发现性、安全性和问责制：数据目录和数据质量。
联邦数据治理的关键原则
数据目录
数据目录是作为元数据清单的数据描述，为用户提供评估数据可访问性、健康状况和位置所需的信息。它们帮助用户定位相关数据并绘制清晰的数据表示。为了提高效率，组织需要自动化、可扩展和分布式的数据目录。这包括：
- 技术元数据：描述数据对象的组织和结构，如表、事件、对象、属性及其类型、长度、索引和连接
- 所有权：捕获数据关系和来源的信息
- 数据沿袭：促进分布式发现，包括具有映射上游和下游依赖关系的自动化表的字段级沿袭
- 业务术语表：提供对关键业务概念、术语及其之间关系的一致理解
数据质量
自助服务数据质量使组织能够定义和实施质量规则。数据质量的差距导致缺乏可信度，并因暗数据资产而失去机会。而高质量的数据能够：
- 数据发现和信任
- 避免数据偏斜
- 自动错误检测
- 视觉沿袭
- 授权最终用户导出、报告和编辑规则
- 假定企业安全问题
- 筒仓破碎
数据所有权
数据治理不仅仅是一种技术实现。这是一种由数据管理员、数据产品经理和数据域所有者促成的文化变革。为了成功过渡到数据所有权，Vial提出了三种基本机制：
- 包括组织要素的结构机制，如设立特殊角色、官方政策和规则
- 组织用于确保遵守结构机制的程序性机制，如数据审计和审查。我们还将为这个桶增加激励措施
- 包括沟通和非正式员工辅导等关键活动的关系机制
随着数据量、种类和速度的增加，新的挑战也将出现。在动态环境中遵守法规遵从性要求将更加复杂。工具的集成可能会变得困难，通常与组织需求不兼容。此外，变更管理可能需要时间。
组织需要一种战略方法来实施组织范围内的计划，同时考虑到以上所有因素。在这个由两部分组成的数据治理系列的下一个版本中，我们将探讨如何成功地做到这一点。
