【数据治理】数据架构与数据治理：一种主动的方法

“数据架构是业务战略的实际实施，”全球数据战略E.M.E.A.首席顾问奈杰尔·特纳（Nigel Turner）在DATAVERSITY®企业数据治理在线会议上表示。“这是整个连续体中的一个关键部分，您需要在一个组织内构建，以有效地管理数据，”数据治理在这些战略和它们在业务中的实际实施之间形成了一个重要的桥梁。

数据架构：它是什么？

DAMA DMBoK2表示，数据架构“通过与组织战略相一致来定义管理数据资产的蓝图，以建立战略数据需求和满足这些需求的设计。”特纳指出了这一定义的三个关键部分，第一个是“蓝图”一词。“这意味着，任何没有实施计划的数据架构都可能会被搁置，直到永恒的迷雾升起。”

第二个关键部分是“与组织战略保持一致”。他说，数据架构必须与业务目标以及数据如何支持这些目标直接相关。第三部分是建立战略数据需求。因为“任何有效的数据架构都必须具有前瞻性。”

他引用了唐娜·伯班克（Donna Burbank）和查尔斯·罗（Charles Roe）撰写的题为《数据架构趋势》（Trends in Data Architecture）的DATAVERSITY研究报告，指出了对“什么是数据架构？”

“我们在数据管理中遇到的一个问题是，如果您采用任何数据管理概念、术语或规程，不同的人会以不同的方式对其进行定义。”

无论它是如何定义的，数据架构都必须有一些具体的可交付成果，例如规范、不同抽象级别的主设计文档，以及数据通过系统的所有容器和路径的描述。如果没有这些可交付成果，他说，“那么很明显，你实际上并没有为企业提供任何有价值的东西。”

数据架构的典型交付成果

标准可交付成果包括：

• 关于数据使用的政策、指导原则、使用意向声明和责任机制
• 数据模型，包括企业概念模型、逻辑数据模型、物理数据模型和特定于应用程序的逻辑数据模型
• 数据目录
• 数据源清单
• 主数据或参考数据，以及哪些数据被广泛共享
• 定义的关键数据，包括词汇表、字典、定义和应用的标准
• 元数据及其管理方式
• 系统中的数据沿袭和流动
• 实施路线图

“如果你把所有这些都准备好了，你就有很大的机会得到一个可行的数据架构。”

数据架构：如何失败

尝试设计一个包含管理、处理、收集和存储所有内容的架构：“避免让海洋沸腾。将架构重点放在对您的业务运作和运营至关重要的事情上。”

完全由IT部门管理、驱动和设计的数据架构最终可能成为新技术的购物清单，而不是支持业务战略的计划。“就IT部门的人员而言，他们并不总是了解数据如何支持业务战略的最佳人选，因此也不知道架构需要如何发展才能实现这一点。”

如果没有业务和IT方面的高级管理层的积极支持，成功是不可能的。“它不应该只被组织中的人领导和开发。”

如果您的架构过于复杂，它不太可能保持最新。特纳分享了一个他作为顾问合作的公司的故事。该公司有一个覆盖整个房间墙壁的非常详细的数据模型。他们对这一模型感到非常自豪，但在几年的时间里，特纳注意到同一个模型位于同一面墙上，没有变化，这意味着它除了用于墙壁装饰之外，没有其他用途。

长期规划很重要，但不要忽略具体的短期利益。他说，数据架构“如果你没有硬性的可交付成果，它仍然是一个梦想”。

正确构建数据架构

有效的数据架构的关键特征包括数据策略，该策略与业务驱动因素一致，以基本数据为目标，描绘清晰的活动和里程碑，并且足够灵活，能够随着业务需求和可用技术的发展而发展。最重要的是，架构必须是可管理的。“你不可能到处整理你的所有数据。你需要专注于真正有意义的事情。”

制定数据策略

特纳概述了数据战略的简单路径。从业务战略开始，确定哪些数据对支持该战略至关重要。评估您所拥有的数据，并决定它是否能够完成任务，如果不能完成，则决定需要什么来改进它。Turner指出，改进可能需要来自业务方面，而不是完全来自IT。例如，如果每个部门都使用不同的代码或术语来表示“客户”，“那么这显然会影响业务战略，而业务战略可能需要改变以适应这种障碍。”

今天的数据：范围、规模和复杂性

在过去十年中，公司和组织正在处理的数据量显著增加。目前存储的所有数据中，90%是在过去两年中创建的。换句话说：

“地球上有2.5万亿粒沙子。顺便说一句，5亿粒沙子是一个十八个零之后的数字。每天产生的数据字节数是这个数字的三倍。因此，这一数字的范围和规模绝对是惊人的。”

但他说，这不仅仅是范围和规模。复杂性也是一个因素。因为许多公司还没有掌握数据管理、数据质量以及确保使用的数据符合预期用途等基本知识，“忘记未来的所有新技术。这就是今天的现实。”

数据架构的业务驱动因素

商业智能和数据科学是数据架构的驱动力，因为它们是IT领域的强劲增长领域。同时，成本降低、效率提高和法规遵从性也给改善数据治理带来了压力。他说，另一个原因是，“我怀疑，大多数组织的数据管理现状仍然相当糟糕。”

他引用了去年发表在《哈佛商业评论》上的一项研究。研究人员对75家公司进行了调查，要求这些公司的高级管理人员检查一系列关键系统记录的准确性，这些系统被认为是公司高效运营的关键。“结果真的非常令人震惊，”他说，因为一百张记录中只有三张是没有错误的。“在这75家公司检查的所有记录中，97%的记录中存在一些可能影响业务绩效的关键错误。”

特纳表示，数据湖的最大问题是缺乏有效的数据治理。缺乏一致的数据定义和元数据，因此当人们访问这些数据湖中的数据时，“他们根本不知道这意味着什么。”

他说，那些拿着高薪从数据中发现真知灼见的数据科学家们，却把大部分时间花在了较低级别的任务上，只是为了让数据处于可用状态。

“大数据和分析带来了巨大的希望，公司现在正在收集所有这些数据——实际使用的数据不到1%。”

他将当前的形势比作救火过程，而不是创造一种预防火灾的积极方法。我们需要的是一个连贯有效的数据架构，并专注于识别问题、创建解决方案和构建预防性、主动性治理。“换言之，你要阻止火灾的发生，而不是等到火灾发生后，再以反应性的方式进行扑救。”

数据治理：从被动转向主动

特纳分享了《全球数据战略》对数据治理的定义：一个以业务为主导的持续改进数据的过程，造福于所有数据利益相关者。尽管最初的实现可能从一个项目开始，但“最终，您要确保它作为一个业务流程在后台运行，实际上，与所有其他业务流程一起运行。”

数据治理的七项关键原则

• 必须主动管理数据
• 企业应负责领导治理工作
• 业务部门必须确定改进数据的优先级、关注哪些数据以及应该产生哪些影响
• 数据所有者必须对关键数据负责
• 数据管理员负责数据改进
• IT提供了在物理世界中实现数据治理的技术
• 组织中的每个人都必须作为任何数据治理活动的一部分

“每个组织都需要数据架构，但应用数据架构的程度和位置因组织而异，没有人比治理专业人员更适合帮助架构师做出这些决策。”

他说，数据治理和数据架构相互支持和加强。特纳分享了一张幻灯片，概述了数据治理和数据架构之间的协同作用，并强调了两者的关键优势。

数据管理员能够识别关键数据以及这些数据的状态如何影响业务，这有助于确定架构的优先级和发展。数据所有者应向业务规则通报随后在架构中实现的数据。所有者和管理者处于一个很好的位置，可以成为拥护者，帮助架构师为更多的数据架构投资创造条件，因为“他们将了解数据不足的当前影响，以及以更结构化的方式管理数据的重要性，”他说。

数据架构可以通过在物理层面上制定治理策略来支持数据治理，从而使其能够在现实世界中实现，而不仅仅是作为抽象概念。数据模型可以说明哪些数据需要治理，并可以突出参考数据集和主数据集，Turner表示，“需要在组织内进行最密切的管理和拥有。”数据架构有助于围绕关键数据建立业务和IT共识，确保业务与IT合作以执行确定的优先事项。

使数据治理与数据架构保持一致

特纳说，从哪里开始并不重要。重要的是，数据架构和数据治理的学科结合在一起，形成一个持续的改进周期，确保“您的数据正在变得更好，并根据业务需求不断发展”

特纳以雅典卫城的照片结束了他的演讲，以说明持久建筑的重要性。为了建造一座能持续2500年以上的神庙，希腊人花费了大量时间平整和准备它所在的山丘的地基。

“任何希望在数据方面做到这一点的组织，换句话说，创建一个持久、持久的数据驱动业务，都应该认识到，您需要数据架构和数据治理，他们需要共同努力，为未来奠定基础。”