【数据架构】具有数据治理的数据体系结构：一种主动的方法

全球数据战略E.M.E.A.首席顾问Nigel Turner在DATAVERSITY®企业数据治理在线会议上表示：“数据架构是业务战略的实际实施。”。“这是整个连续体的关键部分，您需要在组织内建立它来有效地管理数据，”数据治理在这些战略和业务中的实际实施之间形成了重要的桥梁。

数据架构：它是什么？

DAMA DMBoK2表示，数据架构“通过与组织战略保持一致来定义管理数据资产的蓝图，以建立战略数据需求和满足这些需求的设计。”Turner指出了这一定义的三个关键部分，第一个是“蓝图”一词。”“这意味着，任何没有实施计划的数据架构都可能会被搁置，直到永恒的迷雾升起。”

第二个关键部分是“与组织战略保持一致”。他说，数据架构必须与业务目标以及数据如何支持这些目标直接联系起来。第三部分是关于建立战略数据需求。因为“任何有效的数据架构都必须具有前瞻性。”

他引用了Donna Burbank和Charles Roe的一份题为《数据架构趋势》的DATAVERSITY研究报告，指出了对“什么是数据架构？”

“我们在数据管理中遇到的问题之一是，如果你采用任何数据管理概念、术语或学科，不同的人会以不同的方式定义它。”

无论如何定义，数据架构都必须有一些具体的可交付成果，例如规范、不同抽象级别的主设计文档，以及数据通过系统的所有容器和路径的描述。他说，如果没有这些可交付成果，“那么很明显，你实际上并没有为企业提供任何有价值的东西。”

数据架构的典型可交付成果

标准交付物包括：

• 关于数据使用的政策、指导原则、使用意向声明和问责机制
• 数据模型，包括企业概念模型、逻辑数据模型、物理数据模型和特定于应用程序的逻辑数据模型
• 数据目录
• 数据源清单
• 主数据或参考数据，以及哪些数据被广泛共享
• 定义的关键数据，包括词汇表、词典、定义和应用标准
• 元数据及其管理方式
• 数据沿袭和流经系统
• 实施路线图

“如果你把所有这些东西都准备好了，你就有很大的机会获得一个可行的数据架构。”

数据架构：如何失败

• 试图设计一个包含管理、处理、收集和存储一切的架构：“避免让海洋沸腾。将你的架构集中在对你的业务运作至关重要的事情上。”
• 完全由IT部门管理、驱动和设计的数据架构最终可能成为新技术的购物清单，而不是支持业务战略的计划。“恕我直言，IT部门的人并不总是最了解数据如何支持业务战略的人，因此也不了解架构需要如何发展才能实现这一点。”
• 如果没有高级管理层的积极支持，无论是在业务还是IT方面，都不太可能取得成功。“它不应该只被组织中的人领导和开发。”
• 如果您的架构过于复杂，那么它不太可能保持最新。特纳分享了一个关于他作为顾问合作过的一家公司的故事。该公司有一个非常详细的数据模型，覆盖了整个房间的墙壁。他们为这个模型感到非常自豪，但在几年的时间里，特纳注意到同一个模型在同一面墙上，没有变化，这意味着它只用于墙壁装饰。
• 长期规划很重要，但不要忽视具体的短期效益。他说，“如果你没有硬性的可交付成果，数据架构仍然是一个梦想。”建立一些快速的胜利。

正确使用数据架构

有效的数据架构的关键特征包括数据战略，该战略与业务驱动因素保持一致，以基本数据为目标，划定明确的活动和里程碑，并且足够灵活，可以随着业务需求和可用技术的发展而发展。最重要的是，架构必须是可管理的。“你永远不可能把所有的数据都整理出来。你需要专注于真正有意义的事情。”

制定数据战略

Turner概述了数据战略的简单路径。从业务战略开始，确定哪些数据对支持该战略至关重要。评估你所拥有的数据，并决定它是否符合任务要求，如果不符合，则决定需要什么来改进它。Turner指出，改进可能需要来自业务方面，而不是完全来自it。例如，如果每个部门都使用不同的代码或术语来表示“客户”，“那么这显然会影响业务战略，而业务战略可能需要改变以适应这一障碍。”

今天的数据：范围、规模和复杂性

在过去的十年里，公司和组织处理的数据量显著增加。目前存储的所有数据中，90%是在过去两年中创建的。换句话说：

“地球上有2.5万亿粒沙子。顺便说一句，5万亿粒是18个零后的1。每天创建的数据字节数是这个数字的三倍。因此，这一范围和规模绝对是惊人的。”

然而，这不仅仅是范围和规模的问题，他说。复杂性也是一个因素。因为很多公司还没有掌握基本知识——数据管理、数据质量，以及确保使用的数据符合预期目的——“忘记未来所有的新技术。这就是今天的现实。”

数据架构的业务驱动因素

商业智能和数据科学是数据架构的驱动力，因为它们是IT领域的强劲增长领域。与此同时，成本降低、效率提高和法规遵从性也给改善数据治理带来了压力。他说，另一个原因是，“我怀疑，大多数组织的数据管理现状仍然很差。”

他引用了去年发表在《哈佛商业评论》上的一项研究。研究人员调查了75家公司，要求这些公司的高管检查关键系统中一系列记录的准确性，这些记录被认为是公司高效运营的关键。“结果真的非常令人震惊，”他说，因为一百张唱片中只有三张是没有错误的。“在这75家公司检查的所有记录中，97%的记录中存在一些严重错误，这可能会影响业务绩效。”

特纳表示，数据湖的最大问题是缺乏有效的数据治理。缺乏一致的数据定义和元数据，因此当人们访问这些数据湖中的数据时，“他们根本不知道这意味着什么。”

他说，那些为了从数据中寻找见解而获得高薪的数据科学家，却把大部分时间花在了较低级别的任务上，只是为了让数据处于可用状态。

“大数据和分析带来的所有巨大希望，加上公司现在正在收集的所有这些数据，只有不到1%的数据被实际使用。”

他将目前的情况比作灭火过程，而不是创造一种积极主动的方法来预防火灾。我们需要的是一个连贯有效的数据架构，并专注于识别问题、创建解决方案和建立预防性、主动性的治理。“换句话说，你要阻止火灾的发生，而不是等到火灾发生后再采取被动的方式灭火。”

数据治理：从被动转向主动

Turner分享了Global Data Strategy对数据治理的定义：这是一个由企业主导的持续改进数据的过程，有利于所有数据利益相关者。尽管最初的实施可能是从一个项目开始的，但“最终，你要确保它作为一个业务流程在后台运行，实际上，与所有其他业务流程一起运行。”

数据治理的七项关键原则

• 必须主动管理数据
• 业务部门应负责领导治理工作
• 业务部门必须设置改进数据的优先级、重点关注哪些数据以及应该产生哪些影响
• 数据所有者必须对关键数据负责
• 数据管理员负责数据改进
• IT提供了在物理世界中实现数据治理的技术
• 组织中的每个人都必须作为任何数据治理活动的一部分

“每个组织都需要数据架构，但它需要应用的程度和位置因组织而异，没有人比治理专业人员更适合帮助架构师做出这些决策。”

他说，数据治理和数据架构相互支持和加强。Turner分享了一张幻灯片，概述了数据治理和数据架构之间的协同作用，强调了两者的关键优势。

数据管理员能够识别关键数据以及这些数据的状态如何影响业务，这有助于确定架构的优先级和发展。数据所有者应该向业务规则通知随后在架构中实现的数据。所有者和管理者处于一个很好的位置，可以充当拥护者，帮助架构师为数据架构的更多投资建立一个案例，因为“他们将了解数据缺陷的当前影响，以及以更结构化的方式管理数据的重要性，”他说。

数据架构可以通过在物理层面上制定治理策略来支持数据治理，从而使其能够在现实世界中实现，而不仅仅是作为抽象的想法。数据模型可以说明哪些数据需要治理，并可以突出参考数据集和主数据集，Turner说，“需要在组织内最紧密地管理和拥有这些数据集。”数据架构有助于围绕关键数据建立业务和IT共识，确保业务与IT合作执行确定的优先事项。

使数据治理与数据架构保持一致

特纳说，从哪里开始并不重要。重要的是，数据架构和数据治理的学科结合在一起，形成了一个持续的改进周期，确保“您的数据越来越好，并根据业务需求不断发展。”

特纳以一张卫城的照片结束了他的演讲，以说明持久建筑的重要性。为了建造一座能持续2500多年的神庙，希腊人花了很多时间来平整和准备它所在的山丘的地基。

“任何希望在数据方面也这样做的组织，换言之，都应该认识到，你需要数据架构和数据治理，他们需要共同努力，为未来奠定基础。”

想了解更多关于DATAVERSITY即将举办的活动的信息吗？点击此处查看我们目前的在线和面对面会议。