【数据架构】揭开数据架构的神秘面纱-DATAVERSITY

Ludwig Mies van der Rohe说：“当你小心地把两块砖放在一起时，架构就开始了”，而数据架构则从创建、存储和把两个或多个字符放在一起开始，无论是记录、电子邮件、图片、音频还是视频。这与最初关于数据架构的想法产生了很好的共鸣，因为它是由事物、这些事物的功能以及这些事物如何相互关联组成的。然而，从“事物”开始是有局限性的。

在20世纪90年代，数据架构需要一位技术专家，比如IT人员和/或SQL专家，来创建一个新的数据库并维护或修复现有的数据库。许多企业在这种方法中遇到了效率低下的问题，包括存储数据量增加、数据库种类增加、难以集成新技术以及部门中孤立的数据。

公司认识到，需要数据架构来利用和管理数据以获得战略优势。许多组织将平台、技术和工具集合在一起。对于一个特定的集成项目来说，这可能是一个很好的一次性项目。但随着公司的发展、变化和新服务的实施，“数据串”变得令人头疼。由于连接数据所需的信息缺失，技术实施受阻或延迟。

数据架构看起来像意大利面条，纠缠不休。虽然这使许多质量保证和软件测试人员得以解决数据和技术问题，但它影响了公司并造成了延误。

为了揭开数据架构的神秘面纱，一个成功的数据架构概念需要正确的技术来完成正确的工作。尤其是当组织将数据视为推动数字化业务转型的核心资产，从而实现更好的分析和理解时。

正如全球数据战略的Donna Burbank所说，“事情越复杂，你就越需要简单地制造它们。”Mies van der Rohe相信“少即是多。”这句口头禅也适用于数据架构。

数据架构来自数据策略

数据架构解释了如何以及创建什么来满足定义的结果，而不是如何使用数据来推动更好的业务。数据策略可以做到这一点。根据Donna Burbank的说法：

“这是一个利用现有产品线更好地营销、更好地开发、利用它来改善客户服务或360度了解客户的机会。数据战略是由组织的整体商业战略和商业模式驱动的。”

想想看：在不知道组织提供什么服务、向谁提供服务或市场目标、如何组织和管理以及财务目标的情况下，为新企业设计或修改架构有意义吗？不，制定商业计划会更有效率。

同样，公司需要有一个关于创建和维护数据基础设施的高级视图，以获得所需的业务影响。该数据战略理想地产生了一系列解决方案，解决了所有业务功能的性能问题，并与包括数据架构在内的业务战略保持一致。Algmin Data Leadership的Anthony Algmin表示，这一切都是为了建立基础设施，以产生数据战略中确定的业务影响。数据架构为制定良好的数据策略提供了信息。

数据架构需要数据治理

虽然数据战略将业务需求和规划结合起来，以指导创建什么样的数据架构以及如何创建数据架构，但数据战略可以根据不同的观点以不同的方式进行解释。每个人都可以创建自己的数据架构变体，以满足数据策略并保持正确，就像五个人可以从自己独特但有限的角度看到大象一样。数据治理需要正式地将数据实践和流程结合在一起，以确保一致、合法和有价值的数据使用。数据架构只指导一个组件，即数据技术基础设施。

数据架构既是一个技术决策，也是一个业务决策，因为新的业务模型和全新的工作方式都是由数据和信息驱动的。它必须与运营技术、流程、人员和组织文化建立联系。这些概念是相互关联的。然而，数据架构师的技术规范在理解这些组件方面会受到限制。数据治理提供了更广泛的总体框架，包括合规性和安全性以及角色和责任。

这样想区别：数据架构师创建一个查找表。如果员工在前期输入的客户数据不正确，就会影响下游流程。数据治理确定了这个问题并寻找解决方案。或者，数据架构师可以提出一个由治理过程创建的查找表，该表可以通过更容易地正确输入客户数据来支持引用完整性。随着业务的发展和变化，数据架构（如图中虚线箭头所示）、人员和流程之间的对话仍在继续。

数据架构与数据建模的联系

从最广泛的意义上讲，数据架构会问，“作为一家企业，我们试图做什么？”然后从所有不同的技术来看，“什么最适合这个目的，它们如何协同工作？”

它产生了结果：不同级别的模型、定义和数据流，通常被称为数据架构工件。它包括技术和基础设施设计，以及财务决策，如选择购买与构建数据系统。它还包括影响企业数据架构的各种角色之间的合作、心态和技能等行为。具体而言，这意味着操作和开发数据架构，并了解数据生态系统；架构人员依靠数据流图、数据模型和过程模型来实现这一点。

虽然数据架构通过包括用于描述现有状态、定义数据需求、指导数据集成和控制数据资产的规范，将业务战略和技术执行联系起来，但它并没有特别关注数据关系。数据建模就是这样做的。它记录、定义、组织并显示给定数据库、架构、应用程序或平台内的数据结构是如何在给定系统内以及其他系统之间连接、存储、访问和处理的。

数据模型使组织能够通过实体、关系和属性等核心构建块来了解其数据资产。数据建模人员映射这些信息，并与数据架构师共享这些信息，如图中虚线所示。这样，架构师就可以在放置正确的机制以支持业务成果方面做出更好的决策。这可以是从数据系统、数据仓库到可视化工具的任何东西。

良好的数据架构带来的好处

更快的集成：GoodData Architecture提供了几乎无缝的数据集成，将分散的信息以统一的格式汇集在一起，以便利益相关者能够获得更好的业务见解。整合包括：从一个地方迁移到另一个地方；将不断变化的数据转换为另一种形式、状态或产品；将不同的系统连接到一个融合的架构中，将应用程序模式的全部或部分应用到一个架构中以获得单一版本的真理，从而培养创造力并刺激创新。

更好地使用稳健的工具和平台：数据架构师拥有一系列技术，可以快速有效地提供良好的数据，例如云计算与边缘计算。良好的数据架构可以筛选这些，考虑SQL的健壮性、内置优化、动态弹性、动态环境自适应、计算与存储之间的权衡，以及对不同数据的支持。创建和理解数据架构的工作有助于理解所有这些。

更容易适应新兴技术：数据架构从战略上为组织快速发展其产品、服务和数据做好准备，以有效利用新兴技术。企业面临着提高应用程序和服务性能的压力。架构师已经考虑并使用云、物联网（IOT）和NoSQL数据库等新兴技术。即将推出的热门技术包括Graphql（一种承诺更快查询数据并允许用户进行更丰富定制的引擎）、机器学习和人工智能。但如果没有数据架构计划，这项新技术就无法发挥作用，该计划由数据战略指导，并与数据治理保持一致。

结论

McKnight咨询集团总裁William McKnight表示，在新兴数据技术的不断发展中，信息架构在建立秩序方面发挥着关键作用。Gartner已经在《为机器学习准备和构建架构》一书中指出，当端到端数据和分析架构没有经过优化以与底层分析平台互操作时，为ML管道准备数据面临挑战。

换句话说，如果没有连贯的手段来利用业务数据，复杂、移动、不相关的数据架构将使公司很难考虑机器学习。让数据架构朝着少即是多的方向发展，打下坚实的基础。正如Donna Burbank所说，“人们想获得新的东西，他们意识到如果不首先建立基础，他们就无法实现。”