随着企业腾空办公场所并将其运营向天空迁移，云数据架构可以提供长期的灵活性，以改善工作流程、成本和安全性。

实施云数据架构的企业可以加速数据洞察并降低IT成本，但如果数据架构设计和管理不当，云的潜在好处可能会带来新的问题。

例如，云提供了启动新数据平台和快速扩展系统以处理大型处理作业的灵活性。然而，如果用户被授权创建低效的数据过程，消耗的资源超过了必要的资源，那么成本可能会很高。同样，当使用云服务并遵循建议的做法来处理和管理数据时，可以提高数据安全性。但是，云数据架构可能会引入安全漏洞，而更熟悉运行本地工作负载的IT员工可能会错过这些漏洞。

尽管存在这些问题，但即使尝试基于云的数据架构，也可以获得切实的好处。实验可能允许数据管理和分析团队探索现有系统不实用的突发用例。如果事情不成功，很容易终止一个不成功的实验，然后继续进行云中的下一个项目。

为什么要构建基于云的数据架构？

全球管理咨询公司AArete的董事总经理John Carey表示，云可以在成本、安全性、工具和数据本地化方面改善企业的数据服务。云服务可以进行时间管理，这可以使需要零星服务的应用程序受益。云服务中包含了许多安全功能，有助于加强数据安全，云提供商提供了帮助管理这些服务的工具。

DataOps平台DataKitchen的首席执行官、创始人兼主厨Chris Bergh表示，云可以加速数据工作流程，并补充说，基础设施成本节约通常只是管理良好的数据迁移项目的一小部分。“云迁移的一个更令人兴奋和更有影响力的目标，”他推测，“是提高业务灵活性。”

云数据架构可以在流数据服务的实现中发挥关键作用。it咨询公司Saggezza的数据分析经理Suyash Karanwal指出：“流媒体技术最好在云上实现，因为它需要快速且可扩展的架构来满足数据流不断变化的需求。”。随着公司越来越多地采用流媒体技术，弹性数据架构可以动态、自动地适应业务需求。

关于在云中构建数据架构的提示

数据架构师在规划、构建和最大化云数据架构的好处时，需要实现几种最佳实践。

• 从一个商业案例开始。技术咨询公司West Monroe的商业咨询和转型高级合伙人Craig Wright表示，组织通常可以在不考虑解决业务问题的最佳数据架构的情况下匆忙达成云协议。从业务用例开始，选择与之一致的云组件，并定义每个组件在创造业务价值中的作用。这种做法可以更容易地评估云迁移的成本和收益。
• 实验和测试。有数百种甚至数千种可用的技术和数据体系结构模式。数字化转型咨询公司Ahead的云和DevOps首席专家Cooper Lutz建议：“不要犹豫，可以尝试多种选择。”。测试一个新想法，如果不成功就关闭它，这可能相对便宜。一旦你找到了一种有效的方法，就使用它，并允许它随着时间的推移而发展。
• 驯服非结构化数据。转向云数据架构为探索非结构化数据用例提供了机会。托管云提供商Syntax美洲地区首席技术官Mike Rulf表示：“基于云的数据架构非常适合处理社交媒体订阅源等非结构化数据或XML文档和消息等半结构化数据。”。基于云的工具可以解锁有趣的关系，并有助于消除与定义数据立方体和传统数据仓库平台所需的其他结构相关的许多工作。
• 专注于数据工作流程。DataKitchen的Bergh认为，增加数据货币化的最佳策略是关注云数据架构如何改进数据工作流程，而不是数据管理工具和技术。他建议采用有助于评估云服务如何最大限度地减少数据分析应用程序的周期时间的指标。
• 平衡数据需求与成本。在云计算中，成本很容易失控。自助服务数据和分析平台制造商1010data的首席技术官Terri Sage表示：“将所有数据保持在最高性能级别的成本很高，因此您需要确定什么流程需要什么数据，以及何时从云资源中获得最高回报。”。最佳实践是通过跟踪和执行使用限制来控制成本。Sage推断：“将数据转储到无限大小的存储中并忘记它是很容易的，但这会产生无限大的经常性存储成本。”

云数据架构的挑战和问题

数据架构师在部署云数据架构时需要应对几个挑战，包括数据引力等技术问题、现有投资等政治问题，以及安全和不完整数据迁移等流程问题。

• 数据重力。“数据引力，”Lutz说，“是迄今为止组织在继续解决混合或多云环境时面临的最常见挑战。”当应用程序跨越多个环境，以及从不同来源获取、转换和分析大量数据集时，可能会出现数据引力问题。这些挑战可以通过分离数据存储、利用事件驱动架构、在边缘分析数据以及扩展公共云计算以进行批处理和大规模分析来克服。
• 内部投资。数据架构师可能需要应对管理层的抵制，以及管理层希望最大限度地提高企业对内部流程的投资。Rulf表示，支持大规模内部部署数据架构所需的基础设施需要大量资本投资。缓解这一障碍的一种方法是确定突发性用例，这些用例对于现有的内部部署架构来说是不切实际的。
• 数据安全和隐私。“数据安全是最重要的挑战之一，”Sage警告说，“这可以通过控制对数据的访问来解决，无论是在传输中还是在休息时，从可靠的外部来源获取数据，并在进入点验证数据。”云数据架构可以利用强化的服务来提高安全性，但这需要前期工作来自动化数据切换过程。考虑数据治理，通过对数据进行分类、创建控制和策略以及通过目录和跟踪管理数据生命周期来解决隐私和安全问题。
• 监管和合规义务。为了遵守数据质量和保护政策法规，数据的本地托管有时可能比云托管更受欢迎。Wright建议，为了应对这种阻力，确保利益相关者了解云数据架构带来的成功用例研究和责任保护。
• 云迁移不完整。Saggezza的Karanwal说，公司在迁移到云的过程中可能会退缩，并意外地使用了云和本地系统的组合。他认为，当一家公司将其数据和应用程序完全迁移到云上时，云计算效果最好。

部署和管理混合云架构

如果对云数据迁移的总体承诺不切实际，那么在规划混合云数据架构时需要考虑几个因素和行动：

• 数据治理。当数据跨越内部部署和云基础设施时，治理和安全问题就更大了，这为黑客创造了更大的攻击面，并增加了违反隐私规定的风险。Rulf建议，确保所有数据源、服务和存储都使用加密隧道和协议进行保护。对数据进行消毒，使其符合隐私控制，并建立保护措施，以保护数据免受恶意软件和导致数据泄露的编码的影响。
• 复杂性和管理风险增加。Wright说，对重要的关系和互操作性约束进行建模。记录相对于卷的数据维度、数据结构的复杂性、工作负载和需求概况、查询量、复杂性和响应时间以及任何数据延迟注意事项。数据管理有助于确保和保存最佳平台上的数据使用，通过接收和转换过程保持完整性，并保持对数据质量和准确性的必要关注。
• 成本管理。添加到云或混合架构中的每一个新元素都会使成本管理变得复杂。Karanwal提醒道，在将数据移出云平台时，要密切关注出口费用。虽然许多云服务允许将数据移动到云中，但事实证明，将数据传输回云中的成本很高。
• 统一的基础设施。同步基础设施可以确保从数据中心到云的实时数据复制，并在完成时以降低出口费用的方式返回。统一的用户身份验证方案可以统一跨云和数据中心资源的访问。数据结构可以提供适当的体系结构和数据服务，以协调跨云和数据中心系统的应用程序。

随着大流行病的爆发，全球企业开始意识到运营效率、可扩展性和增长的力量。 随着这种认识的到来，迫切需要将他们的数据中心转移到托管服务生态系统——各种云平台。 然而，对于大多数企业而言，在云上找到合适的数据中心合作伙伴并非易事，尤其是对于预算严重受限的中小型组织而言。 您企业的安全性和可持续性取决于您的企业从服务提供商处获得的服务质量。 下面，让我们回顾一下今年预期的主要数据架构趋势。

云一直是数据管理业务的游戏规则改变者，尤其是在大流行期间。 随着越来越多的组织迅速转向远程工作和在家工作模式，对分布式和托管数据中心以及安全但民主的数据访问的需求变得至关重要。 随着数字化商业模式的迅速普及，预计“60% 的主流组织将选择可组合型企业作为战略目标”。

DataOps、数据安全等其他创新可能会在 2023 年加速全球企业的数字化转型。今年的一个主要趋势是多云数据基础架构的广泛采用。 另一个主要趋势是“标准化数据堆栈”，以减少技术和工具的多样性。 虽然组织支持数据民主化，但他们也关注数据质量，因此转向自动化数据治理。

对于那些仍在寻找理想数据中心合作伙伴的企业，这里有一份实用的技术趋势指南，可帮助您做出决定。 接下来，随着 5G 网络的广泛普及，边缘计算将继续存在并统治物联网数据。 Edge 有很多好处——更快的处理速度、更低的成本、准确的结果和持续的洞察力。 边缘计算至少会持续增长到 2025 年甚至更久。

分散数据的数据架构

对“民主化数据”的需求不断增长，迫使企业重新发明其数据架构框架。 根据行业专家 Donna Burbank 的说法，数据架构构成了“整体企业架构的核心组件”。

正如作者 Eric Carr 所解释的那样，“实施新的数据架构不是线性进展，而是一个持续不断的实验，充满惊喜、失败和需要解决的问题。” 他认为，要使企业数据架构取得成功，与架构相关的决策不应由技术驱动，而应由“业务目标和需求”驱动。

数据架构对数据管理的影响如此之大，以至于对人类受益者产生了深远的影响。 架构更改不可能一蹴而就——它们必须通过人工参与的反复试验逐步采用和实施。

2023 年数据架构的中心焦点将是“数据访问”，无论数据位于何处——本地、公共、混合或多云。 企业不再担心数据计算和存储成本，但他们仍然担心数据访问速度、数据质量和数据治理。

2023 年顶级数据架构趋势

尽管下面提到的许多数据架构趋势在 2022 年开始浮出水面，但它们将成熟并主导今年的业务格局：

• 到 2023 年，所有数据架构都将专为云平台而设计——尤其是混合云和多云环境。 这一趋势将直接有利于希望大幅降低基础设施成本，同时利用大数据分析获取竞争情报的企业。
• 对超高速网络的需求将需要在 2023 年重新设计数据治理架构。数据架构框架的重点将从计算和存储问题转移到数据安全和治理问题。
• 对去中心化数据访问的需求不断增长，这将有利于从传统数据湖和数据仓库向数据网格和数据结构的持续转变。 这种趋势可能会在 2023 年达到峰值。
• 2023 年将见证领域和数据 (IT) 团队之间的更多协作，从而推出对业务友好的数据架构解决方案。
• 随着数据管理变得更加民主，数据访问治理（数据可观察性）将成为数据管理系统的中心舞台。
• 数据目录将在整个 2023 年继续占据主导地位，以便能够在数据网格中发现新的数据产品和服务。
• 2023 年开发的数据架构将为 AI 做好准备，因为架构框架内的许多关键活动将通过 AI 和 ML 工具实现半自动化或完全自动化。
• 随着物联网数据设备的兴起，海量流式数据必将成为2023年数据架构的热门话题。
• 随着领域团队与其 IT 同事一起负责，数据驱动的业务决策将更快、更准确地做出。
• 数据工程师将成为数据架构团队的重要成员。 在数据民主、无代码数据环境中，数据工程师的角色将跃升为数据管理员/数据质量保证角色。

重塑数据架构

云平台易于访问、安全和管理，是任何企业进行数据管理操作的不二之选。 因此，在 2023 年以及更晚的时候，数据架构将在设计时考虑到云。 随着云技术革命的势头越来越强劲，越来越多的各种类型和规模的组织都将把他们的数据中心迁移到云端。

托管数据中心为企业客户提供了很多好处——增强的计算和存储、对许多工具的访问、实时分析、流数据处理和自助数据可视化。 在不久的将来，Web、SaaS 和移动应用程序的增长只会增强企业对流数据的兴趣。

虽然增强数据管理和嵌入式分析仍然是托管数据中心的关键和需求特性，但所有数据架构团队在设计架构蓝图时都必须牢记这些。 例如，通过数据结构中的嵌入式实时分析，组织将能够以极低的成本获得即时洞察和决策。 这将为消费者行为分析开辟巨大的机会，以提高营销绩效。

数据架构将业务需求转化为数据和系统需求，并寻求管理数据及其在企业中的流动。

数据架构定义

根据 The Open Group Architecture Framework (TOGAF)，数据架构描述了组织的逻辑和物理数据资产以及数据管理资源的结构。 它是企业架构的一个分支，包括管理组织中数据的收集、存储、安排、集成和使用的模型、策略、规则和标准。 组织的数据架构是数据架构师的职权范围。

数据架构目标

数据架构的目标是将业务需求转化为数据和系统需求，并管理数据及其在企业中的流动。 如今，许多组织都在寻求对其数据架构进行现代化改造，以此作为充分利用 AI 和实现数字化转型的基础。 咨询公司 McKinsey Digital 指出，由于流程复杂性而非技术复杂性，许多组织未能实现其数字化和人工智能转型目标。

数据架构原则

Splunk 核心产品产品管理副总裁兼 AtScale 前产品管理副总裁 Joshua Klahr 表示，六项原则构成了现代数据架构的基础：

• 数据是一种共享资产。 现代数据架构需要消除部门数据孤岛，并为所有利益相关者提供公司的完整视图。
• 用户需要足够的数据访问权限。 除了打破孤岛之外，现代数据架构还需要提供界面，使用户能够使用适合其工作的工具轻松使用数据。
• 安全是必不可少的。 现代数据架构必须针对安全性进行设计，并且它们必须支持直接对原始数据的数据策略和访问控制。
• 共同的词汇确保共同的理解。 共享数据资产，例如产品目录、财务日历维度和 KPI 定义，需要一个通用的词汇表来帮助避免分析过程中的争议。
• 数据应该经过整理。 投资执行数据管理的核心功能（建模重要关系、清理原始数据以及管理关键维度和度量）。
• 应针对敏捷性优化数据流。 减少必须移动数据的次数以降低成本、提高数据新鲜度并优化企业敏捷性。

数据架构组件

根据 IT 咨询公司 BMC 的说法，现代数据架构由以下组件组成：

• 数据管道。 数据管道是收集、移动和提炼数据的过程。 它包括数据收集、提炼、存储、分析和交付。
• 云储存。 并非所有数据架构都利用云存储，但许多现代数据架构使用公共云、私有云或混合云来提供敏捷性。
• 云计算。 除了使用云进行存储外，许多现代数据架构还利用云计算来分析和管理数据。
• API .现代数据架构使用 API 来简化公开和共享数据的过程。
• 人工智能和机器学习模型。 AI 和 ML 用于自动执行数据收集、标记等任务的系统。与此同时，现代数据架构可以帮助组织释放大规模利用 AI 和 ML 的能力。
• 数据流。 数据流将数据连续地从源流向目的地，以进行实时或近实时的处理和分析。
• 容器编排。 诸如开源 Kubernetes 之类的容器编排系统通常用于自动化软件部署、扩展和管理。
• 实时分析。 许多现代数据架构的目标是提供实时分析，即在新数据到达环境时对其执行分析的能力。

数据架构与数据建模

根据数据管理知识手册 (DMBOK 2)，数据架构定义了管理数据资产的蓝图，它通过与组织战略保持一致来建立战略数据需求和设计以满足这些需求。 另一方面，DMBOK 2 将数据建模定义为“以称为数据模型的精确形式发现、分析、表示和传达数据需求的过程”。

虽然数据架构和数据建模都试图弥合业务目标和技术之间的差距，但数据架构是关于寻求理解和支持组织功能、技术和数据类型之间关系的宏观视图。 数据建模更专注于特定系统或业务案例。

数据架构框架

有几种企业架构框架通常用作构建组织数据架构框架的基础。

• DAMA-DMBOK 2. DAMA International的Data Management Body of Knowledge是专门针对数据管理的框架。 它为数据管理功能、可交付成果、角色和其他术语提供了标准定义，并提出了数据管理的指导原则。
• 企业架构的 Zachman 框架。 Zachman Framework 是 1980 年代由 IBM 的 John Zachman 创建的企业本体。 Zachman Framework的“数据”栏目包含多个层次，包括对业务重要的架构标准、语义模型或概念/企业数据模型、企业/逻辑数据模型、物理数据模型和实际数据库。
• 开放组架构框架 (TOGAF)。 TOGAF 是一种企业架构方法，可为企业软件开发提供高级框架。 TOGAF 的 C 阶段涵盖开发数据架构和构建数据架构路线图。

现代数据架构最佳实践

现代数据架构的设计必须能够利用新兴技术，例如人工智能 (AI)、自动化、物联网 (IoT) 和区块链。 Protiviti 技术咨询高级总监 Dan Sutherland 表示，现代数据架构应遵循以下最佳实践：

• 云原生。 现代数据架构的设计应支持弹性扩展、高可用性、移动数据和静态数据的端到端安全性，以及成本和性能可扩展性。
• 可扩展的数据管道。 为利用新兴技术，数据架构应支持实时数据流和微批数据突发。
• 无缝数据集成。 数据架构应使用标准 API 接口与遗留应用程序集成。 它们还应该针对跨系统、地域和组织共享数据进行优化。
• 实时数据支持。 现代数据架构应该支持部署自动化和主动数据验证、分类、管理和治理的能力。
• 解耦和可扩展。 现代数据架构应设计为松散耦合，使服务能够独立于其他服务执行最少的任务。

数据架构角色

根据 PayScale 的数据，以下是一些与数据架构相关的最受欢迎的职位以及每个职位的平均工资：

• 数据架构师：$79K-$160K
• 项目经理：$58K-$129K
• 解决方案架构师：$76K-$163K
• 数据工程师：$66K-$132K
• 数据分析师：$45K-$87K
• 数据科学家：$68K-$136K

数据架构是一种记录组织数据资产、映射数据在其系统中的流动方式并提供数据管理蓝图的学科。目标是确保数据得到正确管理，并满足业务对信息的需求。

虽然数据架构可以支持操作应用程序，但它最突出地定义了商业智能（BI）和高级分析计划的底层数据环境。其输出包括用于数据平台和数据管理工具的多层框架，以及用于收集、集成、转换和存储数据的规范和标准。

理想情况下，数据架构设计是数据管理过程中的第一步。但通常情况并非如此，这会产生不一致的环境，需要作为数据架构的一部分进行协调。此外，尽管数据架构具有基础性质，但它们并不是一成不变的，必须随着数据和业务需求的变化而更新。这使得它们成为数据管理团队持续关注的问题。

数据架构与数据建模密切相关，数据建模创建数据结构、业务规则和数据元素之间关系的图表。不过，它们是独立的数据管理学科。咨询公司Knowledge Integrity Inc.的总裁David Loshin在一篇关于数据建模和数据架构如何不同的文章中，区分了建模对数据资产的微观关注和数据架构的宏观视角。

本数据架构指南进一步解释了它是什么，为什么它很重要，以及它提供的业务优势。您还可以找到有关数据架构框架、最佳实践等方面的信息。在整个指南中，有指向相关文章的超链接，这些文章更深入地涵盖了这些主题。

数据架构是如何演变的？

在过去，大多数数据架构没有现在那么复杂。它们主要涉及来自事务处理系统的结构化数据，这些数据存储在关系数据库中。分析环境由一个数据仓库组成，有时为单个业务单元构建较小的数据集市，并将运营数据存储作为暂存区。使用传统的提取、转换和加载（ETL）过程进行数据集成，在批处理作业中处理事务数据以进行分析。

从2000年代中期开始，大数据技术在企业中的应用为许多架构增加了非结构化和半结构化的数据形式。这导致了数据湖的部署，它通常以原生格式存储原始数据，而不是预先过滤和转换数据进行分析——这与数据仓库流程相比是一个巨大的变化。新方法正在推动ELT数据集成的更广泛使用，这是ETL的一种替代方案，可以反转加载和转换步骤。

流处理系统的日益使用也将实时数据带入了更多的数据架构。除了由数据仓库驱动的基本BI和报告外，许多架构现在也支持人工智能和机器学习应用程序。向基于云的系统的转变进一步增加了数据架构的复杂性。

另一个新兴的架构概念是数据结构，旨在简化数据集成和管理过程。它在数据环境中有各种潜在的用例。

为什么数据架构很重要？

设计良好的数据架构是数据管理过程的关键部分。它支持数据集成和数据质量改进工作，以及数据工程和数据准备。它还能够实现有效的数据治理和内部数据标准的制定。这两件事反过来又有助于组织确保其数据的准确性和一致性。

数据架构也是支持业务目标和优先级的数据战略的基础。咨询公司TreeHive strategy的负责人唐纳德·法默在一篇关于关键数据战略组成部分的文章中写道，“现代商业战略依赖于数据。”法默说，这使得数据管理和分析过于重要，不能留给个人。为了更好地管理和使用数据，一个组织需要创建一个全面的数据战略，并以强大的数据架构为基础。

These are the four main phases of developing a data strategy, according to Donna Burbank of consulting firm Global Data Strategy.

数据架构的特征和组成部分是什么？

在一篇关于现代数据架构原则的文章中，Farmer强调了包括数据治理和法规遵从性流程的重要性，以及支持多云环境的日益增长的需求。他最后指出，如果数据架构不能用于分析，那么数据的潜在商业价值将被浪费。

法默写道：“数据是一种商业资产，这是现代数据管理的陈词滥调。”。“但是，仅仅放在那里的数据只是一个成本中心，需要维护，而没有提供任何商业利益。”

设计良好的数据架构的其他常见特征包括以下几点：

• 业务驱动的重点，与组织战略和数据需求相一致；
• 灵活性和可扩展性，以支持各种应用程序并满足新的数据业务需求；和
• 强大的安全保护，防止未经授权的数据访问和数据的不当使用。

从纯粹主义者的角度来看，数据架构组件不包括平台、工具和其他技术。相反，数据架构是由一组图表和文档描述的概念基础设施。然后，数据管理团队使用它们来指导技术部署以及如何管理数据。

这些组件或工件的一些示例如下：

• 数据模型、数据定义和数据元素的通用词汇表；
• 说明数据如何在系统和应用程序中流动的数据流图；
• 将数据使用情况映射到业务流程的文档，例如CRUD矩阵——创建、读取、更新和删除的缩写；
• 描述业务目标、概念和功能的其他文档，以帮助将数据管理计划与其保持一致；
• 管理数据收集、集成、转换和存储方式的政策和标准；和
• 一个高级架构蓝图，具有不同的处理层，如数据接收、数据集成和数据存储。

Follow these principles to help put your data architecture on the right track.

数据架构的好处是什么？

理想情况下，精心设计的数据架构有助于组织开发有效的数据分析平台，提供有用的信息和见解。在公司中，这些见解可以改善战略规划和运营决策，有可能带来更好的业务绩效和竞争优势。它们也有助于各种其他应用，如诊断医疗状况和科学研究。

数据架构还有助于提高数据质量、简化数据集成和降低数据存储成本等好处。弗吉尼亚联邦大学信息系统副教授、数据管理顾问Peter Aiken表示，与特定领域的数据建模相比，它是从企业角度出发，或者专注于数据库级别的架构。

Aiken在2021 5月的Dataversity网络研讨会上表示：“从数据架构的角度来看，我们有更大的价值潜力，这是因为我们正在考虑在所有数据库中广泛使用[数据]。”。

糟糕的数据架构设计有哪些风险？

数据架构的一个缺陷是过于复杂。可怕的“意大利面条式架构”就是这一点的证据，用一堆线表示不同的数据流和点对点连接。其结果是一个摇摇欲坠的数据环境，具有不兼容的数据竖井，很难集成用于分析。具有讽刺意味的是，数据架构项目往往旨在为有机发展的现有混乱环境带来秩序。但如果不谨慎管理，它们可能会产生类似的问题。

另一个挑战是就标准化数据定义、格式和要求达成普遍一致。如果没有这一点，就很难创建一个有效的数据架构。将数据放在业务上下文中也是如此。Aiken在Dataversity网络研讨会上表示，数据架构做得很好，“捕捉到了运营组织所需数据的商业意义”。但如果不这样做，可能会在架构和它应该满足的战略数据需求之间造成脱节。

数据架构与数据建模

数据建模侧重于特定数据资产的细节。它创建了数据实体、它们的属性以及不同实体如何相互关联的可视化表示。这有助于确定应用程序和系统的数据需求范围，然后为数据设计数据库结构，这一过程是通过概念、逻辑和物理数据模型的进展来完成的。

数据架构从更全局的角度看待组织的数据，以创建数据管理和使用的框架。但是，正如顾问Loshin在比较两者的文章中所写的那样，数据建模和数据架构是相辅相成的。数据模型是数据架构中的一个关键元素，一个既定的数据架构简化了数据建模，同时也是马里兰大学信息研究学院信息管理硕士项目主任的洛欣说。

咨询公司Athena IT Solutions的管理合伙人Rick Sherman分别解释了七种数据建模技术，包括现在最常用的实体关系、维度和图形建模方法。他还概述了一套数据建模最佳实践，包括以下建议：

• 在构建模型之前，提前收集业务和数据需求。
• 以迭代和增量的方式开发数据模型，使流程易于管理。
• 将数据模型用作与业务用户就其需求进行沟通的工具。
• 像管理任何其他类型的应用程序代码一样管理数据模型。

Data management teams typically build these three types of data models in a phased process.

数据架构与信息架构和企业架构

在第二篇文章中，Sherman描述了企业应用程序中数据架构和信息架构之间的区别。“信息就是上下文中的数据，”他写道。“信息架构定义了企业用于业务运营和管理的上下文。”他补充道，提供高质量、可靠数据的数据架构是信息架构的基础。

同时，数据架构通常被视为企业架构（EA）的一个子集，旨在为四个领域的组织创建组织蓝图。EA还包括以下内容：

• 业务架构，涉及业务战略和关键业务流程；
• 应用程序架构，侧重于单个应用程序及其与业务流程的关系；和
• 技术架构，包括支持其他三个领域的IT系统、网络和其他技术。

有哪些可用的数据架构框架？

组织可以使用标准化框架来设计和实现数据架构，而不是完全从头开始。以下是三个众所周知的框架选项：

• DAMA-DMBOK2 数据管理知识体系DAMA指南是由数据管理专业协会DAMA International创建的数据管理框架和参考指南。现在是第二版，通常被称为DAMA-DMBOK2，该框架解决了数据架构和其他数据管理学科的问题。第一版于2009年出版，第二版于2017年出版。
• TOGAF.。TOGAF创建于1995年，此后进行了多次更新，是一个企业架构框架和方法论，其中包括数据架构设计和路线图开发部分。它是由开放小组开发的，TOGAF最初代表开放小组架构框架。但现在它被简称为TOGAF标准。
• The Zachman Framework。扎克曼框架。这是一个本体框架，使用行和列的6-x-6矩阵来描述企业架构，包括数据元素。它不包括实施方法；相反，它旨在作为架构的基础。该框架最初由IBM高管John Zachman于1987年开发，他于1990年从公司退休，创立了一家名为Zachman International的咨询公司。

创建数据架构的关键步骤

数据管理团队必须与业务主管和其他最终用户密切合作，以开发数据架构。如果他们不这样做，这可能与业务战略和数据需求不一致。咨询公司Loshin在一篇文章中列出了九个数据架构规划步骤，其中两个是与高级管理人员接触以获得他们的支持，另一个是与用户会面以了解他们的数据需求。

除其他步骤外，他还建议各组织采取以下措施：

• 根据数据治理指令评估数据风险；
• 跟踪数据流，以及数据生命周期和数据沿袭信息；
• 记录和评估现有的数据管理技术基础设施；和
• 确定数据架构部署项目的路线图。

技术作家George Lawton的另一篇文章提供了构建基于云的数据管理和分析架构的技巧。它还概述了数据管理团队在云中可能面临的潜在挑战，包括数据安全要求、法规遵从性要求和可能使数据集迁移复杂化的数据严重性问题。

在数据架构设计和开发中，有哪些不同的角色？

数据架构计划中的主导角色通常是数据架构师。他们需要各种技术技能，以及与业务用户互动和沟通的能力。数据架构师会花费大量时间与最终用户合作，以记录业务流程、现有数据使用情况以及新的数据需求。

在技术方面，数据架构师自己创建数据模型，并监督他人的建模工作。他们还构建数据架构蓝图、数据流图和其他工件。其他职责可能包括概述数据集成流程，并监督数据定义、业务术语表和数据目录的开发。在一些组织中，数据架构师还负责设计数据平台以及评估和选择技术。

其他经常参与数据架构过程的数据管理专业人员包括以下人员：

• 数据建模师。他们还与业务用户合作，评估数据需求并审查业务流程。然后，他们使用收集到的信息来创建数据模型。
• 数据集成开发人员。一旦实现了架构，他们的任务就是创建ETL和ELT作业来集成数据集。
• 数据工程师。他们建立管道，将数据输送给数据科学家和其他分析师。他们还帮助数据科学团队进行数据准备过程。

全球数据战略E.M.E.A.首席顾问Nigel Turner在DATAVERSITY®企业数据治理在线会议上表示：“数据架构是业务战略的实际实施。”。“这是整个连续体的关键部分，您需要在组织内建立它来有效地管理数据，”数据治理在这些战略和业务中的实际实施之间形成了重要的桥梁。

数据架构：它是什么？

DAMA DMBoK2表示，数据架构“通过与组织战略保持一致来定义管理数据资产的蓝图，以建立战略数据需求和满足这些需求的设计。”Turner指出了这一定义的三个关键部分，第一个是“蓝图”一词。”“这意味着，任何没有实施计划的数据架构都可能会被搁置，直到永恒的迷雾升起。”

第二个关键部分是“与组织战略保持一致”。他说，数据架构必须与业务目标以及数据如何支持这些目标直接联系起来。第三部分是关于建立战略数据需求。因为“任何有效的数据架构都必须具有前瞻性。”

他引用了Donna Burbank和Charles Roe的一份题为《数据架构趋势》的DATAVERSITY研究报告，指出了对“什么是数据架构？”

“我们在数据管理中遇到的问题之一是，如果你采用任何数据管理概念、术语或学科，不同的人会以不同的方式定义它。”

无论如何定义，数据架构都必须有一些具体的可交付成果，例如规范、不同抽象级别的主设计文档，以及数据通过系统的所有容器和路径的描述。他说，如果没有这些可交付成果，“那么很明显，你实际上并没有为企业提供任何有价值的东西。”

数据架构的典型可交付成果

标准交付物包括：

• 关于数据使用的政策、指导原则、使用意向声明和问责机制
• 数据模型，包括企业概念模型、逻辑数据模型、物理数据模型和特定于应用程序的逻辑数据模型
• 数据目录
• 数据源清单
• 主数据或参考数据，以及哪些数据被广泛共享
• 定义的关键数据，包括词汇表、词典、定义和应用标准
• 元数据及其管理方式
• 数据沿袭和流经系统
• 实施路线图

“如果你把所有这些东西都准备好了，你就有很大的机会获得一个可行的数据架构。”

数据架构：如何失败

• 试图设计一个包含管理、处理、收集和存储一切的架构：“避免让海洋沸腾。将你的架构集中在对你的业务运作至关重要的事情上。”
• 完全由IT部门管理、驱动和设计的数据架构最终可能成为新技术的购物清单，而不是支持业务战略的计划。“恕我直言，IT部门的人并不总是最了解数据如何支持业务战略的人，因此也不了解架构需要如何发展才能实现这一点。”
• 如果没有高级管理层的积极支持，无论是在业务还是IT方面，都不太可能取得成功。“它不应该只被组织中的人领导和开发。”
• 如果您的架构过于复杂，那么它不太可能保持最新。特纳分享了一个关于他作为顾问合作过的一家公司的故事。该公司有一个非常详细的数据模型，覆盖了整个房间的墙壁。他们为这个模型感到非常自豪，但在几年的时间里，特纳注意到同一个模型在同一面墙上，没有变化，这意味着它只用于墙壁装饰。
• 长期规划很重要，但不要忽视具体的短期效益。他说，“如果你没有硬性的可交付成果，数据架构仍然是一个梦想。”建立一些快速的胜利。

正确使用数据架构

有效的数据架构的关键特征包括数据战略，该战略与业务驱动因素保持一致，以基本数据为目标，划定明确的活动和里程碑，并且足够灵活，可以随着业务需求和可用技术的发展而发展。最重要的是，架构必须是可管理的。“你永远不可能把所有的数据都整理出来。你需要专注于真正有意义的事情。”

制定数据战略

Turner概述了数据战略的简单路径。从业务战略开始，确定哪些数据对支持该战略至关重要。评估你所拥有的数据，并决定它是否符合任务要求，如果不符合，则决定需要什么来改进它。Turner指出，改进可能需要来自业务方面，而不是完全来自it。例如，如果每个部门都使用不同的代码或术语来表示“客户”，“那么这显然会影响业务战略，而业务战略可能需要改变以适应这一障碍。”

今天的数据：范围、规模和复杂性

在过去的十年里，公司和组织处理的数据量显著增加。目前存储的所有数据中，90%是在过去两年中创建的。换句话说：

“地球上有2.5万亿粒沙子。顺便说一句，5万亿粒是18个零后的1。每天创建的数据字节数是这个数字的三倍。因此，这一范围和规模绝对是惊人的。”

然而，这不仅仅是范围和规模的问题，他说。复杂性也是一个因素。因为很多公司还没有掌握基本知识——数据管理、数据质量，以及确保使用的数据符合预期目的——“忘记未来所有的新技术。这就是今天的现实。”

数据架构的业务驱动因素

商业智能和数据科学是数据架构的驱动力，因为它们是IT领域的强劲增长领域。与此同时，成本降低、效率提高和法规遵从性也给改善数据治理带来了压力。他说，另一个原因是，“我怀疑，大多数组织的数据管理现状仍然很差。”

他引用了去年发表在《哈佛商业评论》上的一项研究。研究人员调查了75家公司，要求这些公司的高管检查关键系统中一系列记录的准确性，这些记录被认为是公司高效运营的关键。“结果真的非常令人震惊，”他说，因为一百张唱片中只有三张是没有错误的。“在这75家公司检查的所有记录中，97%的记录中存在一些严重错误，这可能会影响业务绩效。”

特纳表示，数据湖的最大问题是缺乏有效的数据治理。缺乏一致的数据定义和元数据，因此当人们访问这些数据湖中的数据时，“他们根本不知道这意味着什么。”

他说，那些为了从数据中寻找见解而获得高薪的数据科学家，却把大部分时间花在了较低级别的任务上，只是为了让数据处于可用状态。

“大数据和分析带来的所有巨大希望，加上公司现在正在收集的所有这些数据，只有不到1%的数据被实际使用。”

他将目前的情况比作灭火过程，而不是创造一种积极主动的方法来预防火灾。我们需要的是一个连贯有效的数据架构，并专注于识别问题、创建解决方案和建立预防性、主动性的治理。“换句话说，你要阻止火灾的发生，而不是等到火灾发生后再采取被动的方式灭火。”

数据治理：从被动转向主动

Turner分享了Global Data Strategy对数据治理的定义：这是一个由企业主导的持续改进数据的过程，有利于所有数据利益相关者。尽管最初的实施可能是从一个项目开始的，但“最终，你要确保它作为一个业务流程在后台运行，实际上，与所有其他业务流程一起运行。”

数据治理的七项关键原则

• 必须主动管理数据
• 业务部门应负责领导治理工作
• 业务部门必须设置改进数据的优先级、重点关注哪些数据以及应该产生哪些影响
• 数据所有者必须对关键数据负责
• 数据管理员负责数据改进
• IT提供了在物理世界中实现数据治理的技术
• 组织中的每个人都必须作为任何数据治理活动的一部分

“每个组织都需要数据架构，但它需要应用的程度和位置因组织而异，没有人比治理专业人员更适合帮助架构师做出这些决策。”

他说，数据治理和数据架构相互支持和加强。Turner分享了一张幻灯片，概述了数据治理和数据架构之间的协同作用，强调了两者的关键优势。

数据管理员能够识别关键数据以及这些数据的状态如何影响业务，这有助于确定架构的优先级和发展。数据所有者应该向业务规则通知随后在架构中实现的数据。所有者和管理者处于一个很好的位置，可以充当拥护者，帮助架构师为数据架构的更多投资建立一个案例，因为“他们将了解数据缺陷的当前影响，以及以更结构化的方式管理数据的重要性，”他说。

数据架构可以通过在物理层面上制定治理策略来支持数据治理，从而使其能够在现实世界中实现，而不仅仅是作为抽象的想法。数据模型可以说明哪些数据需要治理，并可以突出参考数据集和主数据集，Turner说，“需要在组织内最紧密地管理和拥有这些数据集。”数据架构有助于围绕关键数据建立业务和IT共识，确保业务与IT合作执行确定的优先事项。

使数据治理与数据架构保持一致

特纳说，从哪里开始并不重要。重要的是，数据架构和数据治理的学科结合在一起，形成了一个持续的改进周期，确保“您的数据越来越好，并根据业务需求不断发展。”

特纳以一张卫城的照片结束了他的演讲，以说明持久建筑的重要性。为了建造一座能持续2500多年的神庙，希腊人花了很多时间来平整和准备它所在的山丘的地基。

“任何希望在数据方面也这样做的组织，换言之，都应该认识到，你需要数据架构和数据治理，他们需要共同努力，为未来奠定基础。”

想了解更多关于DATAVERSITY即将举办的活动的信息吗？点击此处查看我们目前的在线和面对面会议。

Ludwig Mies van der Rohe说：“当你小心地把两块砖放在一起时，架构就开始了”，而数据架构则从创建、存储和把两个或多个字符放在一起开始，无论是记录、电子邮件、图片、音频还是视频。这与最初关于数据架构的想法产生了很好的共鸣，因为它是由事物、这些事物的功能以及这些事物如何相互关联组成的。然而，从“事物”开始是有局限性的。

在20世纪90年代，数据架构需要一位技术专家，比如IT人员和/或SQL专家，来创建一个新的数据库并维护或修复现有的数据库。许多企业在这种方法中遇到了效率低下的问题，包括存储数据量增加、数据库种类增加、难以集成新技术以及部门中孤立的数据。

公司认识到，需要数据架构来利用和管理数据以获得战略优势。许多组织将平台、技术和工具集合在一起。对于一个特定的集成项目来说，这可能是一个很好的一次性项目。但随着公司的发展、变化和新服务的实施，“数据串”变得令人头疼。由于连接数据所需的信息缺失，技术实施受阻或延迟。

数据架构看起来像意大利面条，纠缠不休。虽然这使许多质量保证和软件测试人员得以解决数据和技术问题，但它影响了公司并造成了延误。

为了揭开数据架构的神秘面纱，一个成功的数据架构概念需要正确的技术来完成正确的工作。尤其是当组织将数据视为推动数字化业务转型的核心资产，从而实现更好的分析和理解时。

正如全球数据战略的Donna Burbank所说，“事情越复杂，你就越需要简单地制造它们。”Mies van der Rohe相信“少即是多。”这句口头禅也适用于数据架构。

数据架构来自数据策略

数据架构解释了如何以及创建什么来满足定义的结果，而不是如何使用数据来推动更好的业务。数据策略可以做到这一点。根据Donna Burbank的说法：

“这是一个利用现有产品线更好地营销、更好地开发、利用它来改善客户服务或360度了解客户的机会。数据战略是由组织的整体商业战略和商业模式驱动的。”

想想看：在不知道组织提供什么服务、向谁提供服务或市场目标、如何组织和管理以及财务目标的情况下，为新企业设计或修改架构有意义吗？不，制定商业计划会更有效率。

同样，公司需要有一个关于创建和维护数据基础设施的高级视图，以获得所需的业务影响。该数据战略理想地产生了一系列解决方案，解决了所有业务功能的性能问题，并与包括数据架构在内的业务战略保持一致。Algmin Data Leadership的Anthony Algmin表示，这一切都是为了建立基础设施，以产生数据战略中确定的业务影响。数据架构为制定良好的数据策略提供了信息。

数据架构需要数据治理

虽然数据战略将业务需求和规划结合起来，以指导创建什么样的数据架构以及如何创建数据架构，但数据战略可以根据不同的观点以不同的方式进行解释。每个人都可以创建自己的数据架构变体，以满足数据策略并保持正确，就像五个人可以从自己独特但有限的角度看到大象一样。数据治理需要正式地将数据实践和流程结合在一起，以确保一致、合法和有价值的数据使用。数据架构只指导一个组件，即数据技术基础设施。

数据架构既是一个技术决策，也是一个业务决策，因为新的业务模型和全新的工作方式都是由数据和信息驱动的。它必须与运营技术、流程、人员和组织文化建立联系。这些概念是相互关联的。然而，数据架构师的技术规范在理解这些组件方面会受到限制。数据治理提供了更广泛的总体框架，包括合规性和安全性以及角色和责任。

这样想区别：数据架构师创建一个查找表。如果员工在前期输入的客户数据不正确，就会影响下游流程。数据治理确定了这个问题并寻找解决方案。或者，数据架构师可以提出一个由治理过程创建的查找表，该表可以通过更容易地正确输入客户数据来支持引用完整性。随着业务的发展和变化，数据架构（如图中虚线箭头所示）、人员和流程之间的对话仍在继续。

数据架构与数据建模的联系

从最广泛的意义上讲，数据架构会问，“作为一家企业，我们试图做什么？”然后从所有不同的技术来看，“什么最适合这个目的，它们如何协同工作？”

它产生了结果：不同级别的模型、定义和数据流，通常被称为数据架构工件。它包括技术和基础设施设计，以及财务决策，如选择购买与构建数据系统。它还包括影响企业数据架构的各种角色之间的合作、心态和技能等行为。具体而言，这意味着操作和开发数据架构，并了解数据生态系统；架构人员依靠数据流图、数据模型和过程模型来实现这一点。

虽然数据架构通过包括用于描述现有状态、定义数据需求、指导数据集成和控制数据资产的规范，将业务战略和技术执行联系起来，但它并没有特别关注数据关系。数据建模就是这样做的。它记录、定义、组织并显示给定数据库、架构、应用程序或平台内的数据结构是如何在给定系统内以及其他系统之间连接、存储、访问和处理的。

数据模型使组织能够通过实体、关系和属性等核心构建块来了解其数据资产。数据建模人员映射这些信息，并与数据架构师共享这些信息，如图中虚线所示。这样，架构师就可以在放置正确的机制以支持业务成果方面做出更好的决策。这可以是从数据系统、数据仓库到可视化工具的任何东西。

良好的数据架构带来的好处

更快的集成：GoodData Architecture提供了几乎无缝的数据集成，将分散的信息以统一的格式汇集在一起，以便利益相关者能够获得更好的业务见解。整合包括：从一个地方迁移到另一个地方；将不断变化的数据转换为另一种形式、状态或产品；将不同的系统连接到一个融合的架构中，将应用程序模式的全部或部分应用到一个架构中以获得单一版本的真理，从而培养创造力并刺激创新。

更好地使用稳健的工具和平台：数据架构师拥有一系列技术，可以快速有效地提供良好的数据，例如云计算与边缘计算。良好的数据架构可以筛选这些，考虑SQL的健壮性、内置优化、动态弹性、动态环境自适应、计算与存储之间的权衡，以及对不同数据的支持。创建和理解数据架构的工作有助于理解所有这些。

更容易适应新兴技术：数据架构从战略上为组织快速发展其产品、服务和数据做好准备，以有效利用新兴技术。企业面临着提高应用程序和服务性能的压力。架构师已经考虑并使用云、物联网（IOT）和NoSQL数据库等新兴技术。即将推出的热门技术包括Graphql（一种承诺更快查询数据并允许用户进行更丰富定制的引擎）、机器学习和人工智能。但如果没有数据架构计划，这项新技术就无法发挥作用，该计划由数据战略指导，并与数据治理保持一致。

结论

McKnight咨询集团总裁William McKnight表示，在新兴数据技术的不断发展中，信息架构在建立秩序方面发挥着关键作用。Gartner已经在《为机器学习准备和构建架构》一书中指出，当端到端数据和分析架构没有经过优化以与底层分析平台互操作时，为ML管道准备数据面临挑战。

换句话说，如果没有连贯的手段来利用业务数据，复杂、移动、不相关的数据架构将使公司很难考虑机器学习。让数据架构朝着少即是多的方向发展，打下坚实的基础。正如Donna Burbank所说，“人们想获得新的东西，他们意识到如果不首先建立基础，他们就无法实现。”

术语“数据架构”被定义为一组管理组织内数据流和管理的模型、策略、规则和标准。因此，作为企业架构的一个子集，数据架构涉及管理数据相关活动的操作规则，如数据捕获、数据存储、数据集成和数据使用。换句话说，这种模型、标准、策略和规则的集合规范了收集的数据以及如何在企业数据系统中存储、组织、集成和使用这些数据。这篇数据架构101文章将定义数据架构，并探讨数据架构组件、原理、趋势和挑战。

什么是数据架构？

根据数据管理知识体系（DMBoK 2）的说法，数据架构类似于管理数据资产的“总体规划”。内部组织策略和业务策略通常指导数据架构设计。数据架构可交付成果包括数据平台和数据治理工具的多层基础设施，以及数据收集、集成、转换和存储的规范和标准。

数据架构师开发与组织目标、文化和上下文需求相一致的架构蓝图。通常，在多方数据项目中，数据架构师充当中心人物，负责围绕组织目标协调许多部门和利益相关者。

数据架构的组成部分是什么？

企业数据架构的最基本组件包括以下内容：

• 数据管道包括数据收集的整个过程：存储、清理、分析以及从一个点到另一个点的数据流。
• 云存储指示托管服务的存在，其中数据驻留在通过互联网访问的一个或多个远程云服务器上。
• 云计算是指在云主机上存储、管理和分析数据的过程。云计算的最大好处是低成本、数据安全和零基础设施需求。
• API有助于主机系统和服务请求者之间的通信。
• AI和ML模型为数据架构提供了自动化功能。这些模型自动化了数据架构的许多核心功能。
• 数据流支持连续数据流功能，其中数据可能需要在源附近实时处理。
• 实时分析定义了实时数据分析，以获得即时可操作的见解。
• Kubernetes，用于处理计算、网络和存储工作负载的一站式平台。

核心原则是什么？

以下是构建数据架构所围绕的一些核心原则：

• 自动化：自动化消除了遗留数据系统的所有障碍。现代数据架构能够在数小时内构建流程，通过数据管道快速访问任何类型的数据，促进敏捷的数据集成，并允许连续的数据流。
• 安全性：现代数据架构中内置的安全功能确保数据仅在需要知道的基础上可用。所有数据都符合HIPAA和GDPR等监管机构的要求。
• 面向用户：现代数据架构为用户提供了在何时何地需要数据的访问。
• 恢复能力（Resilience）：数据架构保证了高数据可用性、灾难恢复措施和足够的备份/恢复能力。
• 灵活的数据管道：现代数据架构支持数据流和“数据突发”
• 协作：精心设计的数据架构通过消除竖井并允许来自组织所有部分的数据共存于一个位置来促进协作。
• 人工智能驱动：人工智能和ML通过为不断变化的条件提供警报和建议，共同增强了数据架构的自动化能力。
• 弹性（Elasticity）：这一特性使组织能够快速且经济地使用按需扩展功能。同样的特性也让管理员从许多乏味的任务中解脱出来，这样他们就可以专注于重要的事情。
• 简单性：数据架构允许组织限制数据移动和数据重复，并倡导统一的数据库平台。

您还可以查看这篇关于其他数据架构原则的DATAVERSITY®文章。

最新趋势和挑战是什么？

用于在整个组织中捕获、处理、管理和分析各种数据的新技术和架构不断涌现。除了云存储和处理方面的创新外，企业正在转向新的数据架构方法，使其能够管理大数据带来的多样性、准确性和数量。

从塑造2021的一长串数据架构趋势中，值得注意的是数据访问的民主化、AI-rady架构、数据架构师的兴起、数据结构、数据目录、DevOps，当然还有云。2021以后，以下是一些值得关注的趋势：

• 许多数据架构领导者正在从企业范围的中央数据湖转向基于域的设计，这种设计可以定制并适用于特定用途，以增加基于数据构建的新产品和服务的上市时间。
• 向高度模块化数据架构的转变将持续下去。模块化概念使用了同类最佳的开源组件，这些组件可以在需要时被新技术取代，而不会影响数据架构的其余部分。
• 最近，随着企业越来越多地采用云计算，数据架构概念应运而生，随之而来的是为所有或大多数数据管理任务提供基于云的平台。
• 大数据架构是一种概念或物理系统，用于接收、处理、存储、管理、访问和分析传统数据库中难以处理的大量、快速和多样的数据。大数据技术非常专业，使用的框架和语言在更通用的应用程序架构中并不常见。
• 能够处理各种数据类型的人工智能驱动的云服务正在兴起。随着数据访问需求的增加，需要在复杂、多云、混合的环境中支持人工智能和ML。
• 由于数据编织能够在各种云设置中实现更快的数据分析，因此数据结构的增长也意味着混合和多云的增长。
• 高性能数据架构模型虽然仍处于初级阶段，但正在迅速发展。高级数据科学应用程序，如预测分析、应用人工智能和ML，需要高容量和高速的数据环境，而目前，只有混合和多云才能实现这一条件。
• 精心设计的大数据架构使企业更容易处理数据和预测未来趋势，从而做出明智的决策。企业正在使用大数据分析技术来优化其商业智能和分析计划，超越依赖于数据仓库技术的较慢的报告工具，转向更智能、更被动的应用程序，从而对客户行为、业务流程和整体运营提供更深入的了解。

这一趋势与之前的趋势有关。AWS、微软、谷歌和IBM等云基础设施提供商可以处理几乎无限量的新数据，并提供按需存储和计算功能。

• 一个巨大的挑战是，虽然处理和存储数据的新技术即将问世，但数据量大约每两年翻一番。Gartner分析师估计，到2025年，超过50%的关键业务数据将在数据中心或云计算之外创建和处理。未来数据基础设施的三大驱动因素可以被描述为向公共云、SaaS服务和增强的数据工程发展。
• 第二个挑战来自混合和多云。虽然这些环境越来越受欢迎，但持续的数据安全和管理挑战将导致企业更多地考虑混合，而更少地考虑多云选项。只有云平台及其多样化的解决方案，才能提供企业级数据管理平台的速度、规模和易用性，尽管数据质量仍然是一个挥之不去的问题。

现代数据平台是围绕以业务为中心的价值链构建的，而不是以IT为中心的编码过程，在编码过程中，传统架构的复杂性被抽象为一个单一的自助服务平台，该平台将事件流转换为可供分析的数据。

• 第三个挑战是，新的数据技术极大地增加了数据架构的复杂性，经常阻碍组织部署新能力、维护现有基础设施和保证人工智能模型完整性的持续能力。

数据建模和架构之间有什么区别？

虽然数据架构和数据建模都努力使数据技术与业务目标保持一致，但数据架构只专注于维护业务功能、技术和数据之间的关系。简而言之，数据架构为数据系统设置了标准，充当了数据系统如何交互的愿景或模式。数据架构师为组织的数据基础设施制定愿景和蓝图，数据工程师负责创建这一愿景。

另一方面，数据建模师与应用程序开发人员合作，以了解所开发的应用程序实现的业务流程，并确定支持该应用程序的数据的最佳表示。数据建模是围绕数据及其关系建立的，模型提供了要存储的信息，在最终产品要为应用程序生成计算机软件代码或准备有助于指导计算机软件决策的功能规范的情况下，数据建模具有主要价值。

实体关系模型使用图表来描述数据及其关系。数据模型可以直接转换为实体关系模型、关系数据库、面向业务的语言或对象建模语言。

在企业架构师的数据建模过程中，必须使数据模型具有逻辑性，并使提取有关数据对象的见解的人员易于理解。企业架构数据建模过程需要适当的规划，包括三个阶段：概念模型、逻辑模型和物理模型。

数据架构101：进一步阅读

准备好了解更多信息了吗？以下是一些额外的数据架构101资源，讨论了最佳实践、挑战以及将数据治理与数据架构相结合。

数据架构师收集统计数据，信息架构师在协同工作以支持企业的数据和业务战略时，将数字放在上下文中。

许多人认为数据架构和信架构是一体的。但这种误解导致了许多设计糟糕的架构无法很好地处理数据或信息。

问题始于数据和信息之间的混淆。它们是相关的，但不同。数据是指在应用程序、业务流程和设备中收集、更新和删除的数字、字符或其他数字格式。信息是上下文中的数据。没有上下文，原始数字是没有意义的，但有了它，这个数字可以代表外卖订单的销售额、体温读数或学生的考试成绩。进一步的背景将揭示这个数字的谁、什么、何时、何地以及如何，从而提供进一步的信息进行分析。

数据架构与信息架构

信息架构定义了企业用于其业务运营和管理的上下文。信息架构的构建块是组织的应用程序、业务流程、分析和报告系统，以及内部以及与客户、供应商和业务合作伙伴的信息工作流程。业务需求用于开发信息架构的蓝图：概念数据模型、逻辑数据模型和业务流程模型。企业应用程序，无论是内部构建的还是购买的，都需要使用这些模型。

数据架构通过收集、存储、移动、集成和管理所需的数据，为信息架构奠定了基础。在现代数据架构中，数据被吸收并存储在跨越云、本地和混合环境的文件系统和数据库中。数据架构的基本构建块是数据仓库、暂存数据存储和商业智能模式。更复杂的数据架构可能会添加数据湖、分析沙盒、数据科学中心和运营数据存储。

一流的数据架构通过支持数据质量和主数据管理计划来实现数据治理过程。它还需要一个数据集成框架，以实现集成功能的组合——传统的提取、转换和加载（ETL）过程和大数据系统中经常使用的ELT变体，以及数据管道、数据流、API、数据准备和应用程序集成。

数据架构和信息架构是如何相关的？

现代数据架构需要信息架构，反之亦然。

信息架构的蓝图包括企业数据模型，例如，该模型定义了企业的客户和合作伙伴，以及企业在营销、销售和支持活动中如何与他们互动。数据架构将数据模型转换为用于捕获、存储和更新相关数据的物理数据库设计和数据元素。有效的数据架构包括转换、管理、清理和管理数据的过程，使其成为有用的信息。

许多架构的一个主要缺点是数据如何转换为信息过于简单化。IT和数据管理团队常常认为数据只需要从源系统移动或通过管道传输到目标系统，而无法理解对不同数据上下文的需求。如果没有基于数据模型和数据定义的数据转换来实现正确的上下文，分析和报告工具就无法提供正确的见解。更糟糕的是，使用这些工具的人可能会将数据导出到电子表格中，试图创建有用的信息。这样做可能会提供正确的背景，但这是无效的，也是徒劳的。

信息架构师做什么

信息架构师必须了解业务及其所需的信息。然后，他们确保应用程序、业务流程、分析和报告系统能够获得这些信息。

信息架构师的职责包括：

• 与业务主题专家（SME）合作，设计概念数据模型、逻辑数据模型和业务流程模型，这些模型构成了不断发展的企业数据模型。
• 协助中小企业选择和设计用于运营和管理企业的业务应用程序和流程。
• 设计报告和分析框架。
• 与商业智能开发人员和数据分析师合作开发报告和分析应用程序。
• 与数据科学团队合作，收集他们的需求，支持预测建模和机器学习开发，并将他们创建的模型和信息集成到信息架构中。
• 与数据架构师合作，确保数据架构设计支持企业信息架构。
• 与数据架构师合作设计数据集成框架和流程。

数据架构师的工作

数据架构师设计企业的整体数据架构，包括数据集成流程、业务智能系统以及支持的数据库和文件系统。他们根据企业的长期路线图和当前计划收集业务需求，并检查数据问题限制运营、降低生产力或抑制业务增长的领域。

许多数据架构师现在专注于将云和本地系统相结合的云实现或混合云部署。多云架构也变得越来越普遍。

数据架构师的职责包括：

• 设计数据架构，包括数据库、文件系统、数据仓库、数据湖、分析沙盒和数据科学中心。
• 选择最适合数据架构的数据库类型，如关系型、列型、图形型或文档型。
• 协助将概念和逻辑数据模型转换为物理数据模型。
• 定义数据集成框架、工作流程和流程，以实现数据接收、移动和转换。
• 协助选择最适合在集成框架中使用的数据集成工具。
• 与数据工程师、数据集成专家、数据库管理员和数据管理团队的其他成员合作，以实现数据架构。

数据策略对数据和信息架构设计的影响

数据战略是指数据将如何实现企业的业务战略并支持其持续运营的愿景。数据不是将数据视为业务活动的副产品，而是被视为企业资产，如果组织要取得成功，就需要对其进行规划、定义和管理。数据战略包括实现其目标的时间表、资源计划和财务理由。信息和数据架构是企业如何设计、构建和实施数据战略以及管理数据战略的蓝图。

企业的数据战略，以及信息和数据架构，将随着业务、竞争和市场的发展而发展。此外，技术变化将影响这些架构的构建和管理方式。成功的关键是认识到需要将变革纳入数据战略、数据架构和信息架构。

共生关系

企业需要一个信息架构和一个数据架构。信息架构由组织的业务战略和运营提供信息。数据架构通过提供捕获、转换、管理和管理创建有用信息所需数据的手段来支持信息架构。这两种架构的发展为增加数据和信息的使用及其业务价值提供了持续的机会。

关于数据架构与信息架构，有一个众所周知的争论。人们经常问的问题是：它们是同一件事吗？

企业架构师、微软博客撰稿人尼克·马利克（Nick Malik）在一个致力于清理维基百科上有关这些主题的条目的小组中认识到了固有的困惑。他的团队认为参赛作品应该合并。然而，在2014年，当他对IT社区进行民意调查时，他很快发现了一个分裂的受众，大约一半的调查参与者认为两者应该保持分离。

让我们来看看数据和信息之间的差异，以及企业组织需要了解的关键注意事项。

数据架构与信息架构

作者同意信息架构和数据架构代表两个截然不同的实体。原因如下所述：

数据与信息的区别

简单地说，数据指的是原始的、无组织的事实。将数据视为在没有上下文的情况下收集和存储的大量条目的捆绑包。一旦上下文通过将两个或多个片段以有意义的方式串在一起而被归因于数据，它就变成了信息。

同样，了解基础设施方面的差异也很重要：

• 信息架构是指为输入、存储和分析有意义的信息而设计的程序的开发。
• 数据架构是解释和存储数据的程序的开发。

架构特色

由于我们已经确定数据和信息是不一样的，因此在其架构平台中不能以相同的方式对待它们是理所当然的。

数据架构是基础。它查看传入的数据，并确定如何捕获、存储数据，以及如何将其集成到其他平台中。一个这样的平台很可能是一个信息架构，比如CRM，它使用原始客户数据来建立关于销售和销售流程的有意义的联系。

CRM是本例中的信息架构，因为它专门处理原始数据并将其转换为有用的数据。

这就是数据架构和信息架构之间的明显区别。数据架构定义了整个组织中数据的收集、存储和移动，而信息架构则将单个数据点解释为有意义的可用信息。

“信息资产”是指已转换为信息的数据的名称。创建信息资产是信息架构的驱动目的。信息资产可以分为以下几类：

• 目录
• 仪表板
• 文件
• 本体论
• 时间表
• 分类学
• 模板
• 术语

每个类别都建议将数据转换为有助于业务计划的内容，无论是类似数据的分组，还是可以向利益相关者提供有意义的数据快照的可视化表示。

数据和信息生命周期管理

另一个区别与生命周期管理角度的需求有关。除了数据和信息之间的明显差异外，每种数据和信息都有其独特的生命周期和在组织内管理它的最佳实践。与数据基础架构是坚实信息基础架构的基础类似，适当的数据生命周期管理将是信息生命周期管理过程的关键驱动因素。

现在，让我们深入了解更多的定义。

数据生命周期管理是指在数据的整个使用寿命中将数据从一个阶段推送到下一个阶段，直到数据最终过时并从数据库中删除的自动化过程。另一方面，信息生命周期管理着眼于一些问题，如一段数据是否有用，如果有用，如何使用？简言之，信息生命周期管理寻求获取原始数据并以相关的方式实施，以形成信息资产。

此外，信息资产有其自身的生命周期和价值，这取决于所涉及数据的质量和有用性以及如上所述的资产类型。信息生命周期过程的一部分要求开发人员考虑未来的状态实现。

例如，建议将一段数据更好地实现为仪表板或文档附件。这可能是提高整个组织的整体知识消耗、使信息民主化或创造更有意义的见解所必需的。

数据驱动的业务模型

越来越多的IT部门正在成为企业商业模式不可或缺的一部分。IT部门辅助流程的日子已经一去不复返了。现在，绝大多数部门和流程都由IT创新提供动力。

剑桥大学的一项研究表明，越来越多的企业正在创建新的模型，以适应对数据和信息的承诺。结果表明，这种方法取得了成效，比竞争对手提高了生产力。

该报告建议，当提出一种新的商业模式时，企业商业领袖会问自己以下问题：

• 数据驱动商业模式的目标结果是什么？
• 我们想为我们的目标市场提供什么？
• 我们需要什么样的软件、硬件和服务才能提供这种型号的产品？
• 我们将在哪里获得这些资源？
• 将如何使用收集的数据？
• 如何将其货币化以支持收入模式？
• 在实现这些目标的过程中，我们将面临哪些挑战？

但是，即使在创建了数据驱动的模型之后，一些公司也会失败，因为他们不理解在整个生命周期和成为信息资产的过程中推动数据的工作流程的重要性。

在数据和信息生命周期中建立最佳实践和工作流程可带来以下好处：

• 提高了整体上市速度
• 极大地降低了所有云环境之间的复杂性
• 易于扩展
• 有助于降低风险
• 改进了集成

为了实现这一点，公司应该研究如何集成、自动化和协调这些工作流程。Control-M等应用程序工作流编排解决方案可帮助组织抽象出众多数据源、多个应用程序和各种基础设施所涉及的复杂性。它帮助组织专注于创建新的信息资产并为业务提供见解，而不是花费宝贵的时间和精力来修复破碎的工作流程。

尽管如此，综合考虑所有因素，企业业务必须有合适的IT员工来创建功能性的业务模型。以下是为信息架构和数据架构创建的员工快照。

员工快照：信息与数据

一个运作良好的企业业务的核心是一个IT部门，该部门拥有合适的人员来管理其信息和数据架构。在下面的文本中，我们将研究数据架构、信息架构或两者都可能需要的位置。

首席信息官

企业组织的首席信息官对技术和创新做出重要决策，是企业商业模式中任何数字化转型或向IT转变的核心。

该职位的一些职责包括创新、集成云环境、激励IT部门以及根据预计需求制定IT预算。首席信息官将对数据和信息架构做出决策。在数据架构方面，一个重要的考虑因素是在数据湖和数据仓库之间做出决定。稍后将详细介绍这些要点。

（将首席信息官与首席技术官进行比较。）

信息架构师

信息架构师是信息架构和自动化生命周期管理过程不可或缺的一部分。他或她将实现信息结构、特性、功能、UI等。信息架构师的主要角色是专注于处理信息资产的基础设施的结构设计和实现。

数据架构师

与信息架构师一样，数据架构师致力于基础设施的结构设计，但在这种情况下，它专门用于收集数据，在生命周期中提取数据，并将其推入其他有意义的系统。

数据分析师

数据分析师的日常工作包括收集、检索和组织来自各种来源的数据，以创建有价值的信息资产。这是一个可能同时在由数据架构和信息架构组成的系统中工作的人。

数据分析师的一些功能越来越自动化，但即使实现了自动化，分析师对创建未来的信息状态仍然很重要。

信息分析员

信息分析师专门从事信息资产的提取和分析。

简要说明：数据湖与数据仓库

数据湖最近越来越受欢迎，但仍与数据仓库混淆。然而，重要的是要认识到这两者有着独特的差异，并且以不同的方式使用。数据仓库是指从组织内的各种来源积累的大量数据存储。

• 仓库用于指导管理决策。
• 数据湖是一个存储库或存储银行，它以原始形式保存大量原始（非结构化）数据，直到需要为止。

（阅读更多关于数据湖和仓库差异的信息。）

最后的思考：数据架构与信息架构

希望到目前为止，信息和数据架构是两个不同的东西的原因已经很清楚了。如果没有，这里简单回顾一下。

数据和信息架构具有明显不同的质量：

• 他们使用不同的资产：数据资产与信息资产
• 它们产生不同的结果
• 它们有着独特的生命周期
• 从架构的角度来看，它们需要不同的东西
• 他们需要具有不同专业的角色才能成为企业组织的一部分

尽管数据和信息架构是独特的，但重要的一点是，它们相互依赖，以便企业组织获得所需的见解，从而做出最明智的业务决策。

您的业务增长得越多，您的业务的数据架构就变得越复杂。企业数据架构的挑战无处不在——从一开始到整个过程。数据现在已经成为任何业务的命脉，如果没有坚实的底层数据架构，业务数据就无法生存。数据有助于企业识别风险和机遇，更好地了解客户，并对其业务运营做出明智的决策。

然而，多年来，数据管理已经成为一项复杂的活动。数据架构是数据管理的一个组成部分，它定义了数据使用、数据访问和数据存储的规则和策略。没有数据架构，企业就无法使用数据。在数据驱动的业务环境中，没有坚实的数据架构的业务将不会长期保持相关性。

数据架构为企业中的数据管理提供了基础结构和框架。它包括数据基础设施、数据治理、数据建模、数据清理、数据质量、数据集成、数据安全和其他组件。

2022年现代数据架构的主要趋势包括更高的速度、增强的可扩展性和更大的灵活性。然而，这些2022年的愿望清单项目也标志着今年需要克服更多的数据架构挑战。本文重点介绍了其中的一些挑战，并就如何克服这些挑战提供了指导。

挑战1：数据供应链

数据供应链包括数据管理、数据所有权、数据存储、数据访问和每个阶段的数据使用。根据数据的功能，数据可以多次更改位置，从而影响整个组织中与数据相关的其他活动。

数字商业世界中的数据管理，尽管听起来天衣无缝，但实际上充满了管理难题。随着数据易手并从一个所有者转移到另一个所有者，数据的旅程变得复杂且难以管理。

挑战2：数据仓库

大多数传统企业通过将特定功能的数据保存在部门竖井中来保护数据隐私。在这种情况下，一个部门使用的数据无法被另一个部门获得或访问。然而，这在先进的分析世界中造成了一个严重的问题，在那里，360度的客户数据或企业营销数据是日常必需品。公司，无论其规模、类型或业务性质如何，都很快意识到，要在数字时代取得成功，数据必须是可访问和可共享的。

然后是数据科学、人工智能和一系列相关技术，这些技术一夜之间改变了企业。如今，一般企业都是以数据为中心、数据驱动和数据驱动的。数据被认为是全球经济中的新货币。

在这个全球竞争的商业世界里，各种形式的数据都在交易和销售。例如，360度客户数据、全球销售数据、医疗保健数据和保险历史数据都可以通过几次按键获得。

现代数据架构旨在“消除数据孤岛，将来自公司各个角落的数据与外部数据源相结合。”根据《数据现状和下一步行动》报告，实时数据访问是使用集中式数据平台运营的全球企业最近面临的挑战。现在，随着数据网格嵌入现代数据架构，重点是“让公司中的任何人、任何地方都可以使用数据，并注重速度。”

挑战3：缺乏数据集成

大多数企业缺乏适当的数据收集和数据集成基础设施。在任何业务中，数据通常是从完全不同的来源和完全不同的类型中收集的。大数据时代通过引入来自许多不同数据源的高速、高容量、多类型数据，放大了这一挑战。

如果多类型数据没有正确集成，然后转换成机器可读的格式，那么这些数据就不能用于分析。数据孤岛，再加上缺乏适当的数据集成工具，使得业务用户很难知道哪些数据是可用的，如何使用这些数据，或者谁可以访问这些数据。

一个非常常见的例子是，企业的CRM系统和销售系统完全没有连接，并且没有集成平台将它们连接起来。这个问题可能会对数据驱动的决策构成真正的威胁。

挑战4：数据清理和准备

在传统的数据驱动企业中，由于严重缺乏适当的基础设施和劳动力，数据清理和准备往往不足。在这些日子里，数据清理和准备都是手动完成的，缺乏合适的工作人员导致数据准备质量低下，从而导致错误的见解和糟糕的决策。

得益于现代数据架构，现在数据清理和数据准备这两个关键步骤已内置到数据架构中。自动化的数据清理和数据准备过程不仅减少了人力，而且显著改善了数据分析过程。

挑战5：数据安全和治理

数据安全与数据质量密切相关。如果业务数据管理不善，不仅会带来安全风险，还会带来数据管理风险和失败。这会导致不准确、不相关或质量差的数据，这些数据对任何业务目的都毫无用处。

低质量的数据会导致糟糕的商业决策，这在竞争激烈的全球商业环境中是不可接受的。在数据驱动的业务中，日常决策和行动取决于数据的质量、安全性和治理。如果没有适当的数据治理流程，业务数据可能不再有用。

据《福布斯理事会邮报》报道，由于缺乏合格的劳动力和适当的分析工具，大多数企业未能充分利用大数据技术。现代数据架构的目标是嵌入自助服务、数据分析工具和广泛的数据访问，以帮助业务用户完成日常工作。

数据治理结合了许多不同的功能，如数据所有权政策制定、数据管理、数据质量控制、数据访问控制、数据安全评估和数据审计。因此，数据治理是一项复杂的多功能业务活动，需要深入了解数据管理和数据架构。

挑战6：内部数据中心的运营成本

内部数据中心包括硬件系统、软件系统、安全措施和访问控制。这大大增加了企业的成本和管理负担。此外，数据中心必须遵守所有监管机构和政策，因为第三方的定期审计可能意味着数据中心的生死存亡。

现在，由于云上有许多选择，数据中心位于云上，具有卓越的数据架构。托管数据架构提供了业务数据处理和数据管理的所有便利，而没有成本负担和内部资源需求。尽管公共云非常适合现代数据架构，但数据安全和治理问题迫使组织选择混合或多云选项。

挑战7：缺乏技术工人

多年来，企业无法充分利用数据驱动的系统和流程，因为他们负担不起许多数据科学家。

现代数据架构大大缓解了缺乏合格的数据科学工作者的问题。在数据优先的商业世界中，企业不再需要依赖昂贵而稀缺的数据科学家来进行高级分析和数据驱动的决策。

现代数据架构确保了通过广泛的数据访问和自助数据平台在企业中实现民主决策。本文强调了与寻找和雇佣数据科学家和大数据分析师相关的数据架构挑战。

挑战8：数据架构师的角色演变

2022年，数据架构师被认为是未来雇主追逐的“大游戏鱼”。在当今的商业环境中，数据架构师是一名战略性员工，在业务中享有更高的薪水和更大的发言权。

数据架构师的角色在过去几年中发生了巨大变化，数据架构平台变得完全或半自动化。人工智能和机器学习驱动的数据架构解决方案将数据架构师转变为一名经验丰富的专业人员，能够开发“关键的架构文档并记录可能的风险”

挑战9：数据引力

在混合或多云环境中，企业面临着一种名为“数据引力”的现象，这是一个由多平台应用程序和从不同来源获取数据集引起的问题。然而，好消息是，这些数据架构挑战可以通过不同的数据存储平台、边缘计算、事件驱动架构以及在公共云上使用批处理来缓解。

术语数据架构是指管理数据的收集、存储、准备、共享和分发的可实施标准和协议的集合。 这套预定义的标准和协议旨在扩大繁忙业务环境中数据分析的范围和目的。

传统数据管理系统的一个主要问题是，虽然许多通用功能由技术供应商出售，但自定义组件通常是后来零零碎碎地开发的，作为临时解决方案。 因此，这些“创可贴”系统的数据架构缺乏整体控制，而这可以在企业数据管理项目的一开始就规定。 没有可靠的数据架构最佳实践的海量数据就像一个数据沼泽——随时准备淹没无知的业务用户。

在现代数据架构中，这个问题已经得到很好的解决，目前组织内的技术团队遵循标准化的蓝图来开发和实施企业数据架构。

在存储成本高昂的前云时代，许多数据管理最佳实践很难实施。 现在，随着闪电般快速的服务器、增加的存储和降低的成本，组织发现实施这些困难的最佳实践变得更加容易。

一个例子是数据质量，它最好作为一种整体架构方法来解决——集成为数据架构的核心组件。

为什么需要有效的数据架构最佳实践？

随着数据即服务 (DaaS) 的兴起成为云业务战略的核心组成部分，有效的数据架构变得势在必行。 此数据架构可确保业务用户的数据治理、数据准确性和按需数据可用性。

现代数据架构的主要层次包括物理层，即硬件组件和数据准备技术； 定义架构框架内不同数据类型之间关系的逻辑层； 数据共享层定义了数据如何在用户和进程之间共享。

最近，企业已经完全摆脱了他们的遗留系统，为实时产品推荐、定制报价和多个客户沟通渠道让路。

智能技术和更新的数据平台的出现使数据架构变得非常复杂，常常会影响效率。 三到五年生命周期的传统数据架构模型正面临越来越大的风险。

现在是考虑架构驱动、以数据为中心的业务的好时机。 随着更新更好的数据技术不断发展，技术专家将不得不探索和设计最佳实践，以将这些新技术应用到新的数据架构模型中，该模型不仅敏捷、有弹性，而且面向未来。

什么使数据架构最佳实践有效？

现代数据架构的目标是提供一个框架来管理跨多个数据平台的任何数据。 为此，TechTarget 提出了精心设计的数据架构的 5 条原则。

为了进一步讨论，回顾一下现代数据架构的一些基本特征：

• 精确的业务目标：从历史上看，受数据影响的业务决策的可用性决定了决策者需要什么。 使用现代数据架构，游戏规则已经改变。 现在，决策者可以定义精确的业务目标并操纵数据集以满足数据分析的确切要求。
• 数据共享：良好的数据架构可消除数据孤岛并促进协作。 在这种架构中，来自不同业务部门和多个来源的数据被收集、整理并存储在一个位置以消除重复。 数据共享是这种环境中的关键要素。
• 自动化：由于自动化，不同业务流程和系统之间的数据管道变得精简。 基于云的数据架构促进了跨不同系统的敏捷数据集成和数据共享。
• 智能架构：随着复杂的人工智能和机器学习（智能）工具的轻松使用，现代数据架构能够进行按需调整以消除数据质量错误和数据识别错误，并发现新的见解。
• 弹性(Elasticity)：在过去的十年中，数据架构已经从数据仓库转移到数据湖，然后再回到数据仓库——完全不确定如何满足业务不断增长的需求。 最近，企业所有者和运营商意识到，随着企业不断变化的需求而扩展的数据架构是数据架构可持续性的答案。 现在，得益于云和人工智能技术，企业可以选择与可扩展性相关的按需服务。
• 安全性：所有现代数据架构都需要符合数据隐私和安全标准。 在开发架构模型时，需要严格遵守通用数据保护条例 (GDPR) 等数据法规。 元数据管理最佳实践讨论了大多数业务运营商如何表达在高度数据监管的世界中从“数据中获取价值”的重要性。

数据管理的未来

福布斯记录了客户对数据未来的看法。 大多数行业领导者都认为获取大量数据和有效使用这些数据是两种完全不同的活动。

企业要以数据取胜，企业运营者需要以有效的数据架构为出发点。 以数据为中心的组织的主要特征之一是一个集中的、数据丰富的平台，该平台可以与开源解决方案相结合，以进行深入分析和及时决策。 拥有基于云的中央数据存储库的在线零售商 Wayfair 就是一个很好的例子。

在以数据为中心的组织中，创新的步伐已经改变了游戏规则。 每天都有新的数据技术和工具出现在市场上，企业几乎不可能跟上当今提供给数据团队的技术选择。

虽然一方面，数据质量和元数据管理仍然是主要挑战，但市场上可用的无限技术解决方案进一步增加了这一挑战。 最近的一次网络研讨会讨论了如何将可用技术与数据架构最佳实践相结合，以帮助企业从数据分析中获得即时价值，同时密切关注数据架构的长期可持续性。

尾注

当没有可靠的数据架构时，数据用户不可避免地要花时间提取和组织数据，而不是分析数据。 全球组织需要提高数据意识并构建数据架构最佳实践，以牢牢掌握所有数据活动。

现在，有了先进的数据存储和数据处理技术，可以进行初始时间和成本投资来开发更敏捷、更健壮和更高效的数据架构。 通过这些高效的数据管理流程取代陈旧的数据管理系统，高薪数据专业人员可以专注于从他们的数据中提取价值。

“虽然数据架构专注于技术和基础设施设计，但数据治理包括人员、流程、工作流程以及支持治理所需的架构。因此，尽管数据架构对数据治理至关重要，但它只是更广泛整体中的一小部分，”全球数据战略董事总经理Donna Burbank表示。她将数据治理与数据架构之间的差异比作关于视角的老故事中的大象：

“五个老人正在看着大象。其中一个看到大象的尾巴，他认为大象看起来像一根绳子。一个看到象鼻，他说它看起来像蛇，一个看到脚，他说看起来像树干，他们都没事。”

每个人都从自己独特但有限的位置看到整头大象。她说：“我认为，对于数据治理来说，这往往是很多技术人员感到困惑的地方。”。一些IT人员认为数据架构与数据治理相同，但其范围远不止于此。一旦你包括了组织、流程、人员和文化，你就更有可能成功。

她说：“数据治理是数据架构所起作用的总体框架。我认为数据治理更广泛，因为它涵盖了组织、人员和流程，并在很大程度上创造了一种数据驱动的文化。”。

Figure 1: Data Architecture is Part of a Wider Data Governance Framework (Credit: Global Data Strategy)

这些概念是相互关联的，因此看起来与数据架构完全相关的过程可以在数据治理中发挥关键作用。例如，数据输入：“如果你在前面输入客户数据，但输入错误，这就是治理，[因为]这会影响下游的事情。”她说，在治理过程中创建的查找表可以通过更容易地正确输入客户数据来支持引用完整性。“所以，这是架构、人和过程之间的来回。”

她说，数据架构和数据治理“相辅相成”。“数据治理可以围绕数据架构制定规则，IT部门通常会接受这一点，因为他们喜欢有人可以将这些问题上报给他们。”

技术通过技术中固有的结构或边界提供牙齿。

“在业务方面，你可以有一个很好的规则，说‘这些是某个领域的有效值’，但除非你的数据架构支持这一点，否则这只是一个规则，人们可以打破规则。因此，架构和治理不仅相互支持，还可以帮助彼此提高效率。”

对老派概念的兴趣与日俱增

伯班克认为，对人工智能和预测分析的兴趣推动了人们对数据治理和数据架构等基础概念的兴趣死灰复燃：“除非你有好的数据，否则你不可能做所有这些新的热门事情。这不是旧的与新的，也不是老派与新派；而是你需要这些基础。”

她说，对于那些在这个行业工作了很长时间的人来说，这可能看起来像是老东西：

“一些在架构和治理方面进行了投资的公司已经能够更容易地实施其中一些新技术，因为它们有良好的数据基础。那些公司通常不必迎头赶上。”

数据治理与数据架构：哪一个优先？

关于从哪里开始，有不同的理论，但伯班克建议从深入的成熟度评估开始，该评估基于一个显示愿景和战略如何与工具和技术相关的框架。她建议在开始时仔细研究框架中的每一个方框。“这些都是非常简单的问题，但每个框中只有两个问题就足以说明问题，”她说。

• 你为什么这么做，谁在乎呢？
• 它能解决什么问题？
• 谁将成为您的主要利益相关者？
• 谁将成为你的执行冠军？
• 你的投资回报率是多少？
• 哪些治理组织已经存在，谁参与其中？
• 如何衡量哪些数据是好的还是坏的？
• 如何跟踪结果？
• 人们对数据治理有积极的看法吗？
• 他们认为这是一种负担吗？

“简单的问题，比如金字塔顶端的问题——这些是最重要的问题，因为它们推动了其他一切。”她说，工具和技术部分几乎可以是一个清单。问一些问题，比如“你有什么数据，存储在哪里？”以及“有数据模型吗？”

她说：“你不必从一个巨大的评估开始。每个盒子里都有几个问题是一个很好的开始方式，人们可能自己可以做很多。”。伯班克的客户会得到一系列更为广泛的问题，并有详细的步骤。“对于组织和个人来说，你有指导委员会吗？指导委员会有可操作的结果吗？不仅仅是‘是’或‘否’：有很多细节。”

评估的细粒度不仅显示了差距在哪里，而且有助于揭示这些差距的原因。“很多人都有一个指导委员会，但什么都没做，那么指导委员会是如何成立的？数据管理是如何建立的？”她说，这两个领域都需要同样强大。“如果其中任何一个存在差距，那可能是你拥有所有的工具、技术和流程，但文化并不存在。”她的客户最终得到的结果是一个颜色编码的成熟度评估，其中优势区域用绿色表示，改进区域用红色表示。

以快速的胜利鼓励强大的数据文化

她说，人们通常可以将数据治理视为一种负担，但并非必须如此。

“你是如何让人们对此感到兴奋的？事实上，这种情况一直都在发生。从快速获胜开始，[你可以]让人们问，‘我能成为数据治理的一部分吗？’”

伯班克建议选择一些“能给很多人带来好处”的小东西。例如，零售商可以定义他们的客户生命周期、文档流程和数据流，以跟踪客户第一次看产品时、购买时、续订时以及在社交媒体上告诉朋友时的情况。

“如果我们只是在所有这些竖井中获得了正确的电子邮件地址，并且是一致的，我们就可以跟踪我们的客户，从他们第一次给我们电子邮件地址到他们注册忠诚度计划。如果我们都进行了沟通，想想这会有多好。然后，如果我能从另一个团队获得购买信息，那么超越这些竖井的价值就变得显而易见了。”。”

这是一个“对我来说有什么？”的问题，它是关于让它不让人不知所措，因为没有人想拥有这个需要别人花很多时间推动的庞大项目，但如果你能找到每个人都需要的东西。“这是一场快速的胜利，”她说。“然后人们肯定想要更多。”

数据治理与数据架构：什么更重要？

伯班克分享了两位客户的故事，他们在成熟度评估中处于对立的一边。

“一个团体将他们的商业目标和目的与一些法规和营销活动联系在一起。他们有多个团体支持。这是营销，这是工程，这是合法的——他们有几个团体想要数据治理。他们已经确定了目标，但其他方面都有点薄弱。他们还没有成立委员会，也没有任何工具。”

她说，他们的目标很好，但根据他们的评估，他们只有一个绿色部分，其他都是红色的。“他们很沮丧，我说，‘不，这是最好的地方，因为你有正确的目标。’”另一家公司的评估显示，在技术、建筑等方面大多是绿色的，但他们没有致力于一个共同的目标，也没有得到所有集团的认可。

“他们拥有你能想象到的一切工具，一切都准备就绪。选择一种工具——他们有六种——他们有多种相互竞争的技术，但他们在文化中没有那么普遍的认同感，这就是他们的红色。一年过去了，那些有合适的司机和合适的人的人走得更远，因为他们赢得了人心。”

“从整体上看，”她说。“这是大象的一部分——有些人可能认为他们有数据治理，但他们还没有真正考虑到围绕它的文化，所以他们还没有完成。”她说，最好的开始是让人们团结起来。“当人们有正确的目标时，你可以做任何事情，对吧？”

以下是五个核心数据架构原则，可帮助组织构建一个成功满足其数据管理和分析需求的现代架构。

你有没有看到房地产清单上描述的房子是建筑师设计的？它增加了很多要价，但不是所有的房子都是建筑师设计的吗？大多数都是，但它们通常是由一家建筑公司大量生产的。不过，如果你的房子算是建筑，那么有人会根据特定的需求和品味来设计它。

同样，当您的数据架构基于您的特定数据管理和分析需求组合在一起时，您的组织也会受益。但通常情况下，我们从技术供应商的产品设计中继承了许多通用组件和集成。如果我们已经定制了数据架构的一些结构，那么这可能会在很长一段时间内临时发生。

很难从一开始就提供一个规范的架构来满足您的所有需求。但我可以提出一些经验法则和最佳实践，帮助定义有效的现代数据架构。以下是需要牢记的五个数据架构原则。

1.储存是一种商品，但仍然是一种考虑因素

不久前，数据存储还很昂贵。以至于定义存储格式、备份策略和归档计划成为数据架构师工作的重要组成部分。甚至可以选择和调整记录中单个字段的数据类型，以降低存储成本。

事情发生了怎样的变化。我不再需要从专业供应商那里征用1TB的存储空间，以及机架安装、电源和冷却风扇。今天，我可以在一张SD卡上，甚至是一张microSD卡上节省一兆字节。曾经，这足以运行世界上最大的数据库。存储——无论是在云中还是在本地——现在都是一种商品。

Follow these principles to help put your data architecture on the right track.

这有三个积极的结果。首先，当然，我们节省了很多钱。此外，现代数据架构不再仅仅为了降低存储成本而涉及复杂的过程。如果数据管道中的一些数据转换可以通过使用临时云存储更容易地完成，那就去做吧。增加的成本可能可以忽略不计。最后，我们可以存储比以前多得多的数据，包括曾经存档的老化或补充数据集。现在，我们的企业数据的全部范围都可以使用了。

即便如此，数据架构最佳实践仍应考虑数据存储。例如，将数据存储在处理位置附近可以提供实时分析和操作所需的性能优势。如今，即使是内部存储也足够便宜，可以实现这一点。此外，我们可能会选择保持大量历史数据的连续可用性，因为我们可以负担得起。但在发生停机时恢复这样的系统可能需要比分割当前和旧数据更长的时间。

2.分析应遵循数据

从数据仓库的早期到商业智能系统的出现，再到今天的机器学习管道，我认为这是最实用的数据架构原则之一：分析遵循数据。通常，在数据源附近部署分析工具比将数据移动到分析环境更有效。

大多数分析应用程序只将数据减少到我们需要的字段。如果你知道SQL编程语言，你就会记得你被教导不要使用SELECT*的速度有多快，这是一个著名的糟糕的初学者查询，它从表中的每一列返回数据。同样，在数据分析中，我们通常会选择特定的记录进行分析。我们的许多计算工作都涉及到从过程中删除数据。

考虑到这一点，当数据分析师的首要任务是减少数据时，将所有源数据移动到新环境中是没有意义的。在源系统中进行所需的数据建模、缩减和整形工作更有效。

您也可以将源数据留在本地系统中进行分析，而不是将其迁移到云中。这就是为什么BI应用程序迁移到云的速度相对较慢的原因：当大多数数据都在本地处理和存储时，在那里进行分析也是有意义的。

数据移动量越少，性能越好，数据架构越不复杂，需要管理的环境越少，数据管理也越容易，所需的用户访问控制也越少。

3.多云环境是常态

世上没有云这样的东西。好吧，这有点争议，但我希望我能引起你的注意。我的意思是，当我们谈论云时，我们是在懒惰。没有一朵云。对于大多数企业来说，可能有几个——事实上，很多——不同的云服务在使用。它们通常在不同的云平台上运行，它们之间或多或少（通常很少）有连接和集成。

例如，今天使用基于云的CRM、费用管理和人力资源系统是很常见的。但是，如果你想分析这些应用程序中的数据——比如说，为了衡量销售团队的成本和效率——你可能必须将多个平台作为数据架构的一部分进行集成。所涉及的问题可能不像许多内部部署系统中的部门数据仓库那样具有挑战性。云应用程序通常比传统应用程序具有更好的API和元数据。但您仍然需要考虑不同的数据结构和不同的系统延迟。

4.不要将数据治理与合规混为一谈

随着公众对数据隐私的日益关注和世界各地立法的不断增加，企业数据的使用和滥用不再只是一个技术问题。从首席营销官（他必须找到新的方法来管理邮件列表和广告）到首席财务官（他对数据泄露的巨额罚款感到担忧），监管合规性让每个人都感到担忧。

解决这些焦虑的架构通常涉及数据治理工具和其他数据管理软件。例如，企业数据目录对来自各种来源的数据的使用进行分类和管理，包括操作系统和报告系统。分析目录也对项目进行分类，但侧重于我们在数据之上构建的工件，如仪表板和数据可视化。它有助于管理数据使用，而不是数据源本身。

数据架构中包含的其他治理工具可以提供集成的安全性，例如用于各种技术的单点登录平台。一些工具跟踪数据的存储、移动和使用位置，因为国家和地区的隐私法各不相同。

尽管这些工具可能很有用，但我们必须牢记一个关键原则：治理和合规不是一回事，但它们之间存在着重要的双向关系。

合规性很容易描述：您的组织对数据的使用是否遵循相关法律、准则和规则？换句话说，您的流程是否勾选了所有正确的框？这些复选框可能是当地、国家和国际法律的要求，如欧洲的GDPR或美国的CCPA和HIPAA。ISO和NIST等标准机构也可能要求这些复选框。内部规则和程序也是一种遵守形式。错过哪怕一个盒子，你也可能不顺从，这可能会带来潜在的后果。这在理论上很简单，但在实践中很复杂。

另一方面，治理让人感觉有点自相矛盾。这与做出正确的决定无关，而是以正确的方式做出决定：你遵循最佳流程吗？数据治理需要一套预先定义、在行动中遵循并可回顾的策略和流程。其中不仅包括数据架构的最佳实践，还包括业务实践。

在没有良好管理的情况下遵守规定是可能的——你可能会因为运气好而不是判断好而勾选所有的框。但这种情况不太可能发生，更不可能持续下去。通过这种方式，数据治理和法规遵从性是相辅相成的，而治理是更基本的数据架构组件。

5.未经分析的数据是浪费的资产

数据是一种商业资产，这是现代数据管理的陈词滥调。但是，仅仅放在那里的数据只是一个成本中心，需要维护，而没有提供任何业务效益。当我们使用它时，我们开始意识到它的价值，尤其是以新的方式。

一些组织通过将数据货币化找到了新的收入来源。高价值数据，如详细的消费者信息，可能是一个重要的收入来源。但对于大多数企业来说，数据货币化只是一种副业。

然而，分析可以释放新的商业见解，从而释放新的价值。BI帮助高管规划业务战略并跟踪绩效指标。BI软件中内置的新增强分析工具将机器学习带入商业主流，以帮助数据准备和分析。数据科学家使用机器学习算法和其他先进的分析技术来预测商业问题和机会，并在数据集中发现对人眼来说太复杂、太大或太快的模式。

优化您的数据架构以支持分析过程是值得的。考虑一下如何移动数据：将数据保留在本地有好处吗？是否存在需要将数据存储在特定国家或州的安全或治理问题？这些因素和其他因素可以帮助您找到最适合您的组织的架构设计。

数据架构设计思维

当然，这五个原则并不是构建有效数据架构所需要的全部。但它们可以为你提供一些有用的思维模式。在房地产上市中，你经常会遇到一些房子，它们一开始是普通的建筑，但被业主打造成了独一无二的。您的数据架构应该朝着同样的方向发展。它可能没有梦想之家的浪漫，但它是你的组织有史以来最重要的投资之一。

企业架构不仅仅是所有子域架构的组合，而是它们的综合。

来自维基百科：在信息技术中，数据架构由模型、政策、规则或标准组成，这些模型、政策或标准管理哪些数据被收集，以及如何在数据系统和组织中存储、排列、集成和使用。数据通常是构成企业架构或解决方案架构支柱的几个架构域之一。

软件架构一词直观地表示软件系统的高级结构。它可以定义为对软件系统进行推理所需的一组结构，包括软件元素、它们之间的关系以及元素和关系的财产

1.数据和软件架构是不同的架构领域

软件架构和数据架构是独立的架构领域，有不同的关注点。虽然不是绝对需要的，但它们应该集成在企业架构的定义和管理伞下。

• 1） 软件架构焦点：如果您正在回答有关软件的性能或详细设计的问题，即软件架构，无论它是单个领域的一部分还是整个公司的一部分。
• 2） 数据架构焦点：如果您正在回答有关如何存储、规范化和连接信息的问题，那么这就是数据架构。甚至元数据也属于这一类。
• 3） EA范围：如果你在回答软件与公司流程的集成程度、根据特定公司需求进行更改的能力，以及该软件如何适应公司战略的问题，这就是企业架构。数据如何适应这种上下文，谁拥有数据，数据是如何创建的（数据源自何处），以及数据如何适应业务理解，这就是企业架构。有自然的交叉，从签字的角度来看，企业架构师负责整个架构，但应该能够将签字分配给技术级别的架构师，以使他们能够做出决策。

2.数据与软件架构之间的深度连接

虽然数据架构和解决方案/应用程序架构的技术和工件是不同的，但状态和行为之间也有着深刻的联系。良好定义和执行的数据架构是良好定义和成功的软件架构的必要前提。完全独立地处理这些问题是不明智的。

数据和软件架构应被视为企业架构战略的组成部分。尽管很多时候，数据架构（有时称为信息架构）与组织中的信息流有关，以实现决策，但它并没有得到太多关注。因此，检查列表可能包括：

1. 业务在定义企业架构战略方面扮演什么角色，这样您就不会出现这样的缺陷？
2. 或者，业务部门如何提供输入以确保您不会陷入数据孤岛？为什么这么多公司最终会出现数据孤岛，尽管他们可能有企业架构师作为角色？
3. 这是否意味着企业架构战略根本没有兑现承诺？或者，企业架构在组织中的感知方式是否会导致这种情况？

数据和软件架构作为EA的两个不同方面

企业架构是人员、流程和技术的集成。它涉及到其他子域架构，并且必须意识到它们。

数据和软件架构是EA的两个不同方面，但它们应该位于EA组的同一屋檐下。然而，EA对许多组织来说都是新的，而且往往管理不善。如果部署不正确，它会留下一种糟糕的氛围，人们不再接受它。如果你全面而有效地处理它，筒仓会相互交谈。在你召集他们谈话之前，要知道你已经做好了准备。

在大多数情况下，软件架构将是BIDAT（业务、信息、数据、应用程序、技术）的相互作用，尽管在某个时间点对D（数据）、A（应用程序）、T（技术）维度的强调可能取决于几个因素，包括

• 将软件架构扩展到传统边界之外，以便在内部与其他业务部门集成，在外部与合作伙伴、服务提供商和其他部门集成
• 几个内部/外部服务的耦合，以增强软件架构。
• 云的风格：肯定会扩展传统架构，数据和集成在其中发挥着越来越重要的作用

因此，数据架构和软件架构是企业架构的两个不同的子域，但它们是密切相关的，通过对它们进行一致的管理，企业可以分解数据/信息筒仓，使业务作为一个整体更加有效和高效。

了解如何在数据架构领域实现和加速有回报的职业生涯，并从一些最佳的数据架构师和数据工程师证书中进行选择。

专业认证可以帮助从事数据架构师和工程师工作的人启动或加速他们的职业生涯，并在竞争中占据优势。这些认证根据供应商和行业基准来衡量一个人的知识和技能，向潜在雇主表明，此人拥有成功所需的专业知识，并参与制定和实施企业数据战略。认证表明，当前的数据架构师和数据工程师正在对自己的职业生涯采取积极主动的态度。由于认证专业人员是任何组织的资产，认证为企业留住这些员工提供了激励，通常是通过晋升或加薪。

以下是一些顶级数据架构师和数据工程师认证的列表：

1.IBM认证解决方案架构师--数据仓库V1

该认证涵盖了数据仓库的规划、设计、构建、管理和安全，只需最少的支持、文档和主题专家的帮助。个人必须通过由七个部分和总共62个问题组成的考试（需要42个正确答案才能通过）。个人还必须证明他们理解数据仓库的概念和体系结构原理，能够分析客户的业务需求和流程，并且能够为数据仓库构建数据模型。

谁应该学习这门课程：数据架构师、开发人员、IBM内部雇主、业务合作伙伴和销售IBM产品的独立顾问。Course details

2.IBM认证解决方案架构师--Cloud Pak for Data v4.x

该认证验证了一个人可以在混合云环境中设计、规划和构建数据和人工智能工具。这位认证架构师领导和指导与该工具的实施和配置相关的任务，其中可能包括数据治理、数据科学、人工智能和机器学习。个人必须通过由六个部分和总共63个问题组成的考试（需要42个正确答案才能通过）。

谁应该上这门课：大数据分析师和大数据专家。

Course details

3.美国数据科学委员会（DASCA）大数据助理工程师（ABDE）

该认证证实，个人精通在工程中使用与供应商无关的跨平台工具、语言和技术，以及开发大数据分析应用程序。该认证有助于人们进入分析应用程序开发、数据科学和大数据工程领域。候选人从三个适合其工作和教育背景的轨道中选择一个。他们应该了解编程的基本知识，并具有使用Core Java等工具的实践经验，以及对Linux环境和数据库的理解。

谁应该参加这门课程：软件工程师、信息技术工作人员、拥有信息技术、计算机科学或软件工程学士学位的人员。

Course details

4.谷歌专业数据工程师

此认证考试决定个人是否能够设计、构建、部署、保护和监控数据处理系统。它还评估了使用、部署和持续训练现有机器学习模型的能力。每位考生必须通过两小时的考试，其中包括多项选择题和多项选择题。这次考试没有先决条件，但谷歌建议至少有三年的行业经验，包括至少一年使用谷歌云平台设计和管理工具的经验。

谁应该参加这门课程：数据科学家、数据工程师、数据架构师、DevOps工程师和机器学习专业人士。

Course details

5.AWS认证数据分析——专业

该认证确认了个人在AWS服务方面的技术技能和经验，以帮助建立和管理分析操作。它还确定个人是否可以定义AWS数据分析服务，以及识别它们如何相互集成。此外，个人必须了解AWS数据分析服务如何与收集、存储、处理和可视化的数据生命周期相结合。要参加这次考试，个人应该至少有五年的数据分析技术实践经验，并在AWS服务部门工作两年。这次考试时长180分钟，由65道选择题或多项回答题组成。

谁应该学习这门课程：数据平台工程师、数据架构师、数据科学家和数据分析师。

Course details

6.Cloudera认证专家（CCP）数据工程师

该认证有助于验证个人在Cloudera CDH（Cloudera分布式Hadoop）环境中执行关键任务的技能。考试测试的数据工程技能包括数据获取、转换、暂存、存储和数据分析工作流。除了在该领域有实践经验外，候选人还应首先参加Cloudera的Spark和Hadoop开发人员培训课程。考试有240分钟的时间限制，申请人需要在CDH测试集群中实现解决方案，以满足某些用例要求。

谁应该学习这门课程：数据科学家、数据工程师、数据分析师和项目经理。

Course details

7.微软认证：Azure数据工程师助理

寻求此认证的个人应是将非结构化和结构化数据系统中的数据集成、转换和整合为可用于构建分析工具的结构的主题专家。该认证表明，个人可以设计、开发、实施、监控和优化数据存储、数据处理和数据安全，并使用各种Azure数据服务和语言来存储和生成经过净化和增强的数据集以供分析。该认证要求具备Python、SQL或Scala等数据处理语言的丰富知识，对并行处理和数据架构模式的理解，并通过DP-203考试：Microsoft Azure上的数据工程。

应该学习这门课程的人员：数据工程师、数据架构师、IT专业人员、数据库管理员和商业智能专业人员。

Course details

8.Arcitura认证大数据架构师（BDSCP）

大数据架构师课程由几个大数据科学认证专家（BDSCP）模块组成：基础大数据、大数据分析与技术概念、基础大数据架构、高级大数据架构和大数据架构实验室。最后一个模块是一系列的实验室练习，要求个人应用他们在前几门课程中学到的知识来满足项目的要求并解决现实世界中的问题。获得这一认证表明，个人可以在本地或云中设计、实施和集成大数据工具。BDSCP的全面检查时间为170分钟。

谁应该参加这门课程：数据科学家、数据分析师、数据工程师、数据经理和IT专业人士。

Course details

9.Snowflake高级：数据科学家

Snowflake是使用最广泛的云数据平台之一，该认证旨在通过该平台测试个人的知识和技能。经过验证的技能包括对数据管道、数据准备、功能工程、模型开发和部署的理解。申请人应具有两年或两年以上在企业数据科学用例中使用Snowflake的经验。考试时间限制为115分钟，共有65道选择题。

谁应该学习这门课程：在Snowflake数据云上构建数据技术的数据科学家、数据分析师、数据工程师、数据经理和IT专业人员。

Course details

10.Databricks认证数据工程师专业

Databricks是数据湖屋概念的先驱之一，其开源的Delta Lake技术。该认证验证了个人在数据工程任务方面的知识和专业知识，如三角洲湖的使用和部署，以及建立数据管道的能力。了解Apache Spark，以及使用Databricks平台进行数据分析和机器学习也是关键要求。考试有120分钟的时间限制，由60道选择题组成。

谁应该学习这门课程：在Databricks平台上构建数据技术的数据科学家、数据分析师、数据工程师、数据经理和IT专业人员。

Course details

数据架构师可视化并设计组织的企业数据管理框架，与企业战略和业务架构保持一致。

数据架构师角色

数据架构师是将业务需求转化为技术需求并定义数据标准和原则的高级远见者。数据架构师负责可视化和设计组织的企业数据管理框架。此框架描述了用于计划、明确规定、启用、创建、获取、维护、使用、归档、检索、控制和清除数据的过程。DAMA International的数据管理知识机构表示，数据架构师还“提供了标准的通用业务词汇，表达了战略需求，概述了满足这些需求的高级集成设计，并与企业战略和相关业务架构保持一致”。

数据架构师职责

根据Panoply的说法，典型的数据架构师职责包括：

• 将业务需求转化为技术规范，包括数据流、集成、转换、数据库和数据仓库
• 定义数据体系结构框架、标准和原则，包括建模、元数据、安全性、参考数据（如产品代码和客户类别）以及主数据（如客户、供应商、材料和员工）
• 定义参考体系结构，这是其他人可以用来创建和改进数据系统的模式
• 定义数据流，即组织的哪些部分生成数据，哪些部分需要数据才能发挥作用，如何管理数据流，以及数据在过渡中如何变化
• 与多个部门、利益相关者、合作伙伴和外部供应商进行协作和协调

数据架构师与数据工程师

数据架构师和数据工程师的角色密切相关。在某些方面，数据架构师是一名高级数据工程师。数据架构师和数据工程师共同工作，以可视化和构建企业数据管理框架。数据架构师负责可视化数据工程师随后构建的完整框架的“蓝图”。根据Dataversity的说法，数据架构师在一个可供数据科学家、数据工程师或数据分析师使用的框架中可视化、设计和准备数据。数据工程师协助数据架构师构建数据搜索和检索的工作框架。

数据架构师与数据科学家

根据Dataversity的说法，数据架构师和数据科学家的角色是相关的，但数据架构师专注于将业务需求转化为技术需求，定义数据标准和原则，并构建供数据科学家使用的模型开发框架。数据科学家是将计算机科学、数学和统计学应用于构建模型的专家。

如何成为一名数据架构师

数据架构师是一个不断发展的角色，目前还没有针对数据架构师的行业标准认证或培训计划。通常，数据架构师在工作中学习数据工程师、数据科学家或解决方案架构师，并凭借多年的数据设计、数据管理和数据存储工作经验，逐步成为数据架构师。

在数据架构师身上寻找什么

大多数数据架构师拥有信息技术、计算机科学、计算机工程或相关领域的学位。根据Dataversity的说法，优秀的数据架构师对云、数据库以及这些数据库使用的应用程序和程序有着扎实的理解。他们了解数据建模，包括概念化和数据库优化，并表现出对继续教育的承诺。

数据架构师有能力：

• 设计实现预期业务模型的数据处理模型
• 开发表示关键数据实体及其关系的图表
• 生成构建设计系统所需的组件列表
• 清晰、简单、有效地沟通

数据架构师技能

数据架构师需要精通数学和计算机科学、数据管理技能以及分析和呈现统计信息的能力。

Anthem分析交付主管、CapTech咨询公司前总监Bob Lambert表示，重要的数据架构师技能包括：

• 系统开发的基础：数据架构师必须了解系统开发生命周期、项目管理方法以及需求、设计和测试技术。
• 数据建模和设计：Lambert表示，这是数据架构师的核心技能，也是数据架构师工作描述中最需要的技能，他指出，这通常包括SQL开发和数据库管理。
• 成熟和新兴的数据技术：数据架构师需要了解成熟的数据管理和报告技术，并对柱状和NoSQL数据库、预测分析、数据可视化和非结构化数据有一定的了解。
• 沟通和政治悟性：数据架构师需要人际交往技能。Lambert说，他们必须是能言善辩、有说服力和优秀的销售人员，他们必须构思并向他人描绘大数据图景。

数据架构师认证

虽然没有针对数据架构师的行业标准认证，但有一些认证可能有助于数据架构师的职业生涯。除了其组织使用的主要数据平台的认证外，以下认证也很受欢迎：

• Certified Data Management Professional (CDMP)
• Arcitura Certified Big Data Architect
• IBM Certified Data Architect – Big Data
• IBM Certified Solution Architect – Cloud Pak for Data v4.x
• IBM Certified Solution Architect – Data Warehouse V1
• Salesforce Certified Data Architecture and Management Designer
• TOGAF 9 Certification Program

有关这些证书的更多信息，请参阅“8大数据工程师和数据架构师证书”

数据架构师工资

根据PayScale的薪酬分析，数据架构师的薪酬中位数为每年121606美元，包括奖金和利润分成在内的总薪酬从每年7.8万美元到15.8万美元不等。

根据PayScale的数据，以下是与数据架构和每个职位的平均工资相关的其他一些流行职位：

• BI架构师：8.3K美元-14.4K美元
• 数据工程师：6.5万美元-13.2万美元
• 数据仓库架构师：8.7K美元-15万美元
• 数据库架构师：7.3K美元-15.5K美元
• 信息架构师：6万美元-14.8万美元
• 解决方案架构师：7.6万至16.1万美元

数据架构师工作

最近在Indeed.com上搜索的数据架构师职位显示，可以在一系列行业找到职位，包括咨询、金融服务、医疗保健、高等教育、酒店、物流、制药、零售和技术。

数据架构师的工作描述示例显示了关键的职责领域，例如：创建数据操作和BI转型路线图，开发和维持数据战略，实施和优化物理数据库设计，以及设计和实施数据迁移和集成过程。

公司正在寻找计算机科学、信息科学、工程或同等领域的学士学位，但硕士学位优先。大多数人都在寻找8到15年的相关工作经验。他们需要积极性高、经验丰富的创新者，具有出色的人际交往技能、强大的协作能力以及有效的口头和书面沟通能力。

数据工程师和数据架构师的需求量很大。 以下是可为您的职业生涯带来优势的认证。

数据分析是任何成功企业的命脉。 获得正确的技术可能具有挑战性，但建立具有正确技能的正确团队来开展数据计划可能更加困难。

成功部署大数据计划需要的不仅仅是数据科学家和数据分析师。 它需要为您的企业数据管理框架设计“蓝图”的数据架构师，也需要能够构建该框架和数据管道的数据工程师，以便从数据中引入、处理和创造业务价值。

数据架构师通常在数据设计、数据管理和数据存储方面拥有多年经验，而数据工程师通常精通 Hadoop、Spark 和开源大数据生态系统中的其他工具等技术，以及 Java、Scala 编程 , 或蟒蛇。

如果您正在寻找获得优势的方法，认证是一个不错的选择。 认证根据行业和供应商特定的基准衡量您的知识和技能，以向雇主证明您拥有适合这份工作的技能组合。

以下是我们对最抢手的数据工程师和数据架构师认证的指南，以帮助您决定哪种证书适合您。 找不到您要找的东西，请查看我们的大数据和数据分析认证列表。

前 8 名数据工程师和数据架构师认证

• 亚马逊网络服务 (AWS) 认证数据分析 – 专业
• Cloudera 数据平台通才认证
• 美国数据科学委员会 (DASCA) 助理大数据工程师
• 美国数据科学委员会 (DASCA) 高级大数据工程师
• 谷歌专业数据工程师
• IBM 认证解决方案架构师 – Cloud Pak for Data v4.x
• IBM 认证解决方案架构师 – 数据仓库 V1
• SAS认证大数据专家

亚马逊网络服务 (AWS) 认证数据分析 – 专业

AWS Certified Data Analytics – Specialty 认证验证了 AWS 数据湖和分析服务方面的技术技能和经验。 它旨在验证候选人定义 AWS 数据分析服务以及了解它们如何相互集成的能力。 它还要求候选人了解 AWS 数据分析服务如何适应收集、存储、处理和可视化的数据生命周期。 以前称为 AWS Certified Big Data – Specialty，该认证自获得之日起三年内有效。

• 组织：亚马逊网络服务
• 价格：300美元的考试报名费
• 如何准备：候选人应具有至少五年的数据分析技术经验和至少两年的 AWS 实践经验。 AWS 提供考试指南和 AWS 数据分析学习路径。 它还提供 40 美元的模拟考试。

Cloudera 数据平台通才认证

Cloudera 已停止其 CCP 和 CCA 认证，取而代之的是新的 Cloudera 数据平台 (CDP) 通才认证，该认证可验证对该平台的熟练程度。 新考试测试平台的一般知识，适用于多种角色，包括管理员、开发人员、数据分析师、数据工程师、数据科学家和系统架构师。 考试包括 60 个问题，考生有 90 分钟的时间完成。 专业认证正在计划中，包括 CDP 认证管理员、CDP 认证管理员 – 公共云、CDP 认证数据开发人员和 CDP 认证数据分析师。

• 组织：Cloudera
• 价格：300 美元
• 如何准备：Cloudera 建议考生参加 Cloudera Data Analyst Training 课程，其目标与考试相同。

美国数据科学委员会 (DASCA) 助理大数据工程师

供应商中立的 DASCA 助理大数据工程师认证展示了对流行大数据平台（包括 Hadoop 和 Spark）的了解，以及对专有和开源开发工具（包括 HBase、Hive、Pig 和 HiveQL）的了解。 它需要通过 75 个问题的在线考试。 根据教育水平和工作经验的不同，共有三种候选途径。

• 组织：美国数据科学委员会
• 价格：585 美元的考试费、标准考试准备资源、运费、数字徽章和证书套件
• 如何准备：该计划的注册包括完整的 DASCA 认证准备工具包。

美国数据科学委员会 (DASCA) 高级大数据工程师

DASCA 的高级大数据工程师认证是从专为经验丰富的专业人士设计的副证书的升级版。 它需要通过 85 个问题的在线考试。 根据教育水平和工作经验的不同，有四种候选途径。

• 组织：美国数据科学委员会
• 价格：620 美元的考试费、标准考试准备资源、运费、数字徽章和证书套件
• 如何准备：该计划的注册包括完整的 DASCA 认证准备工具包。

谷歌专业数据工程师

Google 专业数据工程师证书证明了设计、构建、操作、保护和监控数据处理系统的能力。 它需要通过两小时的多项选择认证考试。 该考试没有先决条件，但谷歌建议考生具备三年或三年以上的行业经验，包括一年或一年以上使用谷歌云平台设计和管理解决方案的经验。 该考试有英语和日语版本，可以作为远程位置的在线监考考试，也可以作为考试中心的现场监考考试。

• 组织：谷歌
• 价格：200美元注册费
• 如何准备：谷歌提供考试指南和按需或讲师指导的培训。

IBM 认证解决方案架构师 – Cloud Pak for Data v4.x

IBM Certified Solution Architect – Cloud Pak for Data v4.x 认证验证了个人在混合云环境中设计、规划和架构数据和 AI 解决方案的能力。 经过认证的架构师可以领导和指导解决方案的实施和运营，其中可能包括数据治理、分析和数据科学、机器学习和人工智能。 它需要通过由六个部分组成的测试，其中包含总共 63 个多项选择题。

• 组织：IBM 专业认证计划
• 价格：200 美元
• 如何准备：IBM 提供样本测试和学习指南。 它还通过 Pearson VUE 提供评估考试。 还有一条学习路径，大约需要 13.5 小时才能完成。

IBM 认证解决方案架构师 – 数据仓库 V1

IBM Certified Solution Architect – Data Warehouse V1 认证验证了个人设计、规划和架构数据仓库解决方案的能力。 它需要数据治理、数据处理方法、数据存储和数据虚拟化、实时处理解决方案等方面的应用知识。 它需要通过由七个部分组成的测试，共包含 62 个多项选择题。

• 组织：IBM 专业认证计划
• 价格：200 美元
• 如何准备：IBM 通过 Pearson VUE 提供评估考试。 此外，IBM 建议开设有关数据拓扑、数据仓库和数据隐私的课程。

SAS认证大数据专家

SAS Certified Big Data Professional 认证计划面向寻求验证其使用开源和 SAS 数据管理工具为统计分析准备大数据的能力的个人。 该计划侧重于 SAS 编程技能； 访问、转换和操作数据； 提高报告和分析的数据质量； 统计和分析基础； 使用 Hadoop、Hive、Pig 和 SAS； 探索和可视化数据。 该计划包括两个认证考试，必须通过这两个考试才能获得证书。

• 组织：SAS 数据科学学院
• 价格：SAS 大数据准备、统计和可视化探索考试以及 SAS 大数据编程和加载考试各 180 美元
• 如何准备：注册需要至少六个月的 SAS 或其他编程语言编程经验。

在考虑数据架构师的职业时，要了解所需的技能和教育，以及工作职责、工资范围和典型的面试问答。

数据架构师可视化并创建一个与企业战略和业务架构相一致的组织数据管理系统框架。

作为高级IT专业人员，数据架构师负责构建和管理公司的企业数据架构。他们通常会为企业数据仓库的现代化和扩展开发业务案例，以提高效率，并为员工提供对关键数据的一致可靠访问。

数据架构师还支持业务计划，以确保企业遵循数据标准和数据管理的最佳实践。他们检查数据集，识别模式，并利用这些信息帮助公司获得竞争优势。

成为数据架构师的5个步骤

正规教育、实习、认证和相关工作经验是确保工作和推进数据架构师职业生涯所需的数据架构师技能的组成部分：

• 获得学士学位。从事数据架构师职业的个人应获得以下学科之一的学士学位：计算机工程、计算机科学、信息技术或相关领域。许多组织要求高级数据架构师职位的候选人必须持有数据科学或计算机科学硕士学位。
• 以IT实习生的身份工作。数据架构师不是一个入门级的职位，因此个人应该获得尽可能多的IT经验来为这个职位做准备。
• 获得入门级的IT经验。在成为数据架构师之前，个人可能需要至少三到五年的入门级IT领域经验，如编程或数据库管理。
• 确保数据架构师的工作。在收集和处理大量客户数据的多个行业中，各种各样的公司都有可能担任数据架构师。
• 添加专业认证。数据架构师可以获得的认证包括IBM认证数据架构师——大数据、Salesforce认证数据架构和管理设计师，以及认证计算专业人员协会的认证数据管理专业人员。

数据架构师的职责

数据架构师的工作描述中不乏职责，包括研究、设计、评估、集成、部署、监控和协作。以下是数据架构师的任务：

• 与公司管理层和IT团队合作，制定符合公司需求和行业要求的数据战略。
• 创建构建和实现数据架构所需的数据清单。
• 远景数据管道以及数据将如何在企业中流动。
• 维护所有数据架构过程和工件的存储库。
• 评估当前的数据管理技术以及需要哪些附加工具。
• 确定对当前数据架构的升级和改进。
• 设计、记录、构建和实现数据库架构和应用程序。
• 为数据库结构、分析和人工智能应用程序构建数据模型。
• 制定并执行数据库开发标准。
• 集成新的系统和功能，如安全性、性能、可扩展性、可靠性和数据恢复。
• 研究新的机会并创造获取数据的方法。
• 制定确保数据准确性、完整性和可访问性的措施。
• 持续监控、完善和报告数据管理系统的性能。

数据架构师的关键技能

数据架构师需要了解与大数据、人工智能、物联网和云相关的各种编程语言和先进技术。他们还必须具备强大的书面和口头沟通技能，并表现出敏锐的商业洞察力。所需的数据架构师技能包括以下方面：

• 应用数学与统计学
• 数据可视化、数据迁移和数据建模
• 关系数据库管理系统
• DBMS软件，包括SQL Server
• 数据库和云计算设计、架构和数据湖
• Hadoop技术，如Pig、Hive和MapReduce
• 多平台上的信息管理和数据处理
• 敏捷方法论和企业资源规划实施
• 机器学习、预测建模和自然语言处理
• 数据挖掘和建模工具
• 编程语言，包括Java、Python和C/C++，以及统一建模语言
• Unix、Linux、Solaris和Windows等操作系统
• 应用程序服务器软件以及备份和归档软件
• 系统开发生命周期和项目管理
• 数据管理和报告技术、预测分析、数据可视化和非结构化数据
• 创造性和分析性解决问题的能力
• 强大的商业和沟通技能以及大数据行业知识

内部数据架构师工资

据ZipRecruiter的数据，截至2021 9月，美国企业数据架构师的平均年薪为132617美元，从最低的36500美元到最高的190500美元不等。薪酬最高的数据架构师职位是云数据架构师，为170674美元，其次是远程解决方案架构师、IT数据架构师、平台架构师、数据架构总监以及云企业架构师和AWS企业架构师。

数据架构师与数据工程师

数据架构师和工程师共同致力于概念化、设计和开发企业数据管理框架。数据架构师为框架创建蓝图，数据工程师使用蓝图构建数字框架。数据架构师指导数据科学团队，而数据工程师则为企业的数据活动提供支持框架。

由于数据科学家使用大型数据集来回答问题，因此必须制定流程来收集和验证这些数据，并将其应用于现实世界的业务运营。因此，数据工程师专注于收集大量数据并将其应用于特定问题。数据工程师通常不需要开发复杂的实验设计。相反，它们有助于开发机制和接口，使可靠数据能够顺利流动和访问。

数据架构师是数据库专家，他们帮助公司可视化数据采集的变化如何影响他们使用的数据。具有深厚软件工程知识的数据工程师可以帮助维护和构建信息系统，以支持这些规范和更改。

典型的数据架构师工作面试问题以及如何回答

在数据架构师职位的面试中，面试官会提出问题来评估候选人的技术技能。以下是典型问题的例子，以及对面试官所寻求的答案的解释。

你认为数据架构师工作中最重要的方面是什么？

这个问题让面试官知道，应聘者了解数据架构师在企业中的角色和责任。候选人应参考专业数据架构师角色模型的示例。他们还应该讨论自己在经历中形成的特质，以表明他们意识到这个职位的要求。

你认为哪些关键技能会帮助你在这份工作中取得成功？

这个问题让面试官评估候选人最强大的技能，并确定这些技能将如何成为企业的资产。应聘者应描述他们成功完成项目及其目标的优势和能力。

您能否描述数据仓库架构的关键元素以及如何应用它们？

这个问题有助于面试官评估申请人对数据仓库架构的知识以及使用数据库系统和结构框架的经验。候选人应举例说明他们在数据仓库方面的工作。

你能用SQL描述一下你完成的一个项目吗？

这个问题让面试官深入了解候选人在SQL语言中的工作经验。应聘者应该提供几个他们在SQL中工作过的项目的简短例子。

作为一名数据架构师，您是否必须应对与组织数据安全相关的任何挑战？你是如何确保数据不被泄露的？

数据安全是每个企业的首要任务，因此面试官希望了解申请人在安全相关问题上的经验。候选人应该强调，数据安全是一个重要方面，尽管不是数据架构师角色的重点。

您是否参与过增强组织现有的数据架构？如果是，请描述您在该过程中的参与情况以及这些增强功能的影响。

企业希望雇佣愿意参与提高当前流程和结构的效率和生产力的数据架构师。候选人应证明他们积极主动地进行改进，并专注于大局和日常任务。