【数据架构什么是数据架构？管理数据的框架

数据架构将业务需求转化为数据和系统需求，并寻求管理数据及其在企业中的流动。

数据架构定义

根据开放组架构框架（TOGAF），数据架构描述了组织的逻辑和物理数据资产以及数据管理资源的结构。它是企业架构的一个分支，包括管理组织中数据的收集、存储、安排、集成和使用的模型、策略、规则和标准。组织的数据架构是数据架构师的职责范围。

数据架构目标

数据架构的目标是将业务需求转化为数据和系统需求，并管理数据及其在企业中的流动。如今，许多组织都希望将其数据架构现代化，以此作为充分利用人工智能并实现数字化转型的基础。麦肯锡数字咨询公司指出，由于流程复杂性而非技术复杂性，许多组织未能实现其数字化和人工智能转型目标。

数据架构原则

Splunk公司产品管理、核心产品副总裁兼AtScale公司前产品管理副总裁Joshua Klahr表示，六项原则构成了现代数据架构的基础：

• 数据是共享资产。现代数据架构需要消除部门数据孤岛，并为所有利益相关者提供公司的完整视图。
• 用户需要充分访问数据。除了打破筒仓之外，现代数据架构还需要提供界面，使用户能够使用适合其工作的工具轻松地使用数据。
• 安全至关重要。现代数据架构必须为安全性而设计，并且必须支持直接对原始数据的数据策略和访问控制。
• 共同的词汇确保共同理解。共享数据资产（如产品目录、会计日历维度和KPI定义）需要一个通用词汇表，以帮助避免分析过程中的争议。
• 应整理数据。投资于执行数据管理的核心功能（建模重要关系、清理原始数据以及管理关键维度和度量）。
• 应优化数据流以提高灵活性。减少数据必须移动的次数，以降低成本、增加数据新鲜度并优化企业敏捷性。

数据架构组件

根据IT咨询公司BMC的说法，现代数据架构由以下组件组成：

• 数据管道。数据管道是收集、移动和细化数据的过程。它包括数据收集、优化、存储、分析和交付。
• 云存储。并非所有数据架构都利用云存储，但许多现代数据架构使用公共云、私有云或混合云来提供灵活性。
• 云计算。除了使用云进行存储之外，许多现代数据架构还利用云计算来分析和管理数据。
• 现代数据架构使用API来方便地公开和共享数据。
• AI和ML模型。AI和ML用于自动化数据收集、标记等任务的系统。同时，现代数据架构可以帮助组织释放大规模利用AI和ML的能力。
• 数据流。数据流是指将数据连续地从源流到目的地，以便实时或近乎实时地进行处理和分析。
• 容器编排。开源Kubernetes等容器编排系统通常用于自动化软件部署、扩展和管理。
• 实时分析。许多现代数据架构的目标是提供实时分析，即在新数据到达环境时对其进行分析的能力。

数据架构与数据建模

根据《数据管理知识手册》（DMBOK 2），数据架构定义了管理数据资产的蓝图，与组织战略相一致，以建立战略数据需求，并设计满足这些需求。另一方面，DMBOK 2将数据建模定义为“发现、分析、表示和传达数据需求的过程，其精确形式称为数据模型”

虽然数据架构和数据建模都试图弥合业务目标和技术之间的差距，但数据架构是一种宏观视图，旨在理解和支持组织的功能、技术和数据类型之间的关系。数据建模更关注特定系统或业务案例。

数据架构框架

有几种企业架构框架通常作为构建组织数据架构框架的基础。

• DAMA-DMBOK 2。DAMA International的数据管理知识体系是专门用于数据管理的框架。它提供了数据管理功能、可交付成果、角色和其他术语的标准定义，并提出了数据管理的指导原则。
• Zachman企业架构框架。Zachman框架是由John Zachman于20世纪80年代在IBM创建的企业本体。Zachman框架的“数据”列包含多个层，包括对业务重要的架构标准、语义模型或概念/企业数据模型、企业/逻辑数据模型、物理数据模型和实际数据库。
• 开放组架构框架（TOGAF）。TOGAF是一种为企业软件开发提供高级框架的企业架构方法。TOGAF的C阶段包括开发数据架构和构建数据架构路线图。

现代数据架构最佳实践

• 现代数据架构必须设计为利用人工智能（AI）、自动化、物联网（IoT）和区块链等新兴技术。Protiviti技术咨询高级主管Dan Sutherland表示，现代数据架构应遵循以下最佳实践：
• 云原生。现代数据架构应设计为支持弹性扩展、高可用性、移动数据和静止数据的端到端安全性，以及成本和性能可扩展性。
• 可扩展的数据管道。为了利用新兴技术，数据架构应支持实时数据流和微批量数据突发。
• 无缝数据集成。数据架构应使用标准API接口与遗留应用程序集成。还应优化它们，以便跨系统、地理位置和组织共享数据。
• 实时数据支持。现代数据架构应支持部署自动化和主动数据验证、分类、管理和治理的能力。
• 解耦且可扩展。现代数据架构应设计为松散耦合，使服务能够独立于其他服务执行最小的任务。

数据架构角色

根据PayScale的数据，以下是与数据架构和每个职位的平均工资相关的一些最受欢迎的职位：

• 数据架构师：7.9K至16.0万美元
• 项目经理：5.8万美元-12.9万美元
• 解决方案架构师：7.6万美元-16.3万美元
• 数据工程师：6.6万美元-13.2万美元
• 数据分析师：4.5K-8.7K美元
• 数据科学家：6.8万-13.6万美元