【数据架构】数据架构101 -- dataversity |

语言 Chinese, Simplified

SEO Title

术语“数据架构”被定义为一组管理组织内数据流和管理的模型、策略、规则和标准。因此，作为企业架构的一个子集，数据架构涉及管理数据相关活动的操作规则，如数据捕获、数据存储、数据集成和数据使用。换句话说，这种模型、标准、策略和规则的集合规范了收集的数据以及如何在企业数据系统中存储、组织、集成和使用这些数据。这篇数据架构101文章将定义数据架构，并探讨数据架构组件、原理、趋势和挑战。

什么是数据架构？

根据数据管理知识体系（DMBoK 2）的说法，数据架构类似于管理数据资产的“总体规划”。内部组织策略和业务策略通常指导数据架构设计。数据架构可交付成果包括数据平台和数据治理工具的多层基础设施，以及数据收集、集成、转换和存储的规范和标准。

数据架构师开发与组织目标、文化和上下文需求相一致的架构蓝图。通常，在多方数据项目中，数据架构师充当中心人物，负责围绕组织目标协调许多部门和利益相关者。

数据架构的组成部分是什么？

企业数据架构的最基本组件包括以下内容：

数据管道包括数据收集的整个过程：存储、清理、分析以及从一个点到另一个点的数据流。
云存储指示托管服务的存在，其中数据驻留在通过互联网访问的一个或多个远程云服务器上。
云计算是指在云主机上存储、管理和分析数据的过程。云计算的最大好处是低成本、数据安全和零基础设施需求。
API有助于主机系统和服务请求者之间的通信。
AI和ML模型为数据架构提供了自动化功能。这些模型自动化了数据架构的许多核心功能。
数据流支持连续数据流功能，其中数据可能需要在源附近实时处理。
实时分析定义了实时数据分析，以获得即时可操作的见解。
Kubernetes，用于处理计算、网络和存储工作负载的一站式平台。

核心原则是什么？

以下是构建数据架构所围绕的一些核心原则：

自动化：自动化消除了遗留数据系统的所有障碍。现代数据架构能够在数小时内构建流程，通过数据管道快速访问任何类型的数据，促进敏捷的数据集成，并允许连续的数据流。
安全性：现代数据架构中内置的安全功能确保数据仅在需要知道的基础上可用。所有数据都符合HIPAA和GDPR等监管机构的要求。
面向用户：现代数据架构为用户提供了在何时何地需要数据的访问。
恢复能力（Resilience）：数据架构保证了高数据可用性、灾难恢复措施和足够的备份/恢复能力。
灵活的数据管道：现代数据架构支持数据流和“数据突发”
协作：精心设计的数据架构通过消除竖井并允许来自组织所有部分的数据共存于一个位置来促进协作。
人工智能驱动：人工智能和ML通过为不断变化的条件提供警报和建议，共同增强了数据架构的自动化能力。
弹性（Elasticity）：这一特性使组织能够快速且经济地使用按需扩展功能。同样的特性也让管理员从许多乏味的任务中解脱出来，这样他们就可以专注于重要的事情。
简单性：数据架构允许组织限制数据移动和数据重复，并倡导统一的数据库平台。

您还可以查看这篇关于其他数据架构原则的DATAVERSITY®文章。

最新趋势和挑战是什么？

用于在整个组织中捕获、处理、管理和分析各种数据的新技术和架构不断涌现。除了云存储和处理方面的创新外，企业正在转向新的数据架构方法，使其能够管理大数据带来的多样性、准确性和数量。

从塑造2021的一长串数据架构趋势中，值得注意的是数据访问的民主化、AI-rady架构、数据架构师的兴起、数据结构、数据目录、DevOps，当然还有云。2021以后，以下是一些值得关注的趋势：

许多数据架构领导者正在从企业范围的中央数据湖转向基于域的设计，这种设计可以定制并适用于特定用途，以增加基于数据构建的新产品和服务的上市时间。
向高度模块化数据架构的转变将持续下去。模块化概念使用了同类最佳的开源组件，这些组件可以在需要时被新技术取代，而不会影响数据架构的其余部分。
最近，随着企业越来越多地采用云计算，数据架构概念应运而生，随之而来的是为所有或大多数数据管理任务提供基于云的平台。
大数据架构是一种概念或物理系统，用于接收、处理、存储、管理、访问和分析传统数据库中难以处理的大量、快速和多样的数据。大数据技术非常专业，使用的框架和语言在更通用的应用程序架构中并不常见。
能够处理各种数据类型的人工智能驱动的云服务正在兴起。随着数据访问需求的增加，需要在复杂、多云、混合的环境中支持人工智能和ML。
由于数据编织能够在各种云设置中实现更快的数据分析，因此数据结构的增长也意味着混合和多云的增长。
高性能数据架构模型虽然仍处于初级阶段，但正在迅速发展。高级数据科学应用程序，如预测分析、应用人工智能和ML，需要高容量和高速的数据环境，而目前，只有混合和多云才能实现这一条件。
精心设计的大数据架构使企业更容易处理数据和预测未来趋势，从而做出明智的决策。企业正在使用大数据分析技术来优化其商业智能和分析计划，超越依赖于数据仓库技术的较慢的报告工具，转向更智能、更被动的应用程序，从而对客户行为、业务流程和整体运营提供更深入的了解。

这一趋势与之前的趋势有关。AWS、微软、谷歌和IBM等云基础设施提供商可以处理几乎无限量的新数据，并提供按需存储和计算功能。

一个巨大的挑战是，虽然处理和存储数据的新技术即将问世，但数据量大约每两年翻一番。Gartner分析师估计，到2025年，超过50%的关键业务数据将在数据中心或云计算之外创建和处理。未来数据基础设施的三大驱动因素可以被描述为向公共云、SaaS服务和增强的数据工程发展。
第二个挑战来自混合和多云。虽然这些环境越来越受欢迎，但持续的数据安全和管理挑战将导致企业更多地考虑混合，而更少地考虑多云选项。只有云平台及其多样化的解决方案，才能提供企业级数据管理平台的速度、规模和易用性，尽管数据质量仍然是一个挥之不去的问题。

现代数据平台是围绕以业务为中心的价值链构建的，而不是以IT为中心的编码过程，在编码过程中，传统架构的复杂性被抽象为一个单一的自助服务平台，该平台将事件流转换为可供分析的数据。