数据架构的重要性

语言 Chinese, Simplified

SEO Title

什么是数据架构？

为了理解数据架构，让我们首先定义组成术语的以下两个词：数据和架构。
数据是一组离散的客观事实或观察。当意义和上下文添加到其中时，数据转换为可以帮助触发动作的信息。
在定义架构之前，让我们首先讨论架构上下文中的单词结构。根据牛津语言，结构是复杂事物的组成部分或元素之间的排列和关系。它是一个元素或元素集合，用于提供支持或外壳。
自然界结构的一个例子是骨骼和蜂箱中的晶格结构。[一]

Figure 1. Lattice structure in bone and honeycomb. (Image is from the research paper entitled ‘Assessing Tetrahedral Lattice Parameters for Engineering Applications Through Finite Element Analysis’.). [1]

现在，考虑到这一点，让我们回到定义架构。

架构。是“设计和建造结构的艺术和技术。它既是素描、构思、规划、设计和建造建筑物的过程和产品”。这个词来自拉丁语单词“architectura”；出自古希腊语ἀρχτκτων（arkhitékt o n）'建筑师'；来自ἀρχl-（arkhi-）'首席'，τκτων（tékt o n）'创造者'。[2]个
现在，将数据和架构的概念与结构相结合，我们可以将数据架构定义为实践和输出。

作为一种实践，数据架构是“设计和构建能够使用数据的数据或结构的结构的艺术和技术”。
作为输出，数据架构是“数据结构”或“支持使用数据的结构”。

为什么数据架构很重要？

正如音乐、电影和诗歌等不同的艺术形式对其组成部分或元素有安排一样，数据也需要结构。

例如，在音乐中，现代歌曲通常具有以下结构：导言、韵文、合唱前、合唱、韵文，合唱前，合唱，桥牌和合唱。在摇滚乐或重金属音乐中，歌曲有吉他独奏。我们喜欢听的现代歌曲遵循一种结构。[三]

在电影中，电影的叙事结构可以是线性的，也可以是非线性的。根据剧本，故事讲述最常见也是最核心的结构是三幕结构，由开始（设置）、中间（对抗）和结束（解决）组成。[四]
最后，我仍然记得在高中时，老师让我创作俳句、十四行诗或打油诗。每一种类型的诗歌都有自己独特的结构。俳句由三行组成，第一行有5个音节，第二行有7个音节，而第三行有5音节；十四行诗有十四行，每行有十个音节；最后，打油诗由五行幽默而轻松的诗组成。
这些艺术形式在唤起情感、讲述故事和启发我们方面非常好，部分原因是有效地使用了结构。数据架构对数据也是如此。通过数据架构，我们可以更好地理解数据的形式或结构，从而增强我们使用数据的能力。

另一个有用的类比是将数据架构视为蓝图，这是架构中用于构建建筑的基本构件，因为它允许建筑商从架构师那里理解建筑的设计。

类似地，通过数据架构，数据架构师能够与数据工程师、数据科学家和业务用户交流数据的结构或数据的利用方式（在现代数据平台中）。在这种情况下，数据架构既是标准（促进质量和有效性），也是通信工具（促进协作和信任）。

数据架构的例子有哪些？

让我描述数据架构的三种形式或表现，它们在分析和人工智能计划中很有用。

第一个是数据模型。

数据模型对于人工智能解决方案以及所有数据和分析解决方案都至关重要，因为它提供了一个易于理解的视图，可以了解数据实体的内容以及它们之间的关系。

数据模型是一个由基本形状（如矩形和圆形，表示实体）组成的图，并由线（表示关系）连接。
下面的图2显示了四个不同数据模型的示例——维度数据模型、数据保险库数据模型、图形数据模型和文档DB数据模型——可以支持和支持分析和A.I.计划。

我们在数据模型中构造数据的方式会影响我们使用数据的方式。例如，使用实现为星型模式的维度数据模型，由于聚合（即总销售金额）是在事实表中完成的，并且可以按维度分组（即，按产品分组，在每个分支中，针对某个月），因此诸如“我们12月份的总销售金额和每个分支中按产品分组的数量是多少”的聚合查询可以相对更快。

另一个例子：如果用例调用查询，其中我们希望查找“谁是在数据建模方面具有至少一年经验的人的同事”，则图形数据模型是更好的结构，因为节点（例如，一个人的同事）之间的关系实现在图形数据模型的结构中。

Figure 2. The different data models. (Image is from author’s personal notes. Some embedded images within the image are from Neo4j and from MongoDB.)

第二个例子是现代数据平台的参考架构。

这是一个“包罗万象”的例子，因为我们可以（从不同的角度）创建支持分析或人工智能计划的参考架构的不同版本。

一个版本可以是显示数据如何通过摄取机制从源系统流向数据平台的图，然后通过管理引擎验证、标准化、丰富或保护数据，然后使用最佳拟合数据模型将该丰富的数据（或信息）存储在多语言槽存储器中，并最终通过自动供应层供应数据（作为数据产品）。

该参考体系结构的另一个版本可以是一个图表，显示现代数据平台所需的基本功能和组件，如数据治理、元数据管理、主数据管理和数据质量管理。然后，我们添加启用、执行或实现A.I.解决方案所需的功能和组件，如功能库或ML沙箱。
该参考数据架构的示例如下所示。

Figure 3. A reference architecture of a modern data platform. (Image is from author’s personal notes.)

数据架构表现形式的第三个例子是知识图

Stardog将其定义为“用真实世界上下文丰富的数据表示，基于图数据结构，并且具有允许相同数据的多个定义的灵活模式”。

知识是信息的集合，而信息又是充满意义和上下文的数据，它被组织在可以充当语义层的知识图中。然后，A.I.解决方案或应用程序可以使用该语义层来训练模型、进行预测、优化流程和生成内容。

例如，我们可以在检索增强生成（RAG）中利用知识图来增强大型语言模型（LLM）的响应。

Figure 4. The knowledge graph as a semantic layer. (Image is from the article entitled ‘Implementing Knowledge Graphs in Enterprises — Some Tips and Trends’ by Andreas Blumauer.). [5]

数据模型、现代数据平台的参考架构、知识图只是数据架构的三个示例或表现，将支持和实现任何分析或人工智能计划。