【数据架构】数据架构挑战- dataversity

您的业务增长得越多，您的业务的数据架构就变得越复杂。企业数据架构的挑战无处不在——从一开始到整个过程。数据现在已经成为任何业务的命脉，如果没有坚实的底层数据架构，业务数据就无法生存。数据有助于企业识别风险和机遇，更好地了解客户，并对其业务运营做出明智的决策。

然而，多年来，数据管理已经成为一项复杂的活动。数据架构是数据管理的一个组成部分，它定义了数据使用、数据访问和数据存储的规则和策略。没有数据架构，企业就无法使用数据。在数据驱动的业务环境中，没有坚实的数据架构的业务将不会长期保持相关性。

数据架构为企业中的数据管理提供了基础结构和框架。它包括数据基础设施、数据治理、数据建模、数据清理、数据质量、数据集成、数据安全和其他组件。

2022年现代数据架构的主要趋势包括更高的速度、增强的可扩展性和更大的灵活性。然而，这些2022年的愿望清单项目也标志着今年需要克服更多的数据架构挑战。本文重点介绍了其中的一些挑战，并就如何克服这些挑战提供了指导。

挑战1：数据供应链

数据供应链包括数据管理、数据所有权、数据存储、数据访问和每个阶段的数据使用。根据数据的功能，数据可以多次更改位置，从而影响整个组织中与数据相关的其他活动。

数字商业世界中的数据管理，尽管听起来天衣无缝，但实际上充满了管理难题。随着数据易手并从一个所有者转移到另一个所有者，数据的旅程变得复杂且难以管理。

挑战2：数据仓库

大多数传统企业通过将特定功能的数据保存在部门竖井中来保护数据隐私。在这种情况下，一个部门使用的数据无法被另一个部门获得或访问。然而，这在先进的分析世界中造成了一个严重的问题，在那里，360度的客户数据或企业营销数据是日常必需品。公司，无论其规模、类型或业务性质如何，都很快意识到，要在数字时代取得成功，数据必须是可访问和可共享的。

然后是数据科学、人工智能和一系列相关技术，这些技术一夜之间改变了企业。如今，一般企业都是以数据为中心、数据驱动和数据驱动的。数据被认为是全球经济中的新货币。

在这个全球竞争的商业世界里，各种形式的数据都在交易和销售。例如，360度客户数据、全球销售数据、医疗保健数据和保险历史数据都可以通过几次按键获得。

现代数据架构旨在“消除数据孤岛，将来自公司各个角落的数据与外部数据源相结合。”根据《数据现状和下一步行动》报告，实时数据访问是使用集中式数据平台运营的全球企业最近面临的挑战。现在，随着数据网格嵌入现代数据架构，重点是“让公司中的任何人、任何地方都可以使用数据，并注重速度。”

挑战3：缺乏数据集成

大多数企业缺乏适当的数据收集和数据集成基础设施。在任何业务中，数据通常是从完全不同的来源和完全不同的类型中收集的。大数据时代通过引入来自许多不同数据源的高速、高容量、多类型数据，放大了这一挑战。

如果多类型数据没有正确集成，然后转换成机器可读的格式，那么这些数据就不能用于分析。数据孤岛，再加上缺乏适当的数据集成工具，使得业务用户很难知道哪些数据是可用的，如何使用这些数据，或者谁可以访问这些数据。

一个非常常见的例子是，企业的CRM系统和销售系统完全没有连接，并且没有集成平台将它们连接起来。这个问题可能会对数据驱动的决策构成真正的威胁。

挑战4：数据清理和准备

在传统的数据驱动企业中，由于严重缺乏适当的基础设施和劳动力，数据清理和准备往往不足。在这些日子里，数据清理和准备都是手动完成的，缺乏合适的工作人员导致数据准备质量低下，从而导致错误的见解和糟糕的决策。

得益于现代数据架构，现在数据清理和数据准备这两个关键步骤已内置到数据架构中。自动化的数据清理和数据准备过程不仅减少了人力，而且显著改善了数据分析过程。

挑战5：数据安全和治理

数据安全与数据质量密切相关。如果业务数据管理不善，不仅会带来安全风险，还会带来数据管理风险和失败。这会导致不准确、不相关或质量差的数据，这些数据对任何业务目的都毫无用处。

低质量的数据会导致糟糕的商业决策，这在竞争激烈的全球商业环境中是不可接受的。在数据驱动的业务中，日常决策和行动取决于数据的质量、安全性和治理。如果没有适当的数据治理流程，业务数据可能不再有用。

据《福布斯理事会邮报》报道，由于缺乏合格的劳动力和适当的分析工具，大多数企业未能充分利用大数据技术。现代数据架构的目标是嵌入自助服务、数据分析工具和广泛的数据访问，以帮助业务用户完成日常工作。

数据治理结合了许多不同的功能，如数据所有权政策制定、数据管理、数据质量控制、数据访问控制、数据安全评估和数据审计。因此，数据治理是一项复杂的多功能业务活动，需要深入了解数据管理和数据架构。

挑战6：内部数据中心的运营成本

内部数据中心包括硬件系统、软件系统、安全措施和访问控制。这大大增加了企业的成本和管理负担。此外，数据中心必须遵守所有监管机构和政策，因为第三方的定期审计可能意味着数据中心的生死存亡。

现在，由于云上有许多选择，数据中心位于云上，具有卓越的数据架构。托管数据架构提供了业务数据处理和数据管理的所有便利，而没有成本负担和内部资源需求。尽管公共云非常适合现代数据架构，但数据安全和治理问题迫使组织选择混合或多云选项。

挑战7：缺乏技术工人

多年来，企业无法充分利用数据驱动的系统和流程，因为他们负担不起许多数据科学家。

现代数据架构大大缓解了缺乏合格的数据科学工作者的问题。在数据优先的商业世界中，企业不再需要依赖昂贵而稀缺的数据科学家来进行高级分析和数据驱动的决策。

现代数据架构确保了通过广泛的数据访问和自助数据平台在企业中实现民主决策。本文强调了与寻找和雇佣数据科学家和大数据分析师相关的数据架构挑战。

挑战8：数据架构师的角色演变

2022年，数据架构师被认为是未来雇主追逐的“大游戏鱼”。在当今的商业环境中，数据架构师是一名战略性员工，在业务中享有更高的薪水和更大的发言权。

数据架构师的角色在过去几年中发生了巨大变化，数据架构平台变得完全或半自动化。人工智能和机器学习驱动的数据架构解决方案将数据架构师转变为一名经验丰富的专业人员，能够开发“关键的架构文档并记录可能的风险”

挑战9：数据引力

在混合或多云环境中，企业面临着一种名为“数据引力”的现象，这是一个由多平台应用程序和从不同来源获取数据集引起的问题。然而，好消息是，这些数据架构挑战可以通过不同的数据存储平台、边缘计算、事件驱动架构以及在公共云上使用批处理来缓解。