【数据和分析】2023年数据和分析预测

我对以下方面的预测：

• 实现可持续发展的IT和数据
• 增强弹性的可观察性
• 恢复信任的透明度

我对2023年的看法很简洁，有三个重要主题：可持续性、韧性和信任。2023年将被标记为“回归基本”的一年，用更少的资源做更多的事情，并以透明度和合作目标改进现有做法。话虽如此，“年度房屋清洁”总是有助于清除废物，并释放出现在可以做的事情的创造力。

2022年，我的首要主题是质量：新冠肺炎疫情爆发后，新流程和用例的快速实施给基础设施带来了很大压力，而“管道”并没有很好地发挥作用。大量的补丁解决方案、重复和冲突的管道、大量的人工和逆向工程。关于治理和数据素养的讨论激增，所有这些都是为了使我们的基础设施质量足够可靠，从而做出可信的决策。

2023年是疫情推动的数字化转型加速的第三年。在最初将资源投入到数据和分析领域以实现增长之后，我们现在更加成熟，能够评估其效率：总体拥有成本、自动化程度、解决方案对不断变化的现实的适应性，以及在更少的工具下整合各种功能。

这些是我自己对数据和分析领导者关注的焦点以及这些领域各自的技术解决方案趋势的看法。

实现可持续发展的IT和数据

众所周知，标普公司的寿命在几十年内从60年延长到了18年。这远远早于新冠肺炎疫情和当前我们面临的经济低迷。

事实也证明，精通数据的组织远远超过了技术适应性较差的竞争对手。这种利用技术赢得市场的雄心可能解释了为什么到2025年，全球在商业实践、产品和组织数字化转型方面的支出预计将达到2.8万亿美元。

坏消息是，超过一半的数字化举措需要很长时间才能完成，其价值尚未实现。大部分数据都已存储但未使用。

由于业务表现如此糟糕，各组织将其在工具上的巨额支出换成了一些举措，在这些举措中，工具能够实现资产及其使用的数据素养、透明度和可观察性。

我们还看到了技术堆栈的整合，以实现互操作性和降低成本，这通常导致向单一供应商基础设施的转变。越来越明显的是，组织渴望一种基础设施，使他们能够组织和访问数据和分析资产，从而能够理解并信任地使用这些资产。

此外，到2025年，50%的首席信息官将拥有与IT组织可持续性相关的绩效指标。

因此，现在我们终于有机会推动可持续发展倡议，将其作为整个业务弹性的一部分，由可观察到的适应性和成本效益技术推动。

此外，我们可以与同行分担这一负担：到2027年，超过50%的企业将使用行业云平台来加快其业务举措。

行业云平台的发展可能需要一段时间，但主要的云平台不久前就已经引入了数据市场。其理念是允许组织进行数据、对象和产品的交易和交换。如果您已经对内部数据使用了相同的云平台，那么集成和管理将变得更易于管理。行业平台和市场准备丰富这一体验，以提供量身定制的可组合解决方案。它们为通用市场和行业市场提供了数据货币化机会和协同效应。而且，尽管核心组织数据共享是一粒难以下咽的法律药丸，但围绕可持续性和气候倡议的合作可能是数据协同效应的一个良好开端。

当您转向可持续、经济高效的未来时，需要考虑的另一件事是TCO（总拥有成本）。新的解决方案可能需要不同的员工来维护。它可能只解决了部分问题，这将需要购买更多的解决方案，而且成本可能很难预测。

最后，作为整个组织努力的一部分，我们渴望以可持续的方式使我们的组织数据堆栈更加丰富。理想情况下，这也提高了组织利益相关者的整体可持续性。

需要了解的技术趋势：

坦率地说，各组织都在努力创建、监控和管理数据管道。数据平台发现了这一点，他们缓慢但肯定地将可能的解决方案纳入其产品中。这可能是个好主意。但它也会创建数据竖井，因为并不是整个组织都在CDW上运行。

到目前为止，大多数组织仍然根据分析用例（即席问题、报告和机器学习模型）来划分每个存储的数据。在过去的五年里，CDW处理了50%的分析数据负载，两年后将达到75%。然而，现在放弃数据湖和内存数据库还为时过早。

我们仍然需要解决“反馈循环”或反向ETL：来自数据管道或分析的见解被写入应用程序或文件，或返回数据源。由于CDW想要取代运营数据源或数据湖的愿望还不够成熟，我建议不要这样做。相反，我主张使用更简单的架构，使用API在分析和运营应用程序之间直接通信。

我将在下一节中详细介绍数据基础设施的映射和治理。

2021年，初创公司筹集的风险投资中，超过20%（超过600亿美元）流向了拥有数据相关产品的初创公司。关于可持续性和成本效率，您可以在较小的初创公司和公司中找到更好的TCO和自动化以及更好的ROI。数据解决方案市场正在蓬勃发展，许多不同供应商提供了多种不同价格的产品。

增强弹性的可观察性

为了将系统停机时间减少80%，您会采取什么措施？

如果你的组织投资建立一个数字免疫系统，它可能会在短短几年内获得收益。

那么，如何才能实现数字免疫呢？只需将可观察性与增强的测试、监控和自动补救相结合，添加安全性和风险管理，就可以实现数字弹性和适应性！

我想特别关注可观测性。

到2026年，70%成功应用可观察性的组织将实现更短的决策延迟。

这正是我在上一节中介绍的内容——实现高度自动化的工具，以实现快速而自信的决策。

数据和分析上下文中的可观察性是映射数据和分析资产、业务流程和应用程序，它被称为“元数据”。它是关于理解各种资产的含义（语义）和上下文（关系）。监控上下文和使用情况的模式可以作为将元数据激活到自动决策循环中的基础。

被动和主动元数据都能让您透明地了解哪些数据和分析以及如何使用它们。这是消除未使用和陈旧数据、中断的管道和有冲突的指标中的浪费的基础（下一主题将详细介绍）

到目前为止，大多数进步组织都为特定资产创建了数据契约，以了解其沿袭、使用、适用性和影响。通过元数据激活，我们可以渴望自动映射我们的所有资产。在这种现实中，我们更接近于将数据资产货币化（如前一主题所述）。

需要了解的技术趋势：

解决这些挑战并为可观测性提供解决方案的工具目前分布在不同的类别之间，如数据谱系、数据可观测性、目录、活动元数据管理平台和度量存储。

从更广泛的角度来看，这些工具是数据网格和数据结构的融合。数据网格的目标是在一定规模上创建可组合的数据产品。数据结构的目标是将所有数据和分析资产映射到任何位置，并对其进行管理，以确保唯一性、无冲突和单一的真相来源。它们的结合为我们提供了数据产品的启动平台，这些产品具有内置的发现、可观察性和治理，以及数据生产者和消费者之间的内置协作工具。

我认为FinOps是可观察性的另一个特征：能够将数据资产的使用归因于业务流程或应用程序及其各自的基础设施成本。FinOps工具是作为数据管理平台、应用程序监控系统的一部分引入的，最近，它们在主动元数据管理平台路线图中越来越受欢迎。

恢复信任的透明度

人工智能和机器学习很难在组织中获得吸引力，部分原因是消费者不信任他们不理解的东西。

近年来，我们讨论了可解释人工智能，现在我们称之为受控人工智能/ML。

这个新名称也反映了信任AI/ML的定义的转变：风险、隐私、安全管理、数据可靠性、基础设施和可解释性。

当你阅读上面的列表时，你会发现它与整个数据和分析实践相似。未能实现产品化和商业价值，危及商业利益相关者之间的信任，并使其更难吸引更多的组织预算。

尽管如此，没有人认为自动化人工智能驱动的数据驱动决策是未来的趋势，并具有巨大的竞争优势。

可能的解决方案在于以人为本的治理和数据扫盲举措。

理解和解释数据和分析需要数据素养。我们目前80%的业务工作组对使用数据没有信心。

如果可观察性使我们能够看到和理解上下文，那么数据素养将为我们翻译我们所看到的以及我们如何对此采取行动。

现在是治理：从历史上看，我们将治理视为一种防御机制，允许用户在“需要知道的基础上”访问数据和分析。时代变了，现在大多数担任业务角色的员工都渴望但无法做出数据驱动的决策。治理的新作用是为懂数据的人员提供方便的自助服务。

对于这种新的“进攻性”游戏，我们需要将治理应用于所有数据产品和服务，包括ML模型。

需要了解的技术趋势：

我有偏见，但我对这些问题的回答是在“独立的语义层”中管理组织逻辑和数据资产的使用。

以下是我的理由：

如果您在BI工具ETL或数据存储中记录您的管道、转换、指标和问题，那么您正在创建组织的另一个孤立、分散的画面，不同的角色只能从一个角度看待现实；

如果你想在度量来源、由哪个计算器使用哪个数据和哪个版本的度量以及由谁使用方面拥有端到端的可观察性，你必须将其放在CDW/ETL/BI管道的顶部或外部；

如果你想利用数据资产Observability and Governance for Risk and Security，它们应该可用于这些工作流或通过接口使用，而不需要另一个“Ops”来运行；

度量存储/功能存储/业务术语表/视图在同一类型的资产上重复了治理和可观察性的工作-为什么不在与数据本地连接的独特语义结构之上有一个平台来服务所有这些场景？

最后但同样重要的是：您真的希望您的关键业务指标与您的数据所在的平台记录在同一个平台上吗？

结论：

我们讨论了成本、效率、透明度和更好的业务协调。但归根结底，它是可持续性、韧性和信任；能够在数字化转型的艰难时期蓬勃发展；能够在不可避免的失败后迅速回顾，从中学习，变得更聪明；围绕数据为人们构建协作支持系统。

祝你2023年快乐健康！