在构建数据平台时，技术不再是最大的挑战
许多数据组织已经到了技术不再是最大障碍的阶段。随着数据技术的成熟，挑战正在从扩展数据处理转向实现可持续的数据平台。我们的数据成熟度测试证实了这一转变，并表明今天的组织在人员、流程和产品方面更加困难。
要发展成为顶级数据组织，我们建议采用一种摆脱技术密集型的方法：
- 将您的数据平台视为一种产品（而不是一个项目），以启用其用户。
- 确保你有一支具有正确技能的团队。
- 将流程落实到位，让员工受益。
成功扩展您的数据工作需要提高您的成熟度
在构建了一个初始的数据或人工智能产品之后，许多组织都在努力构建新的产品。由于对所谓的“数据基础”的大量投资，这些初始产品很可能具有负投资回报率。下面的金字塔显示了构建数据产品的不同级别所付出的相对努力。底层或基础部分花费的精力最多，因此达到正ROI可能需要一段时间。难怪Gartner预测，到2022年，85%的人工智能项目将失败。
When developing a data product, most efforts go into the foundational parts: infrastructure and operations. The real business value is at the top of the pyramid, so it can take a while before reaching a positive ROI.
在开发数据产品时，大部分精力都集中在基础部分：基础设施和操作。真正的商业价值处于金字塔的顶端，因此在达到正ROI之前可能需要一段时间。
组织总是需要多个数据产品。这是因为一个组织的雄心往往直接转化为数据需求，可能跨越多个部门。即使是与数据无关的雄心，如“增加我们产品的采用率”或“使我们的团队效率提高30%”，也需要数据处理来跟进他们的成功。数据需求需要由多个数据产品来满足，每个产品都具有上述金字塔形状。那么，我们如何避免构建这些数据产品所需的所有“开销”呢？
减少开销的一个明显方法是使用基础设施和运营中的通用组件（例如，数据目录）构建一个数据平台。这个想法是为了避免间接成本，使投资回报率为正。
As organizations typically need many data products, a good split between data platform and data product can help you reach a positive ROI.
由于组织通常需要许多数据产品，因此在数据平台和数据产品之间进行良好的划分可以帮助您实现正的ROI。
然而，在Data Minded，我们看到许多组织都在努力成功地提供数据产品和平台。根据我们的经验，我们收集了几个关键的最佳实践，并将它们捆绑到我们的数据成熟度测试中。该测试使组织能够确定他们是否能够实现数据目标。
我们的数据成熟度测试表明一个组织是否能够实现其数据雄心。
数据成熟度是指一个组织在使用其数据资产时达到的复杂程度。我们的数据成熟度白皮书详细阐述了测试，并对构建可持续数据平台的六个关键维度提供了见解。在我们之前的博客文章中了解更多关于数据成熟度的信息为什么数据成熟度会增长？以及数据成熟度的六大支柱。
走向可持续的数据平台
在该领域，我们看到许多组织都在努力构建数据平台。确保我们能够处理“大数据”通常不再是问题：许多现代技术通常具有水平可扩展性，可以在负载增加时增加功率。将其与云（按需存储和计算）的强大功能相结合，这使得上市时间看起来很短。其结果——快速扩展的能力——看起来像是构建数据平台的灵丹妙药，对吧？实际情况并非如此：挑战已经从可扩展性转向了可持续性。
挑战已经从可扩展性转向可持续性。
在理想的世界里，当你添加更多的用例（数据产品）时，你不需要额外的工作来保持平台的健康。您的平台保持最新、可用、安全、可自助、可扩展、灵活、经济高效等。最重要的是，它应该在未来多年内保持不变。因此，我们必须考虑对数据平台的持续投资。因此，ROI再次变得相关，这一次是在平台本身的层面上。无论我们如何建造它，它都需要是可持续的。
对我们Data Minded来说，可持续性意味着数据平台是经得起未来考验的。下图显示了两个拥有可扩展数据平台的组织。左边的组织在添加新的数据产品时需要添加更多的人员。这是因为新的数据产品可能需要新的功能或数据。由于平台工程师和数据工程师很难找到，这通常会转化为人员流动，导致其他部分的技术债务增加。即使你设法增加了更多的人，随着时间的推移，这种方法也会导致协调方面的巨大开销。
On the left, we see an organization that scales with people, who quickly become a bottleneck. On the right, the organization employs a product mindset, combining the right processes and people to scale without needing more engineers. Only the latter approach is sustainable for building a future-proof data platform.
在左边，我们看到了一个与人合作的组织，这些人很快就成为了瓶颈。在右边，组织采用了产品思维，将正确的流程和人员结合起来进行扩展，而不需要更多的工程师。只有后一种方法对于构建经得起未来考验的数据平台是可持续的。
右边的组织采用了不同的方法。他们确保建立一个能够轻松处理正在添加的新数据产品的平台。我们认为这需要正确的工具，但尤其需要关注人员、流程和使用产品思维。在这种情况下，当你增加更多的人时，它就位于金字塔的顶端，那里有最大的价值。
从技术转向人员、流程和产品
下图显示了我们正在进行的数据成熟度测试的结果。我们看到了在每个维度上达到不同成熟度水平的受访者的比例。很明显，在技术维度上得分最高，而所有其他维度都落后了。
More organizations are reaching a high data maturity level in the Technology dimension. This indicates that technology is not the biggest challenge anymore in becoming a data-mature organization.
越来越多的组织在技术层面达到了较高的数据成熟度。这表明，技术不再是成为数据成熟组织的最大挑战。
为什么非技术维度更难达到高水平的数据成熟度？当我们观察在各个方面实施基本最佳实践的组织的百分比时，我们发现许多组织仍在努力解决这些问题。缺乏坚实的基础可以解释在这些方面达到更高成熟度的困难。
When we look at the two foundational best practices per dimension, the ones for Technology have the highest adoption. The lack of a solid foundation could explain the difficulties in reaching higher maturity levels.
当我们从每个维度来看两个基本的最佳实践时，技术方面的最佳实践的采用率最高。缺乏坚实的基础可以解释达到更高成熟度的困难。
技术显然处于最佳状态，其次是组织维度。许多组织探索现代（云）技术以加速其数据工作，这解释了技术得分高的原因。如今，许多技术都内置了可扩展性，一键设置使部署看起来（太）容易了。然而，将技术结合到一个可扩展和可持续的数据平台中更为复杂。特别是如果它需要实现特定的需求，并且您需要长时间运行它。
相对较高的组织得分源于组织的业务方面，这些业务方面往往在推动对数据做更多的处理。这表明了人们对更多数据和人工智能努力的渴望，并证实了我们上一篇关于“为什么数据成熟度会增长？”的文章中的发现？。
不要把注意力集中在技术上，而是把注意力转向人员、流程和产品上。
其他维度得分明显较低。由于数据是特定于组织的，我们将注意力转向人员、流程和产品。为了建立一个可持续的数据平台和组织，我们建议提高这些领域的基础数据成熟度，而不是以技术为重。这可以通过关注以下三个关键方面来实现：
- 产品：将您的数据平台视为产品（而非项目），以启用其用户。
- 人员：确保你有一支具备适当技能的团队。
- 流程：将流程落实到位，使员工受益。
将您的数据平台视为产品（而非项目），以启用其用户
您的数据平台不是一个“项目”，它在首次发布后必须保持可操作性。虽然一些数据产品的使用寿命可能有限（例如，一次性年度报告），但数据平台本身的开发通常是为了长期保持不变。同时，您不想拖延从数据中创造价值。因此，与任何产品一样，您必须开发一个平衡上市时间、成本和功能的平台。
没有用户，就没有数据平台。
请记住，没有用户，就没有数据平台。因此，以用户为中心的数据平台设计是关键。数据平台应该使其用户能够对数据做更多的处理。然而，这并不意味着要实现纯粹的功能。关注自助服务和自动化至关重要，保持平台的一致性和可用性也是如此。这方面的错误决策会很快导致数据组织成为瓶颈。
在功能部分（或功能部分）之上，您需要清楚地了解非功能部分：治理、版本控制、更新、SLA、恢复计划、文档、安全性等在平台的可用性中发挥着重要作用。此外，这些方面将决定平台的运营模式。
随着平台的发展，技术债务将会堆积，必须加以控制。未自动化的手动激活脚本，被标记为安全风险的遗留依赖项，等等。我们经常看到平台的组件处于非工业化状态，等待在最糟糕的时刻重新出现。
总之，我们建议在构建平台的同时，采用平衡功能、运营和技术债务的产品思维方式。这是一项具有挑战性的任务，因为利益相关者和用户可以更直接地看到新功能，但这是创建可持续数据平台的唯一途径。
如果您对扩展数据组织感兴趣，请务必阅读data Mesh，这是一种试图解决数据团队瓶颈的方法。
确保你有一支具有正确技能的团队
要建立一个可持续的数据平台和数据产品，您需要具备适当技能的人员。理想情况下，您可以在技术和业务特定技能之间取得适当的平衡。但即使是技术技能，也比只看“初级”和“高级”角色更复杂。
团队应该能够端到端地交付和运营他们的产品。
在研究与数据相关的技能集时，我们看到了更细粒度的角色定义。最近，ML工程师、数据工程师、平台工程师、数据科学家和数据分析师的意思越来越清楚。然而，在构建数据产品时，我们通常关注开发部分，而在考虑可持续性时，工业化和自动化等方面即使不是更重要，也同样重要。
承认这些不同的技能可以让团队更自然地添加互补的配置文件，以帮助端到端地交付和运营他们的产品。此外，这将使他们能够更快地向上述产品思维发展。
制定流程，赋能员工
要交付一个出色的产品，它需要为用户提供支持，并需要一个具有正确技能的多元化团队。需要制定一些最低流程的最佳实践，以确保团队能够取得成功。这些方面包括测试代码、限制正在进行的工作、及时共享知识以及执行高质量的代码评审（没有“橡皮图章”）。
我们并不是在提倡高度官僚化的程序；这只是为了进行正确的检查，以确保您的数据平台和产品处于并将保持良好状态。一旦你掌握了基本知识，你就可以朝着一个允许你每天多次交付生产的过程努力，这将使你达到与精英软件开发团队相同的水平。
考验你的成熟度！
在这篇文章中，我们探讨了为什么数据成熟度与实现您的（数据）抱负相关：确保您拥有可扩展的，尤其是可持续的数据产品交付方式是关键。一个巨大的风险是建立一个组织，让您的数据工作需要人员来扩展，因为这将阻碍您的数据产品的开发，更重要的是，阻碍它们的长期生存能力。
我们的数据成熟度测试结果证实，随着数据技术的成熟，挑战正在向人员、流程和产品维度转移。建立可持续数据平台的唯一方法是提高这些领域的成熟度。对于三个未开发的维度中的每一个，我们都制定了一个高水平的方向，并通过白皮书中的具体改进轨道加以补充。
如果您有兴趣对自己的组织进行基准测试，我们建议您完成免费的数据成熟度测试。几分钟后，您将知道如何与他人进行比较，并立即收到具体的建议，以提高您的数据成熟度。
Example report of the Data Maturity Test by Data Minded.
