【数据产品】数据产品-革命性的变革

写的是数据产品原理、现代数据堆栈的演变以及数据网格之旅（数据架构的未来）。

在今天的文章中，我将讨论我更兴奋的主要趋势之一，数据产品。我将介绍什么是数据产品，为什么数据管理会发生这种转变，以及数据团队的好处。如果您还没有订阅，请考虑订阅。如果你想建立联系，请访问领英。

标签：数据产品|数据策略|数据网格|数据产品管理

在过去的30年里，我们管理数据的方式没有发生太大变化。向云的巨大转变和新数据技术的兴起，这些技术现在是现代数据堆栈的一部分，但数据管理的基础保持不变。

• 从源应用程序获取数据
• 集成到新数据库中
• 清理数据并将其处理到新状态
• 分析并创建报告和机器学习模型

我们一直从纯粹的技术角度处理数据举措。

正因为如此，借用爱因斯坦的话，我们一次又一次地做同样的事情，期待着不同的结果。

底线。数据管理不能仅仅是技术。

数据管理是一种社会技术现象，这意味着除了技术之外，我们还需要包括人员和流程，以现代化和加强我们的数据管理工作。

考虑到这一点，数据产品是我非常兴奋的趋势之一，我认为它将持续下去。

应用产品思维

在将产品思维应用于软件工程管理之前，团队会花几个小时思考最终与用户无关的功能。或者更糟糕的是，规划一个无人关心的软件产品。

今天，将产品思维应用于软件开发已经是一种常见的做法。主要目标是确保团队开发出能够解决实际用户问题的产品。

为了实现这一目标，团队产品经理：

1. 收集用户/客户的反馈
2. 根据第一步的数据收集创建软件需求和用例
3. 定义路线图
4. 创建计划和行动积压
5. 管理软件发布

产品经理还负责确定要构建的功能的优先级，估计所需的时间，并测试软件的关键功能。

总之，PM痴迷于用户从产品中获得真正的价值。

将这种心态带到数据中是产生数据产品的原因。

但数据产品到底是什么？

在数据网格的背景下，数据产品是一个自主的数据单元，使团队能够拥有、操作和管理他们的数据，以创造业务价值。

它们应该是高度模块化的（如应用程序微服务），具有明确的边界和API，使团队能够轻松地管理和发展他们的数据产品。

例如：

• 分析–历史/实时报告、仪表盘、图表和数据可视化
• 模型——领域对象、模式和数据模型（ER、本体论、分类法、XSD等）、对象模型（UML）、机器学习特性和属性
• 算法——机器学习模型（生产模型）、评分、业务规则（RETE、DROLS等）
• 数据服务和API——有效负载（JSON、Avro、Protobuf）、主题/队列（JMS、Kafka、Pulsar等）、REST API（网关和合同）、DDD聚合（例如，序列化有效负载）

显然，并不是所有的数据都必须是一个数据产品。

正如Jeffrey T.Pollock分享的那样：

并非所有数据都是在不同的实体之间交换的，也并非所有交换的数据都是为了特定的业务结果。

最终，特定数据（数据？）是否应该上升到数据产品的水平的确切定义取决于您的组织，以及数据产品管理的严格性是否有助于多方交换的创新、质量和治理。不可避免地会有大量数据流动，而这些数据并不是“作为一种产品”来管理的

数据产品原理

不管数据产品是什么，我认为他们都应该遵循一套原则。除此之外，它们与过去几十年中数据团队在企业中部署的数据没有什么不同。

所有权

• 谁拥有并负责数据产品？
• 产品坏了，谁来修理？
• 谁定义了这些要求？

在现实生活中，弃用未使用的Postgres表可能会导致数据管道中断，这意味着团队无法获得所需的数据，机器学习推理不会发生，或者实时仪表板不会更新。

谁来解决这个问题？软件工程团队？数据工程团队？分析和机器学习团队？

数据合约有助于从一开始就避免出现这种情况。我会在另一篇文章中写更多关于它的内容。

边界

• 数据产品的输入和输出是什么？
• 路线图是什么？
• 如何平衡路线图与其他组织优先事项和考虑事项？

期望

• 数据产品在哪里使用？
• 什么是SLA和SLO？
• 如何确保数据质量？
• 将如何对其进行监控和测试？
• 是否有任何安全要求？
• 谁可以访问此数据产品？

数据消费者

• 谁将是数据产品的消费者？
• 数据产品价值将如何衡量？用户活动？真正的活跃用户？节省时间？财务回报？
• 它将如何发展？
• 什么是消费界面？
• 消费者数据是否经过教育？启用计划将如何运作？

语义学

• 此数据产品与其他产品有何关联？
• 具有相应定义的本体是什么？

权力下放（Decentralization）

• 中小型组织是集中的。随着时间的推移，他们确定了需要分散责任的特定领域。
• 数据网格的趋势是将数据责任推给最了解和理解它的领域团队，并让集中的实体/团队管理为组织带来更大利益的方面
• 期望值和语义原则应该由一个中心实体来管理。这就是确保不同数据产品之间的标准化和连接的方法。所有其他原则都应该由特定的领域来管理。他们是能够更好地理解他们的人。

最终关键点

数据产品将继续存在。

我认为用衡量来形容他们的目标是最好的。您想了解谁在消费哪种数据产品以及出于什么原因，以便了解数据团队是否成功并产生价值。剩下的都是为了满足这一需求。

在接下来的几年里，随着团队开始实施数据产品并了解哪些有效，哪些无效，我们将看到数据产品应该是什么样的演变。