写的是数据产品原理、现代数据堆栈的演变以及数据网格之旅（数据架构的未来）。
在今天的文章中，我将讨论我更兴奋的主要趋势之一，数据产品。我将介绍什么是数据产品，为什么数据管理会发生这种转变，以及数据团队的好处。如果您还没有订阅，请考虑订阅。如果你想建立联系，请访问领英。
标签：数据产品|数据策略|数据网格|数据产品管理
在过去的30年里，我们管理数据的方式没有发生太大变化。向云的巨大转变和新数据技术的兴起，这些技术现在是现代数据堆栈的一部分，但数据管理的基础保持不变。
- 从源应用程序获取数据
- 集成到新数据库中
- 清理数据并将其处理到新状态
- 分析并创建报告和机器学习模型
我们一直从纯粹的技术角度处理数据举措。
正因为如此，借用爱因斯坦的话，我们一次又一次地做同样的事情，期待着不同的结果。
底线。数据管理不能仅仅是技术。
数据管理是一种社会技术现象，这意味着除了技术之外，我们还需要包括人员和流程，以现代化和加强我们的数据管理工作。
考虑到这一点，数据产品是我非常兴奋的趋势之一，我认为它将持续下去。
应用产品思维
在将产品思维应用于软件工程管理之前，团队会花几个小时思考最终与用户无关的功能。或者更糟糕的是，规划一个无人关心的软件产品。
今天，将产品思维应用于软件开发已经是一种常见的做法。主要目标是确保团队开发出能够解决实际用户问题的产品。
为了实现这一目标，团队产品经理：
- 收集用户/客户的反馈
- 根据第一步的数据收集创建软件需求和用例
- 定义路线图
- 创建计划和行动积压
- 管理软件发布
产品经理还负责确定要构建的功能的优先级，估计所需的时间，并测试软件的关键功能。
总之，PM痴迷于用户从产品中获得真正的价值。
将这种心态带到数据中是产生数据产品的原因。
但数据产品到底是什么？
在数据网格的背景下，数据产品是一个自主的数据单元，使团队能够拥有、操作和管理他们的数据，以创造业务价值。
它们应该是高度模块化的（如应用程序微服务），具有明确的边界和API，使团队能够轻松地管理和发展他们的数据产品。
例如：
- 分析–历史/实时报告、仪表盘、图表和数据可视化
- 模型——领域对象、模式和数据模型（ER、本体论、分类法、XSD等）、对象模型（UML）、机器学习特性和属性
- 算法——机器学习模型（生产模型）、评分、业务规则（RETE、DROLS等）
- 数据服务和API——有效负载（JSON、Avro、Protobuf）、主题/队列（JMS、Kafka、Pulsar等）、REST API（网关和合同）、DDD聚合（例如，序列化有效负载）
显然，并不是所有的数据都必须是一个数据产品。
正如Jeffrey T.Pollock分享的那样：
并非所有数据都是在不同的实体之间交换的，也并非所有交换的数据都是为了特定的业务结果。
最终，特定数据（数据？）是否应该上升到数据产品的水平的确切定义取决于您的组织，以及数据产品管理的严格性是否有助于多方交换的创新、质量和治理。不可避免地会有大量数据流动，而这些数据并不是“作为一种产品”来管理的
数据产品原理
不管数据产品是什么，我认为他们都应该遵循一套原则。除此之外，它们与过去几十年中数据团队在企业中部署的数据没有什么不同。
所有权
- 谁拥有并负责数据产品？
- 产品坏了，谁来修理？
- 谁定义了这些要求？
在现实生活中，弃用未使用的Postgres表可能会导致数据管道中断，这意味着团队无法获得所需的数据，机器学习推理不会发生，或者实时仪表板不会更新。
谁来解决这个问题？软件工程团队？数据工程团队？分析和机器学习团队？
数据合约有助于从一开始就避免出现这种情况。我会在另一篇文章中写更多关于它的内容。
边界
- 数据产品的输入和输出是什么？
- 路线图是什么？
- 如何平衡路线图与其他组织优先事项和考虑事项？
期望
- 数据产品在哪里使用？
- 什么是SLA和SLO？
- 如何确保数据质量？
- 将如何对其进行监控和测试？
- 是否有任何安全要求？
- 谁可以访问此数据产品？
数据消费者
- 谁将是数据产品的消费者？
- 数据产品价值将如何衡量？用户活动？真正的活跃用户？节省时间？财务回报？
- 它将如何发展？
- 什么是消费界面？
- 消费者数据是否经过教育？启用计划将如何运作？
语义学
- 此数据产品与其他产品有何关联？
- 具有相应定义的本体是什么？
权力下放（Decentralization）
- 中小型组织是集中的。随着时间的推移，他们确定了需要分散责任的特定领域。
- 数据网格的趋势是将数据责任推给最了解和理解它的领域团队，并让集中的实体/团队管理为组织带来更大利益的方面
- 期望值和语义原则应该由一个中心实体来管理。这就是确保不同数据产品之间的标准化和连接的方法。所有其他原则都应该由特定的领域来管理。他们是能够更好地理解他们的人。
最终关键点
数据产品将继续存在。
我认为用衡量来形容他们的目标是最好的。您想了解谁在消费哪种数据产品以及出于什么原因，以便了解数据团队是否成功并产生价值。剩下的都是为了满足这一需求。
在接下来的几年里，随着团队开始实施数据产品并了解哪些有效，哪些无效，我们将看到数据产品应该是什么样的演变。
