写的是数据产品原理、现代数据堆栈的演变以及数据网格之旅(数据架构的未来)。
在今天的文章中,我将讨论我更兴奋的主要趋势之一,数据产品。我将介绍什么是数据产品,为什么数据管理会发生这种转变,以及数据团队的好处。如果您还没有订阅,请考虑订阅。如果你想建立联系,请访问领英。
标签:数据产品|数据策略|数据网格|数据产品管理
在过去的30年里,我们管理数据的方式没有发生太大变化。向云的巨大转变和新数据技术的兴起,这些技术现在是现代数据堆栈的一部分,但数据管理的基础保持不变。
- 从源应用程序获取数据
- 集成到新数据库中
- 清理数据并将其处理到新状态
- 分析并创建报告和机器学习模型
我们一直从纯粹的技术角度处理数据举措。
正因为如此,借用爱因斯坦的话,我们一次又一次地做同样的事情,期待着不同的结果。
底线。数据管理不能仅仅是技术。
数据管理是一种社会技术现象,这意味着除了技术之外,我们还需要包括人员和流程,以现代化和加强我们的数据管理工作。
考虑到这一点,数据产品是我非常兴奋的趋势之一,我认为它将持续下去。
应用产品思维
在将产品思维应用于软件工程管理之前,团队会花几个小时思考最终与用户无关的功能。或者更糟糕的是,规划一个无人关心的软件产品。
今天,将产品思维应用于软件开发已经是一种常见的做法。主要目标是确保团队开发出能够解决实际用户问题的产品。
为了实现这一目标,团队产品经理:
- 收集用户/客户的反馈
- 根据第一步的数据收集创建软件需求和用例
- 定义路线图
- 创建计划和行动积压
- 管理软件发布
产品经理还负责确定要构建的功能的优先级,估计所需的时间,并测试软件的关键功能。
总之,PM痴迷于用户从产品中获得真正的价值。
将这种心态带到数据中是产生数据产品的原因。
但数据产品到底是什么?
在数据网格的背景下,数据产品是一个自主的数据单元,使团队能够拥有、操作和管理他们的数据,以创造业务价值。
它们应该是高度模块化的(如应用程序微服务),具有明确的边界和API,使团队能够轻松地管理和发展他们的数据产品。
例如:
- 分析–历史/实时报告、仪表盘、图表和数据可视化
- 模型——领域对象、模式和数据模型(ER、本体论、分类法、XSD等)、对象模型(UML)、机器学习特性和属性
- 算法——机器学习模型(生产模型)、评分、业务规则(RETE、DROLS等)
- 数据服务和API——有效负载(JSON、Avro、Protobuf)、主题/队列(JMS、Kafka、Pulsar等)、REST API(网关和合同)、DDD聚合(例如,序列化有效负载)
显然,并不是所有的数据都必须是一个数据产品。
正如Jeffrey T.Pollock分享的那样:
并非所有数据都是在不同的实体之间交换的,也并非所有交换的数据都是为了特定的业务结果。
最终,特定数据(数据?)是否应该上升到数据产品的水平的确切定义取决于您的组织,以及数据产品管理的严格性是否有助于多方交换的创新、质量和治理。不可避免地会有大量数据流动,而这些数据并不是“作为一种产品”来管理的
数据产品原理
不管数据产品是什么,我认为他们都应该遵循一套原则。除此之外,它们与过去几十年中数据团队在企业中部署的数据没有什么不同。
所有权
- 谁拥有并负责数据产品?
- 产品坏了,谁来修理?
- 谁定义了这些要求?
在现实生活中,弃用未使用的Postgres表可能会导致数据管道中断,这意味着团队无法获得所需的数据,机器学习推理不会发生,或者实时仪表板不会更新。
谁来解决这个问题?软件工程团队?数据工程团队?分析和机器学习团队?
数据合约有助于从一开始就避免出现这种情况。我会在另一篇文章中写更多关于它的内容。
边界
- 数据产品的输入和输出是什么?
- 路线图是什么?
- 如何平衡路线图与其他组织优先事项和考虑事项?
期望
- 数据产品在哪里使用?
- 什么是SLA和SLO?
- 如何确保数据质量?
- 将如何对其进行监控和测试?
- 是否有任何安全要求?
- 谁可以访问此数据产品?
数据消费者
- 谁将是数据产品的消费者?
- 数据产品价值将如何衡量?用户活动?真正的活跃用户?节省时间?财务回报?
- 它将如何发展?
- 什么是消费界面?
- 消费者数据是否经过教育?启用计划将如何运作?
语义学
- 此数据产品与其他产品有何关联?
- 具有相应定义的本体是什么?
权力下放(Decentralization)
- 中小型组织是集中的。随着时间的推移,他们确定了需要分散责任的特定领域。
- 数据网格的趋势是将数据责任推给最了解和理解它的领域团队,并让集中的实体/团队管理为组织带来更大利益的方面
- 期望值和语义原则应该由一个中心实体来管理。这就是确保不同数据产品之间的标准化和连接的方法。所有其他原则都应该由特定的领域来管理。他们是能够更好地理解他们的人。
最终关键点
数据产品将继续存在。
我认为用衡量来形容他们的目标是最好的。您想了解谁在消费哪种数据产品以及出于什么原因,以便了解数据团队是否成功并产生价值。剩下的都是为了满足这一需求。
在接下来的几年里,随着团队开始实施数据产品并了解哪些有效,哪些无效,我们将看到数据产品应该是什么样的演变。
Tags
最新内容
- 1 day 19 hours ago
- 1 day 19 hours ago
- 4 days 21 hours ago
- 5 days 10 hours ago
- 6 days 21 hours ago
- 1 week ago
- 1 week ago
- 1 week ago
- 1 week ago
- 1 week ago