全球数据战略E.M.E.A.首席顾问Nigel Turner在DATAVERSITY®企业数据治理在线会议上表示:“数据架构是业务战略的实际实施。”。“这是整个连续体的关键部分,您需要在组织内建立它来有效地管理数据,”数据治理在这些战略和业务中的实际实施之间形成了重要的桥梁。
数据架构:它是什么?
DAMA DMBoK2表示,数据架构“通过与组织战略保持一致来定义管理数据资产的蓝图,以建立战略数据需求和满足这些需求的设计。”Turner指出了这一定义的三个关键部分,第一个是“蓝图”一词。”“这意味着,任何没有实施计划的数据架构都可能会被搁置,直到永恒的迷雾升起。”
第二个关键部分是“与组织战略保持一致”。他说,数据架构必须与业务目标以及数据如何支持这些目标直接联系起来。第三部分是关于建立战略数据需求。因为“任何有效的数据架构都必须具有前瞻性。”
他引用了Donna Burbank和Charles Roe的一份题为《数据架构趋势》的DATAVERSITY研究报告,指出了对“什么是数据架构?”
“我们在数据管理中遇到的问题之一是,如果你采用任何数据管理概念、术语或学科,不同的人会以不同的方式定义它。”
无论如何定义,数据架构都必须有一些具体的可交付成果,例如规范、不同抽象级别的主设计文档,以及数据通过系统的所有容器和路径的描述。他说,如果没有这些可交付成果,“那么很明显,你实际上并没有为企业提供任何有价值的东西。”
数据架构的典型可交付成果
标准交付物包括:
- 关于数据使用的政策、指导原则、使用意向声明和问责机制
- 数据模型,包括企业概念模型、逻辑数据模型、物理数据模型和特定于应用程序的逻辑数据模型
- 数据目录
- 数据源清单
- 主数据或参考数据,以及哪些数据被广泛共享
- 定义的关键数据,包括词汇表、词典、定义和应用标准
- 元数据及其管理方式
- 数据沿袭和流经系统
- 实施路线图
“如果你把所有这些东西都准备好了,你就有很大的机会获得一个可行的数据架构。”
数据架构:如何失败
- 试图设计一个包含管理、处理、收集和存储一切的架构:“避免让海洋沸腾。将你的架构集中在对你的业务运作至关重要的事情上。”
- 完全由IT部门管理、驱动和设计的数据架构最终可能成为新技术的购物清单,而不是支持业务战略的计划。“恕我直言,IT部门的人并不总是最了解数据如何支持业务战略的人,因此也不了解架构需要如何发展才能实现这一点。”
- 如果没有高级管理层的积极支持,无论是在业务还是IT方面,都不太可能取得成功。“它不应该只被组织中的人领导和开发。”
- 如果您的架构过于复杂,那么它不太可能保持最新。特纳分享了一个关于他作为顾问合作过的一家公司的故事。该公司有一个非常详细的数据模型,覆盖了整个房间的墙壁。他们为这个模型感到非常自豪,但在几年的时间里,特纳注意到同一个模型在同一面墙上,没有变化,这意味着它只用于墙壁装饰。
- 长期规划很重要,但不要忽视具体的短期效益。他说,“如果你没有硬性的可交付成果,数据架构仍然是一个梦想。”建立一些快速的胜利。
正确使用数据架构
有效的数据架构的关键特征包括数据战略,该战略与业务驱动因素保持一致,以基本数据为目标,划定明确的活动和里程碑,并且足够灵活,可以随着业务需求和可用技术的发展而发展。最重要的是,架构必须是可管理的。“你永远不可能把所有的数据都整理出来。你需要专注于真正有意义的事情。”
制定数据战略
Turner概述了数据战略的简单路径。从业务战略开始,确定哪些数据对支持该战略至关重要。评估你所拥有的数据,并决定它是否符合任务要求,如果不符合,则决定需要什么来改进它。Turner指出,改进可能需要来自业务方面,而不是完全来自it。例如,如果每个部门都使用不同的代码或术语来表示“客户”,“那么这显然会影响业务战略,而业务战略可能需要改变以适应这一障碍。”
今天的数据:范围、规模和复杂性
在过去的十年里,公司和组织处理的数据量显著增加。目前存储的所有数据中,90%是在过去两年中创建的。换句话说:
“地球上有2.5万亿粒沙子。顺便说一句,5万亿粒是18个零后的1。每天创建的数据字节数是这个数字的三倍。因此,这一范围和规模绝对是惊人的。”
然而,这不仅仅是范围和规模的问题,他说。复杂性也是一个因素。因为很多公司还没有掌握基本知识——数据管理、数据质量,以及确保使用的数据符合预期目的——“忘记未来所有的新技术。这就是今天的现实。”
数据架构的业务驱动因素
商业智能和数据科学是数据架构的驱动力,因为它们是IT领域的强劲增长领域。与此同时,成本降低、效率提高和法规遵从性也给改善数据治理带来了压力。他说,另一个原因是,“我怀疑,大多数组织的数据管理现状仍然很差。”
他引用了去年发表在《哈佛商业评论》上的一项研究。研究人员调查了75家公司,要求这些公司的高管检查关键系统中一系列记录的准确性,这些记录被认为是公司高效运营的关键。“结果真的非常令人震惊,”他说,因为一百张唱片中只有三张是没有错误的。“在这75家公司检查的所有记录中,97%的记录中存在一些严重错误,这可能会影响业务绩效。”
特纳表示,数据湖的最大问题是缺乏有效的数据治理。缺乏一致的数据定义和元数据,因此当人们访问这些数据湖中的数据时,“他们根本不知道这意味着什么。”
他说,那些为了从数据中寻找见解而获得高薪的数据科学家,却把大部分时间花在了较低级别的任务上,只是为了让数据处于可用状态。
“大数据和分析带来的所有巨大希望,加上公司现在正在收集的所有这些数据,只有不到1%的数据被实际使用。”
他将目前的情况比作灭火过程,而不是创造一种积极主动的方法来预防火灾。我们需要的是一个连贯有效的数据架构,并专注于识别问题、创建解决方案和建立预防性、主动性的治理。“换句话说,你要阻止火灾的发生,而不是等到火灾发生后再采取被动的方式灭火。”
数据治理:从被动转向主动
Turner分享了Global Data Strategy对数据治理的定义:这是一个由企业主导的持续改进数据的过程,有利于所有数据利益相关者。尽管最初的实施可能是从一个项目开始的,但“最终,你要确保它作为一个业务流程在后台运行,实际上,与所有其他业务流程一起运行。”
数据治理的七项关键原则
- 必须主动管理数据
- 业务部门应负责领导治理工作
- 业务部门必须设置改进数据的优先级、重点关注哪些数据以及应该产生哪些影响
- 数据所有者必须对关键数据负责
- 数据管理员负责数据改进
- IT提供了在物理世界中实现数据治理的技术
- 组织中的每个人都必须作为任何数据治理活动的一部分
“每个组织都需要数据架构,但它需要应用的程度和位置因组织而异,没有人比治理专业人员更适合帮助架构师做出这些决策。”
他说,数据治理和数据架构相互支持和加强。Turner分享了一张幻灯片,概述了数据治理和数据架构之间的协同作用,强调了两者的关键优势。
数据管理员能够识别关键数据以及这些数据的状态如何影响业务,这有助于确定架构的优先级和发展。数据所有者应该向业务规则通知随后在架构中实现的数据。所有者和管理者处于一个很好的位置,可以充当拥护者,帮助架构师为数据架构的更多投资建立一个案例,因为“他们将了解数据缺陷的当前影响,以及以更结构化的方式管理数据的重要性,”他说。
数据架构可以通过在物理层面上制定治理策略来支持数据治理,从而使其能够在现实世界中实现,而不仅仅是作为抽象的想法。数据模型可以说明哪些数据需要治理,并可以突出参考数据集和主数据集,Turner说,“需要在组织内最紧密地管理和拥有这些数据集。”数据架构有助于围绕关键数据建立业务和IT共识,确保业务与IT合作执行确定的优先事项。
使数据治理与数据架构保持一致
特纳说,从哪里开始并不重要。重要的是,数据架构和数据治理的学科结合在一起,形成了一个持续的改进周期,确保“您的数据越来越好,并根据业务需求不断发展。”
特纳以一张卫城的照片结束了他的演讲,以说明持久建筑的重要性。为了建造一座能持续2500多年的神庙,希腊人花了很多时间来平整和准备它所在的山丘的地基。
“任何希望在数据方面也这样做的组织,换言之,都应该认识到,你需要数据架构和数据治理,他们需要共同努力,为未来奠定基础。”
想了解更多关于DATAVERSITY即将举办的活动的信息吗?点击此处查看我们目前的在线和面对面会议。
最新内容
- 1 day ago
- 1 day 19 hours ago
- 1 day 19 hours ago
- 1 day 19 hours ago
- 1 day 19 hours ago
- 1 day 20 hours ago
- 1 day 20 hours ago
- 1 day 20 hours ago
- 1 day 20 hours ago
- 1 day 21 hours ago