【元数据管理】元数据管理的五大最佳实践
视频号
微信公众号
知识星球
什么是元数据?
元数据是关于数据的信息。服装目录或字典都是元数据存储库的示例。事实上,像亚马逊这样的流行在线目录提供了丰富的产品元数据来指导购物者:评级、评论和产品详细信息都是元数据的例子。
与数据密切合作的人,如分析师、数据科学家和IT团队,依赖元数据为他们提供如何使用给定资产的关键背景。如今,元数据在分类、描述和提供有关数字数据的关键信息方面非常有用。
然而,并非所有形式的元数据都是平等的。为了使元数据有用,组织需要了解如何最好地识别、捕获元数据,并与员工共享元数据。这就是元数据管理最佳实践可以提供帮助的地方。
“任何系统都只有它所吸收的元数据才是好的。”―Chris Bulock,《大数据时代的知识与尊严》一书的合著者
为什么元数据很重要?
每个组织都在数据中游泳,这使得找到正确的数据成为一项挑战。但有一种方法可以对数据进行编目和分类,这令人震惊:这是数据……关于数据!
是的,我们谈论的是元数据,或者描述其他数据的信息。对于企业数据而言,元数据和有效的元数据管理是良好数据管理战略的关键组成部分。通过提供有关底层数据的信息,元数据使组织能够以有效、适当的方式管理、管理和利用数据。
元数据管理最佳实践确保企业中所有需要元数据的人都可以访问准确的元数据。这需要一个元数据管理解决方案来实现数据搜索和发现以及数据治理,这两者都允许需要的人访问元数据和底层数据。在当今世界,元数据管理最佳实践需要数据目录。
元数据类型
元数据帮助用户找到他们需要的数据,查看可用数据清单,并评估数据是否适合预期用途。元数据包括以下内容:
- 描述性信息。这包括关于标题、目的、创建日期和创建者的信息。它有助于对数据进行编目和发现,并确定哪些数据最适合使用。
- 结构信息。这包括如何格式化数据,以及有关表、页、类型和关系的信息。它有助于了解数据是如何组织的,确定它是否可以与其他数据组合,以及实现相关的数据发现。
- 行政信息。这包括访问权限、位置、文件大小和所有权信息。它对数据治理、法规遵从性、控制和数据管理非常有用。
- 参考信息。这包括有关质量、来源、使用的流程、模式和公式的信息。它有助于确定如何利用数据。
大量的数据和元数据是一个日益严重的问题。为了管理大量的元数据,出现了一个新的类别,称为活动元数据。全球研究和咨询公司Gartner的高级总监Guido De Simoni表示,“元数据管理市场从2020年开始发生了戏剧性的转变,现在主要关注的是活跃的元数据。”
活动元数据标志着从手动流程向自动化流程的转变。人工智能和机器学习(AI和ML)正在消除手动元数据管理的一些负担,而手动元数据管理已经变得过于繁琐,人们无法单独管理。数据智能将源自活动元数据的智能集成到数据质量、治理和分析等类别中。
元数据管理的五大最佳实践
元数据要有用,就必须是可访问的、可搜索的和可用的。这需要元数据管理过程。但是从哪里开始呢?以下是5种元数据管理最佳实践,它们可以使元数据在整个企业中得到有效、可持续和有益的使用。
1.指派元数据管理团队
任何计划的成功都需要一个专门的团队,元数据管理也不例外。管理团队将制定组织的元数据管理流程和元数据战略,协调元数据管理流程与政策的推出,并指导元数据管理工具的选择。
元数据管理团队应具有数据管理、数据治理和组织整体数据环境方面的经验。他们还应该具备将元数据管理战略与组织的数据和业务战略联系起来的商业头脑。
2.定义元数据策略
定义元数据策略需要组织考虑其数据目标。领导层可能希望控制堆积如山的数据,灌输数据文化,实现更快、更敏捷、更准确的决策,或者完全是其他事情。
元数据战略应该考虑到这些目标,并提供指导,以便有效地实现这些目标。元数据战略还应考虑:
- 所需的元数据
- 它的位置
- 需要克服的任何技术或基础设施障碍
- 以后将如何获取和访问元数据
- 存放地点
- 谁将负责其持续维护
3.采用元数据标准
每个组织都应该采用一套元数据标准,以确保统一性。元数据的这种标准化将作为元数据管理过程的基础。有一些公认的元数据标准,如都柏林核心元数据元素集和相关的ISO 158369标准,它们建立了用于描述元数据资源的核心属性。
4.部署元数据管理工具
一个专用的元数据管理工具使组织能够收集和利用元数据。这样的工具通常采用数据目录的形式,这样可以方便地存储和搜索元数据。它甚至可以利用人工智能和机器学习来自动捕获和分类元数据。高级元数据管理工具具有涵盖元数据管理流程、策略和数据治理需求的功能。
5.在整个组织中扩展元数据管理战略
一旦上述元数据管理最佳实践到位,就到了将元数据管理战略推广到整个组织的时候了。这可以采取分阶段的方法,涵盖特定的组织部门或数据类型。
一种常见的元数据管理最佳实践是让行业专家尽早参与流程,以帮助确保基础元数据管理战略设计良好且可持续。持续改进、调整和更新元数据管理战略、元数据管理流程以及相关政策、标准等也很重要。
Gartner幻方图
Gartner元数据管理解决方案幻方图是元数据管理最佳实践信息的主要来源之一。本文档介绍了市场,并提供了近20家数据目录和元数据管理解决方案供应商的优势和注意事项的详细信息。
Gartner幻方图将解决方案供应商分为四类:领导者、挑战者、远见者和利基市场参与者。Alation因其市场知名度和吸引力、机器学习创新以及对主动元数据和协作的关注而被公认为Gartner元数据管理解决方案幻方图的领导者。这是Alation连续第四年被公认为领导者。
Alation数据目录为元数据管理最佳实践提供了一个平台。通过使用其关于整个企业信息源的元数据存储库,包括数据集、商业智能报告、可视化和对话,该目录帮助人们快速查找和理解数据,以改进分析、数据治理、隐私、云转型等。
它显著提高了分析师的生产力,提高了分析的准确性,实现了自信的数据驱动决策,同时使员工能够发现、理解和管理数据。
- 206 次浏览