【数据目录】2023年前五大开源数据目录
视频号
微信公众号
知识星球
Apache Atlas、Lyft Amundsen、Linkedin Datahub、Netflix Metacat、OpenMetadata
世界正日益受到数据的驱动。随着数据的涌入，企业拥有一个全面的开源数据目录来组织、存储和理解其数据生态系统是至关重要的。本文深入探讨了2023年排名前五的开源数据目录，以最好地满足您的业务需求。我们将讨论每个数据目录的功能、优点和缺点，以便您可以为您的组织选择合适的数据目录。
什么是数据目录？
数据目录是一种数字存储库，旨在对组织的数据资产进行编目、存储和组织。数据目录有助于用户快速访问不同类型的可用数据，并构成全面数据治理战略的基础。它使用户能够快速了解已知数据集的位置、数据代表什么、谁拥有它，以及应该如何使用或可以使用它。
为什么我们应该使用数据目录？
数据目录对于数据治理、安全性和访问至关重要。它为查找和理解组织中的数据集提供了一个单一的参考点。数据目录使快速定位符合特定标准的可靠数据变得更加容易，加快了数据获取过程，同时通过控制谁可以访问哪些信息来确保组织的安全。此外，数据目录作为集中的可搜索存储库，使用户能够轻松查找和理解存储在整个组织中的各种类型的数据，管理不同数据集之间的关系，并提供相关的上下文背景。总而言之，一个好的数据目录使组织数据资产能够被发现，并减少管理同一底层信息的多个来源的冗余工作，从而能够有效利用这些资产。
Apache Atlas
Apache Atlas-Hadoop的数据治理和元数据框架
Apache Atlas是一个开源的数据治理和元数据框架。它提供了管理和审核数据的全面功能。Apache Atlas使用户能够跟踪企业中使用的所有分布式数据资产的数据资产，如数据集、沿袭、标记、访问控制策略、元数据定义和分类。
优点
- 这是一个开源元数据管理解决方案，提供了一种统一的方式来定义和存储企业数据资产，以及管理和管理其访问。
- 高级版本控制功能使跟踪更改变得容易，并确保符合内部策略。
- Apache Atlas还提供了审计日志记录功能，有助于了解数据资产是如何随着时间的推移而被访问、使用和/或修改的。它简化了审核访问请求或在检测到可疑活动时向管理员发出警报的能力。
- 由于其灵活的体系结构和功能，易于与其他应用程序集成。
缺点
- 它需要Java 8或更高版本作为其底层技术，因此用户可能需要额外的资源来支持安装、配置和更新。
- 对于不熟悉Apache Hadoop（Hadoop分布式文件系统（HDFS））或HiveQuery语言（HQL）的新系统开发人员来说，这是一条陡峭的学习曲线。
Lyft Amundsen
Lyft Amundsen是一个开源的、受欢迎的元数据驱动的导航系统，它配有仪表板，用于深入了解组织的数据湖。它用于发现数据并提供对Tableau和Superset等第三方工具的访问。该平台使用户能够与其他团队成员协作，快速从元数据中获得答案，从而提高查询性能或做出更好的产品决策。
优点
- Amundsen为开发人员提供了一种简单的方法来探索和访问公司数据仓库中的数据。
- Amundsen使用元数据标记，使开发人员不需要完全理解底层数据库结构。
- 它有助于简化数据发现，因为它提供了数据集的快速可视化，使快速查找信息变得更容易。
- 编辑器可以创建复杂查询的图形表示，使开发人员能够更快、更轻松地探索数据集。
- 它更适合那些在组织内构建和管理全面元数据层方面已经有经验的公司。
- 对于需求不大的企业来说，这可能不是最合适的选择，因为高级定制可能需要额外的外部援助。
缺点
- 阿蒙森有一条陡峭的学习曲线，这比简单地使用不需要任何高级知识的应用程序更具挑战性。
- 目前，它与一些应用程序的集成相对有限，限制了它用于某些任务的能力，如查询某些类型的数据库或度量跟踪和报告。
- 它更适合那些在组织内构建和管理全面元数据层方面已经有经验的公司。
- 对于需求不大的企业来说，这可能不是最合适的选择，因为高级定制可能需要额外的外部援助。
领英 DataHub
领英数据中心是一个用于管理数据仓库的开源平台，有助于组织实现自助分析，以提高整个组织的个人和团队的决策能力。它的设计重点是可扩展性、健壮性和通用性，可扩展性内置于多个级别的体系结构中，如节点、实例、集群等。
优点
- 易于设置和使用，学习曲线低
- 灵活性，因为它是开源的，所以用户可以根据需要轻松地自定义设置或添加功能
- 通过协作和开源共享扩展数据目录。
- 加密、身份验证和授权等安全控制可用于保护存储的数据。
缺点
- 由于依赖LinkedIn未提供的外部工具，安装过程复杂
- 难以集成到可能与开源架构不兼容的现有系统中
- 对第三方数据源和实时流媒体的有限支持可能需要额外的开发工作。
网飞Metacat
Netflix Metacat是由Netflix开发的一种开源分布式编目工具，允许用户在单个平台内访问和创建所有元数据相关摄取的可搜索记录。Metacat加速了亚马逊网络服务（AWS）新客户进入Netflix流媒体平台侧车服务的速度，并在其视频流媒体库生态系统中添加了新的芯片组，这进一步减少了由于拥有管理复杂元数据需求的集中解决方案而带来的延迟问题。
优点
- 可扩展性：Metacat为用户提供了一套全面的功能，以实现可扩展性。它可以支持大规模的数据收集，并提供强大的功能，如搜索、索引、元数据标记、表格见解、查询生成器等。
- 灵活：Metacat允许用户轻松访问各种格式的数据，如CSV、JSON、XML等。这使得用户很容易使用数据，即使他们不熟悉格式。
- 集成：Metacat还集成了流行的商业智能工具，如Power BI、Tableau和Looker。这使企业更容易将其数据资产与这些平台快速连接起来，并从中了解其整体业务绩效。
- 快速数据访问：Metacat易于在云平台上安装和部署。这确保了用户无论在什么平台上都能以无与伦比的速度访问其数据资产。
缺点
- 有限的安全性：Metacat的开源性质意味着提供的安全措施有限，如第三方产品或服务将使用的加密和其他安全协议。
- 有限的工具集：虽然Metacat提供了广泛的功能，但与提供更多选项（如访问控制协议或自定义元数据管理系统）的企业目录解决方案相比，这些功能可能有些有限。
OpenMetadata
OpenMetadata是一个元数据管理平台，使企业能够定位、理解和管理其数据资产。它提供了一个集中的存储库，用于收集和维护各种数据源的信息，使用户可以轻松地搜索和查找组织内部的数据资产。OpenMetadata支持广泛的数据源，包括数据库、数据仓库和数据湖，并提供跨数据资产的数据沿袭和连接的统一视图。
它基于JSON模式，并提供用于编程访问的REST API。OpenMetadata还包括一个简单的web界面，允许非技术人员在不知道如何使用API的情况下与系统交互。该项目是开源的，有一个充满活力的社区为其发展和维护做出贡献。
优点
- 灵活性：OpenMetadata的设计具有高度的灵活性和可定制性。它可以很容易地与各种数据工具和平台集成，使组织能够构建满足其特定需求的定制数据目录。
- 基于API的架构：OpenMetadata的基于API架构使其能够与数据生态系统中的各种工具和服务集成，从而提供灵活性和可扩展性。
- 协作：OpenMetadata支持协作和数据治理，允许多个用户一起管理和维护数据目录。它还支持基于角色的访问控制，确保只有授权用户才能访问敏感数据。
- 提供数据沿袭和治理：OpenMetadata提供数据沿袭，跟踪数据从来源到最终目的地，以及治理，确保数据质量和安全。
OpenMetadata 1.0版本
OpenMetadata 1.0版本提供了各种更改和新功能，以帮助用户进行元数据管理和数据发现。稳定和增强的API和模式，从源中提取元数据时的性能改进，从云存储中提取元数据的新服务，以及更好的SQL查询和词汇表UI都包含在本版本中。此外，OpenMetadata现在支持多语言本地化，并实现了标记PII数据的自动化方式。为了增强保护，已经启用了SAML支持，并且Chrome浏览器插件现在可以在浏览Looker、Superset和其他应用程序时访问元数据。
总体而言，OpenMetadata为元数据管理系统提供了一种简单且适应性强的产品方法，用户可以通过较少的已验证依赖关系来实现该方法。该体系结构针对用户角色和用例进行了优化，为元数据消费提供了全面的API，并为需要它的人提供了与Kafka的简单集成。
总结
本文概述了组织在管理和组织数据资产时使用的最佳开源数据目录。它强调了数据目录在最大限度地利用公司数据资产、使其可被发现以及消除在维护相同信息的不同来源方面的重复工作方面的重要性。本文讨论了前五大数据目录，包括Apache Atlas、Lyft Amundsen、LinkedIn Datahub、Netflix Metacat和OpenMetadata，以及每个目录的优点和缺点。本文还讨论了采用数据目录的优势，如数据治理、安全性和访问，以及它作为全面数据治理计划基础的功能。
- 484 次浏览