【数据架构】数据仓库、数据湖和数据集市之间的区别是什么？ |

语言 Chinese, Simplified

SEO Title

数据仓库、数据湖和数据集市是不同的云存储解决方案。数据仓库以结构化格式存储数据。它是用于分析和商业智能的预处理数据的中央存储库。数据集市是为特定业务部门（如公司的财务、营销或销售部门）的需求提供服务的数据仓库。另一方面，数据湖是原始数据和非结构化数据的中央存储库。您可以先存储数据，然后再进行处理。

数据仓库、数据集市和数据湖之间的相似性

如今，组织可以访问不断增长的数据量。然而，他们必须对原始数据进行排序、处理、筛选和分析，才能获得实际的好处。同时，他们还必须遵循严格的数据保护和安全做法，以实现法规遵从性。例如，以下是组织必须遵循的做法：

组织使用各种工具和解决方案来实现其数据分析结果。数据仓库、集市和湖泊都是有助于存储数据的解决方案。

阅读有关XML的更多信息»

这三种存储解决方案都可以帮助您提高数据的可用性、可靠性和安全性。以下是如何使用它们的示例：

此外，这三种解决方案都具有成本效益——您只需为所使用的存储空间付费。您可以存储所有数据，分析其模式和趋势，并使用这些信息优化您的业务运营。

数据仓库是一种关系数据库，用于存储来自事务系统和业务功能应用程序的数据。仓库中的所有数据都是结构化的或预先建模为表。数据结构和模式是为了优化快速SQL查询而设计的。数据集市是同一技术的不同营销术语。它也是一个关系数据库，但实际用途与数据仓库有很大不同。差异的关键点如下。

阅读有关SQL的更多信息»

数据仓库有多个内部和外部来源。您可以从任何地方提取数据，将其转换为结构化格式，然后将其加载到仓库中。数据集市的数据源较少，而且往往较小。

数据仓库通常存储来自多个业务单元的数据。他们集中集成整个组织的数据，以进行全面的分析。数据集市有一个单一的主题，并且在本质上更加分散。他们经常过滤和汇总来自另一个现有数据仓库的信息。

多个用户和项目需要存储在数据仓库中的数据。因此，仓库的使用寿命往往更长，性质也更复杂。另一方面，数据集市可能以项目为中心，使用有限。团队更喜欢从企业数据仓库创建数据集市，并在用例完成后终止它们。

数据科学家在设计数据仓库时使用自上而下的方法。他们首先规划总体架构，并在出现挑战时解决这些挑战。然而，有了数据集市，数据工程师就已经知道了值、数据类型和外部数据源等细节。他们可以从一开始就计划实现，并采取自下而上的方法进行数据集市设计。

Characteristics	Data Warehouse	Data Mart
Scope	Centralized, multiple subject areas integrated together	Decentralized, specific subject area
Users	Organization-wide	A single community or department
Data source	Many sources	A single or a few sources, or a portion of data already collected in a data warehouse
Size	Large, can be 100's of gigabytes to petabytes	Small, generally up to 10's of gigabytes
Design	Top-down	Bottom-up
Data detail	Complete, detailed data	May hold summarized data
	Learn more about Data Warehouses	Learn more about Data Marts

数据仓库和数据湖是两种相关但根本不同的技术。虽然数据仓库存储结构化数据，但lake是一个集中的存储库，允许您存储任何规模的任何数据。与数据仓库相比，数据湖提供了更多的存储选项，具有更高的复杂性，并且具有不同的用例。差异的关键点如下。

数据湖和仓库都可以拥有无限的数据源。但是，数据仓库需要您在保存数据之前设计您的模式。只能将结构化数据加载到系统中。相反，数据湖没有这样的要求。它们可以存储非结构化和半结构化数据，如网络服务器日志、点击流、社交媒体和传感器数据。

数据仓库通常需要在存储之前进行预处理。提取、转换、加载（ETL）工具用于预先清理、过滤和构建数据集。相比之下，数据湖可以容纳任何数据。您可以灵活选择是否执行预处理。组织通常使用提取、加载、转换（ELT）工具。他们首先将数据加载到湖中，并仅在需要时进行转换。

数据仓库往往更可靠，因为您可以提前执行处理。可以提前完成重复数据消除、排序、汇总和验证等功能，以确保数据的准确性。如果不提前进行检查，重复或错误且未经验证的数据可能会进入数据湖。

数据仓库是为实现最快的查询性能而设计的。业务用户更喜欢数据仓库，这样他们可以更高效地生成报告。相比之下，数据湖体系结构将存储容量和成本置于性能之上。您可以以更低的成本获得更高的存储容量，并且仍然可以以合理的速度访问数据。

product-page-diagram_Data-Warehousing

database-seo

Characteristics	Data Warehouse	Data Lake
Data	Relational data from transactional systems, operational databases, and line of business applications	All data, including structured, semi-structured, and unstructured
Schema	Often designed prior to the data warehouse implementation but also can be written at the time of analysis (schema-on-write or schema-on-read)	Written at the time of analysis (schema-on-read)
Price/Performance	Fastest query results using local storage	Query results getting faster using low-cost storage and decoupling of compute and storage
Data quality	Highly curated data that serves as the central version of the truth	Any data that may or may not be curated (i.e. raw data)
Users	Business analysts, data scientists, and data developers	Business analysts (using curated data), data scientists, data developers, data engineers, and data architects
Analytics	Batch reporting, BI, and visualizations	Machine learning, exploratory analytics, data discovery, streaming, operational analytics, big data, and profiling
	Learn more about Data Warehouses	Learn more about Data Lakes