【数据应用架构】Azure Databricks网络

本文介绍了用于部署和管理Azure Databricks帐户和工作区的网络配置。

重要事项

从2024年12月4日开始，Databricks将开始对连接到外部资源的无服务器工作负载收取网络成本。计费将逐步实施，您可能要到2024年12月4日之后才会被收取费用。在启用计费之前，您不会因使用而被追溯收费。启用计费后，您可能会被收取以下费用：

• 通过Private Link与您的资源建立私人连接。通过private Link与您的资源进行私人连接的数据处理费用将无限期免除。将按小时收费。
• 通过NAT网关与您的资源建立公共连接。
• 产生的数据传输费用，例如无服务器计算和目标资源位于不同区域时。

Azure Databricks体系结构概述

Azure Databricks在控制平面和计算平面之外运行。

控制平面包括Azure Databricks在您的Azure Databricks帐户中管理的后端服务。web应用程序位于控制平面中。
计算平面是处理数据的地方。根据您使用的计算，有两种类型的计算平面。
对于经典的Azure Databricks计算，计算资源位于Azure订阅中的经典计算平面中。这是指Azure订阅中的网络及其资源。经典计算计划资源位于您的工作区所在的区域。
对于无服务器计算，无服务器计算资源在您的Azure Databricks帐户中的无服务器计算平面中运行。无服务器计算计划资源与工作区的经典计算平面位于同一个云区域。创建工作区时选择此区域。
要了解有关经典计算和无服务器计算的更多信息，请参阅计算类型。有关其他体系结构信息，请参阅Azure Databricks体系结构概述。

安全的网络连接

Azure Databricks默认提供安全的网络环境，但如果您的组织有其他需求，您可以在下图所示的不同网络连接之间配置网络连接功能。

网络连接概览图

1. Azure Databricks的用户和应用程序：您可以配置功能来控制访问，并在用户与其Azure Databricks工作区之间提供私有连接。请参阅用户到Azure Databricks网络。
2. 控制平面和经典计算平面：部署在中的经典计算资源（如集群）位于Azure订阅中，并连接到控制平面。您可以使用经典的网络连接功能在自己的虚拟网络中部署经典的计算平面资源，并启用从集群到控制平面的私有连接。请参见经典计算平面网络。
3. 无服务器计算平面和存储：您可以配置从无服务器计算到存储的私有和专用连接。请参阅无服务器计算平面网络。

您可以配置Azure存储网络功能，例如私有端点，以保护经典计算平面和Azure资源之间的连接。请参阅授予您的Azure Databricks工作区访问Azure Data Lake Storage Gen2的权限，以及Lakehouse Federation的网络建议。

您还可以为工作区存储帐户启用防火墙支持，以限制从授权网络和连接访问该帐户。请参阅为您的工作区存储帐户启用防火墙支持。

控制平面和无服务器计算平面之间的连接始终通过Azure骨干网，而不是公共互联网。