【Azure Databricks】使用Terraform通过VNET注入设置Azure Databricks 工作区

解锁安全配置

在云基础设施领域，Terraform作为定义和部署资源的强大工具处于领先地位。这篇博客文章深入探讨了使用Terraform配置基于Apache Spark的分析平台Azure Databricks 的过程。我们的重点是通过集成虚拟网络和两个子网来优化安全性。加入我们，了解Terraform在构建安全的Azure Databricks 环境方面的简单性和效率。

为什么是虚拟网络和子网？

将Azure Databricks 与虚拟网络集成可确保为您的分析平台提供私有和受控的环境。此配置使您能够管理网络流量、实施安全策略并加强整体治理。

子网是虚拟网络中的细分，有助于组织和分割资源。它们通过将类似的资源分组在一起并在虚拟网络中实施安全策略，实现了更好的网络管理。

虚拟网络和子网共同为部署和管理Azure服务提供了灵活而安全的基础，确保了高效的通信，同时保持了隔离和安全性。

先决条件

• Databricks 工作区
• 虚拟网络和两个子网
• 网络安全组
• 网络安全协会

理解Databricks 工作区中的子网

逻辑网络分区：

子网充当更广泛网络中的逻辑划分，将其分割成更小、可管理的部分。

资料来源：《信息安全导论》，2014年。检索自https://www.sciencedirect.com/"

VNET注射

注意：无法替换现有工作区的VNET

VNET注射要求

• 工作区和VNET必须位于同一区域，并具有相同的订阅
• VNET的地址空间：介于CIDR/16和/24之间
• 多个工作区可以共享同一个VNET
• 每个子网中为Azure保留的5个IP地址

每个工作区2个子网

• 主机/公用子网
• 容器/专用子网

Databricks 工作区子网：

Databricks 要求每个工作区至少有两个子网，位于不同的可用区。

这两个子网是：

1.容器子网/专用子网：

也称为专用子网。此子网用于Spark执行器和驱动程序之间的通信。

此子网专门用于Spark执行器和Databricks 环境中的驱动程序之间的通信。

在Apache Spark这样的分布式计算环境中，任务被分配给在不同节点上运行的多个执行器。Container子网可能与更广泛的网络隔离，以增强安全性并减少暴露。协调任务并管理整体执行的Spark驱动程序与此私有子网内的Spark执行器通信。此子网的隐私对于Spark组件之间数据和命令的安全交换至关重要。

2.主机子网/公用子网：

也称为公共子网。此子网用于Databricks 工作区和Azure服务之间的通信。

此子网用于Databricks 工作区和外部Azure服务之间的通信。

它负责处理Databricks 工作区和其他Azure服务之间的通信。Databricks 工作区通常需要与各种Azure服务（如存储、数据库或其他外部资源）进行交互。将这些交互放置在主机子网中，可以使Databricks 环境与更广泛的Azure生态系统安全地通信，同时将这些通信与用于Spark内部的私有子网隔离开来。这种隔离是为了控制和管理数据和命令流，确保敏感的Spark相关通信与外部服务通信分开

结论：

Container子网专注于内部Spark通信，为Spark执行器和驱动程序之间的协调提供安全的环境。另一方面，主机子网暴露在更广泛的Azure网络中，促进了Databricks 工作区和外部Azure服务之间的通信。这种架构分离有助于在Azure上维护一个组织良好、安全的网络环境。