【人工智能】Azure机器学习的工作原理：资源和资产

适用于：Azure CLI ml扩展v2（当前）Python SDK Azure ai ml v2（当前

本文适用于Azure Machine Learning CLI&Python SDK（v2）的第二个版本。有关版本一（v1），请参阅Azure机器学习的工作原理：架构和概念（v1）

Azure机器学习包括多个资源和资产，使您能够执行机器学习任务。运行任何作业都需要这些资源和资产。

• 资源：运行机器学习工作流程所需的设置或基础设施资源。资源包括：
  • 工作区
  • 计算
  • 数据存储
• 资产：使用Azure机器学习命令或作为训练/评分运行的一部分创建。资产经过版本控制，可以在Azure机器学习工作区中注册。它们包括：
  • 模型
  • 环境
  • 数据
  • 组成部分
     

本文档快速概述了这些资源和资产。

先决条件

Python SDK

要在本文中使用Python SDK代码示例：

安装Python SDK v2

创建与Azure机器学习订阅的连接。这些示例都依赖于ml_client。若要创建工作区，连接不需要工作区名称，因为您可能还没有工作区名称。本文中的所有其他示例都要求在连接中包含工作区名称。

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Workspace
from azure.identity import DefaultAzureCredential
# Enter details of your subscription
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
# get a handle to the subscription (use this if you haven't created a workspace yet)
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group)
# all other examples in this article require the connection to include workspace name
workspace_name = "<WORKSPACE_NAME>"
ml_client = ml_client = MLClient(DefaultAzureCredential(), subscription_id, 
resource_group, workspace_name)

Azure CLI

要使用本文中的Azure CLI代码示例，您需要安装并配置Azure CLI。您可以从install安装Azure CLI并设置CLI（v2）。

安装Azure CLI后，请登录到您的Azure帐户：

Azure CLI
 

az login

如果您有权访问多个Azure订阅，请设置您的活动订阅：

Azure CLI

az account set -s "<YOUR_SUBSCRIPTION_NAME_OR_ID>"

演播室

登录Azure机器学习工作室。

工作区

工作区是Azure机器学习的顶级资源，提供了一个集中的地方来处理您在使用Azure机器学习时创建的所有工件。工作区保存所有作业的历史记录，包括日志、指标、输出和脚本的快照。工作区存储对数据存储和计算等资源的引用。它还拥有所有资产，如模型、环境、组件和数据资产。

创建工作空间

开发包

# specify the workspace details
ws = Workspace(
   name="my_workspace",
   location="eastus",
   display_name="My workspace",
   description="This example shows how to create a workspace",
   tags=dict(purpose="demo"),
)

ml_client.workspaces.begin_create(ws) 

# use MLClient to connect to the subscription and resource group and create workspace

This Jupyter notebook shows more ways to create an Azure Machine Learning workspace using SDK v2
Azure CLI

az ml workspace create --file my_workspace.yml

For the content of the file, see workspace YAML examples.
演播室

Create a workspace in the studio welcome page by selecting Create workspace.

计算

计算是指定的计算资源，您可以在其中运行作业或承载端点。Azure机器学习支持以下类型的计算：

• 计算实例-一个完全配置和管理的云中开发环境。您可以将该实例用作开发和测试的训练或推理计算。它类似于云上的虚拟机。
• 计算集群-一种托管计算基础设施，允许您在云中轻松创建CPU或GPU计算节点集群。
• 无服务器计算-您可以动态访问的计算集群。当您使用无服务器计算时，您不需要创建自己的集群。所有计算生命周期管理都转移到Azure机器学习。
• 推理集群-用于将经过训练的机器学习模型部署到Azure Kubernetes服务。您可以从Azure机器学习工作区创建Azure Kubernetes服务（AKS）集群，或者附加现有的AKS集群。
• 附加计算-您可以将自己的计算资源附加到工作空间，并使用它们进行训练和推理。
   

创建计算

Python SDK

 要使用Python SDK v2创建工作区，可以使用以下代码：

适用于：Python SDK azure ai ml v2（当前）

# specify the workspace details
ws = Workspace(
   name="my_workspace",
   location="eastus",
   display_name="My workspace",
   description="This example shows how to create a workspace",
   tags=dict(purpose="demo"),
)
ml_client.workspaces.begin_create(ws)
 # use MLClient to connect to the subscription and resource group and create workspace

This Jupyter notebook shows more ways to create compute using SDK v2.
 

Azure CLI

 

az ml compute create --file my_compute.yml

For the content of the file, see compute YAML examples. .

Studio

• 如果您还没有工作空间，请选择一个工作空间。
• 从左侧菜单中，选择“计算”。
• 在顶部，选择一个选项卡以指定要创建的计算类型。
• 选择“新建”以创建新计算。
   

数据存储

Azure机器学习数据存储安全地将连接信息保存到Azure上的数据存储，因此您不必在脚本中对其进行编码。您可以注册并创建数据存储，以便轻松连接到您的存储帐户，并访问底层存储服务中的数据。CLI v2和SDK v2支持以下类型的基于云的存储服务：

• Azure Blob容器
• Azure文件共享
• Azure数据湖
• Azure Data Lake Gen2

创建数据存储

开发包

 

import AzureBlobDatastore
blob_datastore1 = AzureBlobDatastore(
   name="blob_example",
   description="Datastore pointing to a blob container.",
   account_name="mytestblobstore",
   container_name="data-container",
   credentials={
       "account_key": "XXXxxxXXXxXXXXxxXXXXXxXXXXXxXxxXxXXXxXXX"
   },
)
ml_client.create_or_update(blob_datastore1)

To learn more about using a datastore, see Create and manage data assets.

Azure CLI

az ml datastore create --file my_datastore.yml

To learn more about using a datastore, see Create and manage data assets.

演播室

• 如果您还没有工作空间，请选择一个工作空间。

• 从左侧菜单中，选择数据。

• 在顶部，选择数据存储。

• 选择Create以创建新的数据存储。

要了解有关使用数据存储的更多信息，请参阅创建和管理数据资产。

模型

Azure机器学习模型由表示机器学习模型的二进制文件和任何相应的元数据组成。可以从本地或远程文件或目录创建模型。对于远程位置，支持https、wasbs和azureml位置。创建的模型将在工作区中以指定的名称和版本进行跟踪。Azure机器学习支持三种类型的模型存储格式：

• 自定义模型
• mlflow_model
• triton_model

在模型注册表中创建模型
模型注册允许您在工作区的Azure云中存储和版本化模型。模型注册表可帮助您组织和跟踪经过训练的模型。

For more information on how to create models in the registry, see Work with models in Azure Machine Learning.

环境

Azure机器学习环境是发生机器学习任务的环境的封装。它们指定了软件包、环境变量以及围绕培训和评分脚本的软件设置。环境是机器学习工作空间中的管理和版本控制实体。环境能够在各种计算中实现可复制、可审核和可移植的机器学习工作流程。

环境类型

Azure机器学习支持两种类型的环境：策划环境和自定义环境。

策划的环境由Azure机器学习提供，默认情况下在您的工作区中可用。它们包含Python包和设置的集合，可以帮助您开始使用各种机器学习框架。这些预先创建的环境还允许更快的部署时间。有关完整列表，请参阅策划环境文章。

在自定义环境中，您负责设置环境，并在计算上安装训练或评分脚本所需的包或任何其他依赖项。Azure机器学习允许您使用创建自己的环境

• docker图像
• 一个带有conda YAML的基本docker映像，用于进一步自定义
• docker构建上下文

创建Azure机器学习自定义环境

开发包

 

To create an environment using Python SDK v2, see Create an environment.

This Jupyter notebook shows more ways to create custom environments using SDK v2.

Azure CLI

To create an environment using CLI v2, see Create an environment.

For more information, see environment YAML schema.
 

演播室

• 如果您还没有工作空间，请选择一个工作空间。
• 从左侧菜单中，选择“环境”。
• 在顶部，选择“自定义环境”。
• 选择“创建”以创建新的自定义环境。
   

数据

Azure机器学习允许您使用不同类型的数据：

• URI（本地/云存储中的一个位置）
  • uri_folder
  • uri_file
• 表格（表格数据抽象）
  • mltable
• 基本体
  • 一串
  • 布尔值
  • 数字

对于大多数情况，您将使用uri（uri_folder和uri_file）-存储中的一个位置，通过将存储装载或下载到作业中计算节点的文件系统，可以很容易地映射到该节点。

mltable是用于AutoML作业、并行作业和一些高级场景的表格数据的抽象。如果您刚开始使用Azure机器学习，但没有使用AutoML，我们强烈建议您从URI开始。

组件

Azure机器学习组件是一段独立的代码，在机器学习管道中执行一步。组件是高级机器学习管道的构建块。组件可以完成数据处理、模型训练、模型评分等任务。组件类似于函数——它有名称、参数、期望输入和返回输出。

接下来的步骤

• How to upgrade from v1 to v2
• Train models with the v2 CLI and SDK