category
Azure AI Studio支持部署大型语言模型（LLM）、流和web应用程序。部署LLM或流使其可用于网站、应用程序或其他生产环境。这项工作通常包括将模型托管在服务器或云中，并创建API或其他界面供用户与模型交互。
与已部署模型交互的过程称为推理。推理涉及将新的输入数据应用于模型以生成输出。
您可以在各种应用程序中使用推理。例如，您可以使用聊天完成模型来自动完成一个人实时键入的单词或短语。您还可以使用聊天模型来生成对“您能为在西雅图的一天访问创建行程吗？”这个问题的回答。可能性是无限的。
部署模型
首先，你可能会问：
- “我可以部署哪些模型？”
Azure AI Studio支持部署由微软、Hugging Face、Meta等策划的一些最受欢迎的大型语言和视觉基础模型。
- “我该如何选择合适的型号？”
Azure AI Studio提供了一个模型目录，您可以在其中根据用例搜索和过滤模型。您还可以在将模型部署到项目之前，在示例游乐场中对其进行测试。
- “我可以从Azure AI Studio的哪里部署模型？”
您可以从模型目录或项目的部署页面部署模型。
Azure AI Studio简化了部署。一个简单的选择或一行代码部署一个模型并生成一个API端点供应用程序使用。
Azure OpenAI模型
使用Azure OpenAI服务，您可以从Azure访问具有企业功能的最新OpenAI模型。了解更多关于如何在AI Studio中部署Azure OpenAI模型的信息。
开放式模型
模型目录提供了跨模态的各种模型的访问。您可以将模型目录中的某些模型部署为按需付费的服务。此功能提供了一种将模型作为API使用的方法，而无需将其托管在订阅中，同时保持组织所需的企业安全性和合规性。
将模型部署为无服务器API
作为无服务器API的模型部署不需要订阅的配额。此选项允许您将模型部署为服务（MaaS）。您使用无服务器的API部署，并以付费即用的方式按令牌计费。有关将模型部署为无服务器API的更多信息，请参阅将模型部署成无服务器API。
使用托管、受管理的基础架构部署模型
您可以在自己的订阅中托管开放模型，包括托管基础架构、虚拟机和容量管理实例数量。有来自Azure OpenAI、Hugging Face和NVIDIA的各种型号。了解更多关于如何将开放模型部署到实时端点的信息。
在Azure AI Studio中部署和推断LLM的计费
下表描述了如何在Azure AI Studio中部署和推断LLM。要了解有关如何跟踪成本的更多信息，请参阅监控通过Azure Marketplace提供的模型的成本。
| Use case | Azure OpenAI models | Models deployed as serverless APIs (pay-as-you-go) | Models deployed with managed compute |
|---|---|---|---|
| Deploying a model from the model catalog to your project | No, you aren't billed for deploying an Azure OpenAI model to your project. | Yes, you're billed according to the infrastructure of the endpoint.1 | Yes, you're billed for the infrastructure that hosts the model.2 |
| Testing chat mode in a playground after deploying a model to your project | Yes, you're billed based on your token usage. | Yes, you're billed based on your token usage. | None |
| Testing a model in a sample playground on the model catalog (if applicable) | Not applicable | None | None |
| Testing a model in a playground under your project (if applicable), or on the test tab on the deployment details page under your project. | Yes, you're billed based on your token usage. | Yes, you're billed based on your token usage. | None |
1最小端点基础设施按分钟计费。您无需为托管该模型的基础设施付费。删除端点后，不再产生任何费用。
2计费基于每分钟，具体取决于产品级别和自创建以来部署中使用的实例数量。删除端点后，不再产生任何费用。
部署流
什么是流，为什么要部署它？流是一系列可用于构建生成性AI应用程序的工具。部署流与部署模型的不同之处在于，您可以使用自己的数据和其他组件（如嵌入、向量数据库查找和自定义连接）自定义流。有关操作指南，请参阅部署实时推理流。
例如，您可以构建一个聊天机器人，它使用您的数据来生成对用户查询的知情和有根据的响应。当您在游乐场中添加数据时，会自动为您生成提示流。您可以按原样部署流或对其进行自定义。在Azure AI Studio中，您还可以从头开始创建自己的流。
无论您选择哪种方式在Azure AI Studio中创建流，都可以快速部署它，并为您的应用程序生成API端点以供使用。
部署web应用程序
您部署的模型或流可以在Azure上托管的web应用程序中使用。Azure AI Studio提供了一种快速部署web应用程序的方法。有关更多信息，请参阅Azure AI Studio企业聊天教程。
为部署的模型规划AI安全
对于GPT-4等Azure OpenAI模型，Azure AI Studio在部署过程中提供了一个安全过滤器，以确保负责任地使用AI。安全过滤器允许对有害和敏感内容进行审核，以提高AI增强应用程序的安全性。
Azure AI Studio还为部署的模型提供模型监控。LLM的模型监控使用最新的GPT语言模型，在模型的输出在发电安全和质量的设定阈值下表现不佳时进行监控和警报。例如，您可以配置一个监视器来评估模型生成的答案与输入源的信息对齐的程度（基础性），以及与基础事实句子或文档的紧密匹配程度（相似性）。
优化已部署模型的性能
优化LLM需要仔细考虑几个因素，包括操作指标（例如延迟）、质量指标（例如准确性）和成本。与经验丰富的数据科学家和工程师合作，确保您的模型针对您的特定用例进行优化，这一点很重要。
相关内容
- 登录 发表评论
- 31 次浏览