跳转到主要内容

热门内容

今日:

  • [智能体架构]多agent协作
  • 【Azure GenAI】使用G-Eval评估LLM摘要提示的性能
  • 【机器学习】机器学习中的评估和验证之间的区别是什么?
  • 【安全技术】Monocypher是一个易于使用的加密库
  • 【数据架构】数据架构挑战- dataversity
  • 【开源合规】使用MySQL许可:开源许可与商业许可
  • 数字化运营
  • 【人工智能】宣布 Microsoft Entra Agent ID:安全地管理您的 AI 代理​
  • 云计算
  • 万物互联

总体:

  • 【数据集成】用于数据集成的10个最佳开源ETL工具
  • 【Java框架】2022 年 17 个流行的 Java 框架:优缺点等
  • 【管理】热尔韦原理综述
  • 【开源许可】从开源到免费和开源,MinIO现在在GNU AGPLv3许可
  • 【SAP】如何开始使用Sap AFS和Sap FMS。
  • 【数据目录】OpenMetadata与DataHub:比较架构、功能、集成等
  • 【数据治理】开源数据治理-2023年需要考虑的7个最佳工具
  • 【开源合规】使用MySQL许可:开源许可与商业许可
  • 【微服务架构】微服务已死——迷你服务万岁
  • 【SAP GUI】什么是SAP GUI(图形用户界面)以及如何使用它

最近浏览:

  • 【安全技术】Monocypher是一个易于使用的加密库
  • 【数据架构】数据架构挑战- dataversity
  • 【Azure GenAI】使用G-Eval评估LLM摘要提示的性能
  • 【开源合规】使用MySQL许可:开源许可与商业许可
  • [智能体架构]多agent协作
  • 【机器学习】机器学习中的评估和验证之间的区别是什么?
  • 开发工具
  • 【DeepSeek】如何为自定义数据集微调DeepSeek-R1(一步一步)
  • 【数据集成】用于数据集成的10个最佳开源ETL工具
  • 【数据可视化】数据可视化资源

热门内容

今日:

  • 【企业架构】企业架构的消费化:每个人都是架构师!
  • 【开源合规】使用MySQL许可:开源许可与商业许可
  • 【数据架构】数据架构挑战- dataversity
  • 【Power BI认证小测试1】Power BI (DA-100)数据分析(021-025)
  • 【DevSecOps】实施DevSecOps策略以促进开发和安全团队之间的合作
  • 数据和隐私保护
  • 【数据库架构】设置 PostgreSQL 多主复制:变得简单
  • 【企业架构】TOGAF的权威指南
  • 数据科学
  • 边缘计算

总体:

  • 语言和框架
  • 【容器架构】Minikube vs.kind vs.k3s-我应该用哪一个?
  • 【数据集成】用于数据集成的10个最佳开源ETL工具
  • 【Java框架】2022 年 17 个流行的 Java 框架:优缺点等
  • 【技术选型】Keras、TensorFlow和PyTorch的区别
  • 【深度学习】45测试深度学习基础知识的数据科学家的问题(以及解决方案)
  • 【数据架构】什么是实体关系图(ERD)?
  • 【Rust架构】Rust web框架比较
  • 【知识】DIKW(数据,信息,知识,智慧)金字塔
  • 【数据治理】开源数据治理-2023年需要考虑的7个最佳工具

最近浏览:

  • 【企业架构】TOGAF的权威指南
  • 【安全技术】Monocypher是一个易于使用的加密库
  • 数据科学
  • 【设计思维】什么是设计思维?
  • 【GAN架构】GAN与transformer模型:比较架构和用途
  • 【数据架构】数据架构挑战- dataversity
  • 【企业架构】企业架构的消费化:每个人都是架构师!
  • 边缘计算
  • 【数据库架构】设置 PostgreSQL 多主复制:变得简单
  • 【Azure GenAI】使用G-Eval评估LLM摘要提示的性能

首页
x

Main navigation

  • 主页
  • 数字化 +
    • 数字业务自动化
    • 数字化方案
    • 数字化转型战略
    • 数字化转型治理
    • 数字化运营
    • 数字化客户
      • 客户
    • 数字化研发
      • 研发
    • 数字化制造
    • 数字化生产
    • 数字化供应链
    • 数字化销售
    • 数字化服务
    • 数字化营销
      • 营销
    • 数字化财务
    • 人力资源
    • 数字化法务
  • 企业架构 +
    • 企业安全架构
    • 企业架构框架
    • 方案架构
  • 企业业务架构
  • 企业技术架构
  • 企业应用架构
  • 企业数据架构
  • 数据应用架构 +
    • 主数据架构
    • 大数据架构
    • 数据仓库架构
    • 数据保护
    • 数据库架构
    • 数据建模
    • 数据枢纽架构
    • 数据湖架构
    • 数据编制架构
    • 数据网格架构
    • 数据虚拟化架构
  • 集成架构 +
  • 架构质量 +
  • 软件架构 +
  • 大数据架构 +
    • Hadoop 生态
    • Saprk生态
    • 大数据战略
  • 数据和分析 +
    • 机器学习
    • 数据分析
    • 数据可视化
    • 数据工程
    • 数据战略
    • 数据挖掘
    • 数据科学
    • 商务智能
  • 数据库架构 +
    • MySql架构
    • PostgreSql架构
    • 云数据库
    • 内存数据库
    • 列式数据库
    • 图形数据库
    • 搜索引擎
    • 文档数据库
  • 数据治理
  • 数据管理 +
    • 数据仓库
    • 数据湖
  • 企业合规管理
  • 企业治理 +
  • 企业风险管理
  • 隐私保护
  • 智能转型 +
  • 云计算 +
    • AWS 平台
    • SaaS云
    • Salesforce
    • 云原生
    • 云架构
    • 云治理
    • 云转型战略
    • 容器云
    • 微软云
    • 私有云
  • 人工智能 +
  • 生成式人工智能 +
    • 多模态模型
    • 大视觉模型
    • 大语言模型
    • 大音频模型
  • 万物互联 +
    • 工业控制系统
    • 工业物联网
    • 物联网(IoT)安全
    • 物联网(IoT)架构
    • 物联网战略
    • 边缘计算
  • 元宇宙
  • 区块链 +
  • 安全 +
    • 云安全
    • 安全工具
    • 安全战略
    • 安全运营
    • 应用安全
    • 数据安全
    • 终端安全
    • 网络安全
    • 隐私保护
  • 基础设施 +
  • 软件开发 +
    • 开发管理
    • 需求分析
    • 低代码开发
  • 软件测试 +
  • 软件设计
  • DevOps +
  • 敏捷
  • 项目 +
  • 平台和工具 +
    • DevOps工具
    • 云计算平台
    • 企业事件枢纽
    • 其他工具
    • 分布式平台
    • 大数据平台
    • 应用中间件
    • 开发工具
    • 数据工具
    • 集成平台
  • 语言和框架 +
    • Go语言
    • Javascript开发
    • Java开发
    • Python开发
    • Rust语言
    • TypeScript开发
    • 前端技术和框架
    • 算法和数据结构
  • 硬件和设备 +
  • 产品 +
    • 产品管理
    • 产品设计
  • 技术 +
    • 技术趋势
    • 技术选型
  • 用户体验 +
  • IT管理 +
  • 商业 +
    • 商业模型
    • 商业管理
    • 商业结构
    • 商业计划
    • 商务沟通
    • 创业
      • 创业管理
    • 国际商务
    • 经济
  • 战略 +
  • 管理 +
  • 解决方案
  • 关注
  • 社区
  • 职业
  • 职业和职位 +
  • 咨询服务
  • 微软专栏

[Azure AI Studio]概述:使用Azure AI Studio部署模型、流和web应用程序

  1. 首页 ⟶
  2. [Azure AI Studio]概述:使用Azure AI Studio部署模型、流和web应用程序
Chinese, Simplified
SEO Title
[Azure AI Studio]Overview: Deploy models, flows, and web apps with Azure AI Studio

category

  • 人工智能

Azure AI Studio支持部署大型语言模型(LLM)、流和web应用程序。部署LLM或流使其可用于网站、应用程序或其他生产环境。这项工作通常包括将模型托管在服务器或云中,并创建API或其他界面供用户与模型交互。

与已部署模型交互的过程称为推理。推理涉及将新的输入数据应用于模型以生成输出。

您可以在各种应用程序中使用推理。例如,您可以使用聊天完成模型来自动完成一个人实时键入的单词或短语。您还可以使用聊天模型来生成对“您能为在西雅图的一天访问创建行程吗?”这个问题的回答。可能性是无限的。

部署模型


首先,你可能会问:

  • “我可以部署哪些模型?”

Azure AI Studio支持部署由微软、Hugging Face、Meta等策划的一些最受欢迎的大型语言和视觉基础模型。

  • “我该如何选择合适的型号?”

Azure AI Studio提供了一个模型目录,您可以在其中根据用例搜索和过滤模型。您还可以在将模型部署到项目之前,在示例游乐场中对其进行测试。

  • “我可以从Azure AI Studio的哪里部署模型?”

您可以从模型目录或项目的部署页面部署模型。

Azure AI Studio简化了部署。一个简单的选择或一行代码部署一个模型并生成一个API端点供应用程序使用。

Azure OpenAI模型


使用Azure OpenAI服务,您可以从Azure访问具有企业功能的最新OpenAI模型。了解更多关于如何在AI Studio中部署Azure OpenAI模型的信息。

开放式模型


模型目录提供了跨模态的各种模型的访问。您可以将模型目录中的某些模型部署为按需付费的服务。此功能提供了一种将模型作为API使用的方法,而无需将其托管在订阅中,同时保持组织所需的企业安全性和合规性。

将模型部署为无服务器API


作为无服务器API的模型部署不需要订阅的配额。此选项允许您将模型部署为服务(MaaS)。您使用无服务器的API部署,并以付费即用的方式按令牌计费。有关将模型部署为无服务器API的更多信息,请参阅将模型部署成无服务器API。

使用托管、受管理的基础架构部署模型


您可以在自己的订阅中托管开放模型,包括托管基础架构、虚拟机和容量管理实例数量。有来自Azure OpenAI、Hugging Face和NVIDIA的各种型号。了解更多关于如何将开放模型部署到实时端点的信息。

在Azure AI Studio中部署和推断LLM的计费


下表描述了如何在Azure AI Studio中部署和推断LLM。要了解有关如何跟踪成本的更多信息,请参阅监控通过Azure Marketplace提供的模型的成本。

Use case Azure OpenAI models Models deployed as serverless APIs (pay-as-you-go) Models deployed with managed compute
Deploying a model from the model catalog to your project No, you aren't billed for deploying an Azure OpenAI model to your project. Yes, you're billed according to the infrastructure of the endpoint.1 Yes, you're billed for the infrastructure that hosts the model.2
Testing chat mode in a playground after deploying a model to your project Yes, you're billed based on your token usage. Yes, you're billed based on your token usage. None
Testing a model in a sample playground on the model catalog (if applicable) Not applicable None None
Testing a model in a playground under your project (if applicable), or on the test tab on the deployment details page under your project. Yes, you're billed based on your token usage. Yes, you're billed based on your token usage. None


1最小端点基础设施按分钟计费。您无需为托管该模型的基础设施付费。删除端点后,不再产生任何费用。

2计费基于每分钟,具体取决于产品级别和自创建以来部署中使用的实例数量。删除端点后,不再产生任何费用。

部署流


什么是流,为什么要部署它?流是一系列可用于构建生成性AI应用程序的工具。部署流与部署模型的不同之处在于,您可以使用自己的数据和其他组件(如嵌入、向量数据库查找和自定义连接)自定义流。有关操作指南,请参阅部署实时推理流。

例如,您可以构建一个聊天机器人,它使用您的数据来生成对用户查询的知情和有根据的响应。当您在游乐场中添加数据时,会自动为您生成提示流。您可以按原样部署流或对其进行自定义。在Azure AI Studio中,您还可以从头开始创建自己的流。

无论您选择哪种方式在Azure AI Studio中创建流,都可以快速部署它,并为您的应用程序生成API端点以供使用。

部署web应用程序


您部署的模型或流可以在Azure上托管的web应用程序中使用。Azure AI Studio提供了一种快速部署web应用程序的方法。有关更多信息,请参阅Azure AI Studio企业聊天教程。

为部署的模型规划AI安全


对于GPT-4等Azure OpenAI模型,Azure AI Studio在部署过程中提供了一个安全过滤器,以确保负责任地使用AI。安全过滤器允许对有害和敏感内容进行审核,以提高AI增强应用程序的安全性。

Azure AI Studio还为部署的模型提供模型监控。LLM的模型监控使用最新的GPT语言模型,在模型的输出在发电安全和质量的设定阈值下表现不佳时进行监控和警报。例如,您可以配置一个监视器来评估模型生成的答案与输入源的信息对齐的程度(基础性),以及与基础事实句子或文档的紧密匹配程度(相似性)。

优化已部署模型的性能


优化LLM需要仔细考虑几个因素,包括操作指标(例如延迟)、质量指标(例如准确性)和成本。与经验丰富的数据科学家和工程师合作,确保您的模型针对您的特定用例进行优化,这一点很重要。

相关内容

 


  • Deploy Azure OpenAI models with Azure AI Studio
  • Deploy Meta Llama 3.1 models with Azure AI Studio
  • Deploy large language models with Azure AI Studio
  • Azure AI Studio FAQ
 
 

 

本文地址
https://architect.pub/azure-ai-studiooverview-deploy-models-flows-and-web-apps-azure-ai-studio
  • 登录 发表评论
  • 29 次浏览
发布日期
星期三, 八月 28, 2024 - 22:53
最后修改
星期三, 八月 28, 2024 - 22:54

Tags

  • Azure AI Studio
  • AI模型
Article
Read more

最新内容

  • 【人工智能】宣布 Microsoft Entra Agent ID:安全地管理您的 AI 代理​
    1 day 12 hours ago
  • 【数字化】SAP S/4HANA架构:完全指南​
    1 day 12 hours ago
  • 【数字化】SAP S/4HANA​ 学习
    1 day 12 hours ago
  • 【DeepSeek】如何为自定义数据集微调DeepSeek-R1(一步一步)
    4 weeks ago
  • 【UI开发】为AI应用程序构建UI的3个最佳Python框架
    1 month ago
  • 【前端开发】🚀🔥 改变编码方式的10个前端开发AI助手
    1 month 1 week ago
  • 【前端开发】生成式AI革新前端开发:传统开发模式的颠覆
    1 month 1 week ago
  • 【CNN架构】解释不同类型的CNN架构:示例
    1 month 1 week ago
  • 【信息设计】设计模式指南:学习指南
    1 month 1 week ago
  • 【设计思维】什么是设计思维?
    1 month 1 week ago

网站备案号:京ICP备2022026098号-2

友情链接

  • CPO宝典
  • 全球IT瞭望
  • 开发者开聊
  • 智能化转型智库
  • 架构师研究会

知识星球

知识星球:首席架构师圈

 

抖音直播

抖音:cea_cio(超级架构师)
干货直播,干货分享

 

微信小号

超级架构师
超级架构师小号:加群,私聊

 

微信公众号

超级架构师公众号

 

QQ群:超级架构师

QQ Group

Tags

Tags

  • Azure AI Studio
  • AI模型
© 2025 架构师研究会, All rights reserved.
↑