【Open AI】私有Azure OpenAI

语言 Chinese, Simplified

SEO Title

[Open AI] Private Azure OpenAI Serivce envisioned architecture planning

此文是写给广大的IT Infra背景群众看的，主要是提供落地架构设计参考，若你是想要知道OpenAI怎么用的，此文并无涉及，可以参考官方文件Azure OpenAI is now generally available

2022/11最惊吓到我的事情就是ChatGPT这服务的诞生，简直看到科技奇异点，然后没想到这服务的母公司OpenAI居然是Microsoft投资的，我只能说真的是可喜可贺和感到哀伤。

可喜可贺是我可以在很近的距离看到这技术将要创造的历史，感到哀伤是ChatGPT树立了一个相当惊人的技术屏障，都不知道以后新进或菜鸟工程师到底要怎么跟这个竞争，但幸好若问他做特别需要专业性问答的事情，这服务目前有可能会回答错误或乱答，譬如说问它网络除错或设计问题后，看起来我还不会失业：>

下图是标准工程师使用示例，本人对于HTML和CSS毫无理解，也不知道从何改，然后我就去问ChatGPT后，就改好了…

Azure OpenAI Service Architecture Pre Design

初探OpenAI Studio

open AI

目前预想私有构架上分为2个方案

生产环境规划
PoC验证环境规划

方案1: Production生产私有环境规划

Open AI

方案2: PoC验证私有环境规划

Open AI

预想私有构架详解

整体私有网络的构架关键核心是Azure Private Endpoint和Azure Private Link的使用，根据此文Private-link resource故可提供以下服务Private Endpoint给私有联机使用，此外这个服务是在Azure Cognitive Services底下，所以若你有既有构架的话可以直接沿用

Private-link resource name	Resource type	Note
Azure OpenAI Services	Microsoft.CognitiveServices/accounts	文件還沒有出來，但功能有
Azure Key Vault	Microsoft.KeyVault/vaults	N/A
Azure Storage	Microsoft.Storage/storageAccounts	N/A
Azure Monitor	Microsoft.insights/privateLinkScopes	這個是用 Azure Monitor Private Link Scope (AMPLS)
Azure Cognitive Services	Microsoft.CognitiveServices/accounts	N/A

关于DNS，如果是完全新建服务的话，还要注意Azure Private DNS解析问题，但这是另一块需要额外讨论处理，解法不外乎2种常见作法：

Azure Private DNS Resovler: Azure PaaS服务，本身有跨国构架需求，有Private DNS Zone管理需求相当推荐
Customer DNS Forwarder: Azure VM +看你喜欢哪家的DNS，如AD / Infoblox / Bind9等，做Forwarder

关于云地联机，从地端环境连到Azure，不外乎就2种常见做法

Azure ExpressRoute专线
S2S VPN使用IPSec Tunnel

如果只是初期开启来试试的话，S2S VPN能用，后续训练数据量大起来的话，是蛮推荐使用ExpressRoute确保联机稳定和低延迟，详参鼠标点点之跨国Azure ExpressRoute网络构架

建议完整服务

下述的API Management/Application Gateway跟Azure OpenAI能力提供并无直接关系，故初期测试可以先以PoC验证环境规划样板为主，再后续加下列服务上去完善

此外关于API控管的部分，Azure OpenAI有提供Azure OpenAI Service Swagger API供程序呼叫使用，它角色如同常见的Backend APIs，服务本身没有做什么特别的保护，故前面可以使用API Management进行转换API和管制，而API Management前面还可以用Application Gateway保护API

API