【Open AI】私有Azure OpenAI Serivce预想构架规划
视频号
微信公众号
知识星球
此文是写给广大的IT Infra背景群众看的,主要是提供落地架构设计参考,若你是想要知道OpenAI怎么用的,此文并无涉及,可以参考官方文件Azure OpenAI is now generally available
2022/11最惊吓到我的事情就是ChatGPT这服务的诞生,简直看到科技奇异点,然后没想到这服务的母公司OpenAI居然是Microsoft投资的,我只能说真的是可喜可贺和感到哀伤。
可喜可贺是我可以在很近的距离看到这技术将要创造的历史,感到哀伤是ChatGPT树立了一个相当惊人的技术屏障,都不知道以后新进或菜鸟工程师到底要怎么跟这个竞争,但幸好若问他做特别需要专业性问答的事情,这服务目前有可能会回答错误或乱答,譬如说问它网络除错或设计问题后,看起来我还不会失业:>
下图是标准工程师使用示例,本人对于HTML和CSS毫无理解,也不知道从何改,然后我就去问ChatGPT后,就改好了…
Azure OpenAI Service Architecture Pre Design
初探OpenAI Studio
目前预想私有构架上分为2个方案
- 生产环境规划
- PoC验证环境规划
方案1: Production生产私有环境规划
方案2: PoC验证私有环境规划
预想私有构架详解
整体私有网络的构架关键核心是Azure Private Endpoint和Azure Private Link的使用,根据此文Private-link resource故可提供以下服务Private Endpoint给私有联机使用,此外这个服务是在Azure Cognitive Services底下,所以若你有既有构架的话可以直接沿用
Private-link resource name | Resource type | Note |
---|---|---|
Azure OpenAI Services | Microsoft.CognitiveServices/accounts | 文件還沒有出來,但功能有 |
Azure Key Vault | Microsoft.KeyVault/vaults | N/A |
Azure Storage | Microsoft.Storage/storageAccounts | N/A |
Azure Monitor | Microsoft.insights/privateLinkScopes | 這個是用 Azure Monitor Private Link Scope (AMPLS) |
Azure Cognitive Services | Microsoft.CognitiveServices/accounts | N/A |
关于DNS,如果是完全新建服务的话,还要注意Azure Private DNS解析问题,但这是另一块需要额外讨论处理,解法不外乎2种常见作法:
- Azure Private DNS Resovler: Azure PaaS服务,本身有跨国构架需求,有Private DNS Zone管理需求相当推荐
- Customer DNS Forwarder: Azure VM +看你喜欢哪家的DNS,如AD / Infoblox / Bind9等,做Forwarder
关于云地联机,从地端环境连到Azure,不外乎就2种常见做法
- Azure ExpressRoute专线
- S2S VPN使用IPSec Tunnel
如果只是初期开启来试试的话,S2S VPN能用,后续训练数据量大起来的话,是蛮推荐使用ExpressRoute确保联机稳定和低延迟,详参鼠标点点之跨国Azure ExpressRoute网络构架
建议完整服务
下述的API Management/Application Gateway跟Azure OpenAI能力提供并无直接关系,故初期测试可以先以PoC验证环境规划样板为主,再后续加下列服务上去完善
此外关于API控管的部分,Azure OpenAI有提供Azure OpenAI Service Swagger API供程序呼叫使用,它角色如同常见的Backend APIs,服务本身没有做什么特别的保护,故前面可以使用API Management进行转换API和管制,而API Management前面还可以用Application Gateway保护API
- 122 次浏览