【Open AI】私有Azure OpenAI Serivce预想构架规划
视频号
微信公众号
知识星球
此文是写给广大的IT Infra背景群众看的，主要是提供落地架构设计参考，若你是想要知道OpenAI怎么用的，此文并无涉及，可以参考官方文件Azure OpenAI is now generally available
2022/11最惊吓到我的事情就是ChatGPT这服务的诞生，简直看到科技奇异点，然后没想到这服务的母公司OpenAI居然是Microsoft投资的，我只能说真的是可喜可贺和感到哀伤。
可喜可贺是我可以在很近的距离看到这技术将要创造的历史，感到哀伤是ChatGPT树立了一个相当惊人的技术屏障，都不知道以后新进或菜鸟工程师到底要怎么跟这个竞争，但幸好若问他做特别需要专业性问答的事情，这服务目前有可能会回答错误或乱答，譬如说问它网络除错或设计问题后，看起来我还不会失业：>
下图是标准工程师使用示例，本人对于HTML和CSS毫无理解，也不知道从何改，然后我就去问ChatGPT后，就改好了…
Azure OpenAI Service Architecture Pre Design
初探OpenAI Studio
目前预想私有构架上分为2个方案
- 生产环境规划
- PoC验证环境规划
方案1: Production生产私有环境规划
方案2: PoC验证私有环境规划
预想私有构架详解
整体私有网络的构架关键核心是Azure Private Endpoint和Azure Private Link的使用，根据此文Private-link resource故可提供以下服务Private Endpoint给私有联机使用，此外这个服务是在Azure Cognitive Services底下，所以若你有既有构架的话可以直接沿用
| Private-link resource name | Resource type | Note |
|---|---|---|
| Azure OpenAI Services | Microsoft.CognitiveServices/accounts | 文件還沒有出來，但功能有 |
| Azure Key Vault | Microsoft.KeyVault/vaults | N/A |
| Azure Storage | Microsoft.Storage/storageAccounts | N/A |
| Azure Monitor | Microsoft.insights/privateLinkScopes | 這個是用 Azure Monitor Private Link Scope (AMPLS) |
| Azure Cognitive Services | Microsoft.CognitiveServices/accounts | N/A |
关于DNS，如果是完全新建服务的话，还要注意Azure Private DNS解析问题，但这是另一块需要额外讨论处理，解法不外乎2种常见作法：
- Azure Private DNS Resovler: Azure PaaS服务，本身有跨国构架需求，有Private DNS Zone管理需求相当推荐
- Customer DNS Forwarder: Azure VM +看你喜欢哪家的DNS，如AD / Infoblox / Bind9等，做Forwarder
关于云地联机，从地端环境连到Azure，不外乎就2种常见做法
- Azure ExpressRoute专线
- S2S VPN使用IPSec Tunnel
如果只是初期开启来试试的话，S2S VPN能用，后续训练数据量大起来的话，是蛮推荐使用ExpressRoute确保联机稳定和低延迟，详参鼠标点点之跨国Azure ExpressRoute网络构架
建议完整服务
下述的API Management/Application Gateway跟Azure OpenAI能力提供并无直接关系，故初期测试可以先以PoC验证环境规划样板为主，再后续加下列服务上去完善
此外关于API控管的部分，Azure OpenAI有提供Azure OpenAI Service Swagger API供程序呼叫使用，它角色如同常见的Backend APIs，服务本身没有做什么特别的保护，故前面可以使用API Management进行转换API和管制，而API Management前面还可以用Application Gateway保护API
- 123 次浏览