生成型人工智能需要新的部署和监控功能

早在2019年，我就在LinkedIn上发表了一篇博客，题为《为什么你需要ML Ops才能成功创新》。快进到今天，对许多组织来说，操作分析、机器学习和人工智能模型（或者更确切地说，系统）仍然是一个挑战。但是，话虽如此，技术已经发展，新公司已经诞生，以帮助解决在生产环境中部署、监控和更新模型的挑战。然而，随着最近使用大型语言模型（LLM）的生成型人工智能的发展，如OpenAI的GPT-4、谷歌的PaLM 2 Meta的LLaMA和GitHub Copilot，各组织竞相了解LLM的价值、成本、实施时间表和风险。公司应该谨慎行事，因为我们才刚刚开始这一旅程，我想说，大多数组织还没有做好微调、部署、监控和维护LLM的准备。

什么是MLOps？

机器学习操作（也称为MLOps）可以定义为：

ML Ops是一个跨功能、协作、连续的过程，通过可重复的部署过程，将统计、数据科学和机器学习模型管理为可重复使用、高度可用的软件工件，专注于操作数据科学。它包含了独特的管理方面，涵盖了模型推理、可扩展性、维护、审计和治理，以及对生产中的模型的持续监控，以确保它们在基本条件发生变化时仍能提供积极的业务价值。

现在我们已经对MLOps有了明确的定义，让我们讨论一下为什么它对组织很重要。

为什么MLOps很重要？

在当今算法驱动的商业环境中，MLOps的重要性怎么强调都不为过。随着组织越来越依赖复杂的ML模型来推动日常决策和运营效率，部署、管理、监控和更新这些模型的强健、可扩展和高效系统的需求变得至关重要。MLOps为开发模型的数据科学家和计算机科学家以及部署、管理和维护模型的IT运营团队之间的合作提供了一个框架和一组流程，确保模型可靠、最新并提供业务价值。

MLOps的关键能力

广义上讲，MLOps在功能上包括自动机器学习工作流、模型版本控制、模型监控和模型治理。

●自动化的工作流程简化了模型的培训、验证和部署过程；减少了手动操作并提高了速度。

● 模型版本控制允许跟踪更改并维护模型迭代的注册表。

● 模型监控对于确保模型在生产系统中按预期运行至关重要。

● 模型治理提供了对法规和组织策略的遵从性。

这些能力共同使组织能够大规模操作ML和AI，为其组织带来商业价值和竞争优势。

MLOps：指标和KPI

为了确保模型在生产系统中按预期运行并提供最佳预测，有几种类型的指标和关键性能指标（KPI）用于跟踪其功效。与数据科学家交谈，他们会经常强调‌以下指标：

● 模型性能指标：这些指标衡量模型的预测性能。它们可以包括准确性、精密度、召回率、F1分数、ROC曲线下面积（AUC-ROC）、平均绝对误差（MAE）、均方误差（MSE）等。指标的选择取决于问题的类型（分类、回归等）和业务环境。

● 数据漂移：这衡量生产工作流程中的输入数据与模型训练数据的偏差程度。显著的数据漂移可能表明，随着时间的推移，模型的预测可能会变得不那么可靠。我们在被称为新冠肺炎的小“光点”中看到了一个很好的例子。消费者习惯和商业规范一夜之间发生了变化，导致每个人的模式都被打破了！

● 模型漂移：与数据漂移类似，它测量模型的性能随时间的变化（通常是退化），而不是测量数据分布如何偏离规范。如果基础数据分布发生变化，导致模型的假设变得不那么准确，就会发生这种情况。

● 预测分布：跟踪模型预测的分布可以帮助检测异常。例如，如果一个二元分类模型突然开始预测比平时多得多的积极因素，这可能表明存在问题。这些指标通常与业务指标最为一致。

● 资源使用情况：IT资源使用情况包括CPU使用情况、内存使用情况和延迟等指标。这些度量对于确保模型在系统的基础设施和体系结构约束内高效运行非常重要。

● 业务指标：在所有指标中最重要的是，这些指标衡量模型对业务结果的影响。它们可能包括收入、客户流失率、转化率和响应率等指标。这些指标有助于评估模型是否提供了预期的业务价值。

那么，现在我们对MLOps有了高水平的理解，为什么它很重要，关键能力和指标，这与生成人工智能有何关系？

生成型人工智能：主要跨功能用例

在生成型人工智能成为主流之前，组织主要实现了基于结构化和半结构化数据的人工智能系统。这些系统主要基于数字进行训练，并生成数字输出——预测、概率和分组分配（想想分割和聚类）。换言之，我们将根据历史数字数据（如交易、行为、人口统计、技术制图、公司制图、地理空间和机器生成的数据）来训练我们的人工智能模型，并输出对报价进行篡改、响应或交互的可能性。这并不是说我们没有使用文本、音频或视频数据——我们使用了；情绪分析、设备维护日志等；但这些用例远没有基于数字的方法那么普遍。Generative AI拥有一套新的功能，使组织能够利用这些年来基本上被忽视的数据——文本、音频和视频数据。

用途和应用有很多，但我总结了生成人工智能的关键跨功能用例（迄今为止）。

内容生成

生成型人工智能可以从音频、视频/图像和文本中生成类似人类的内容。

● 音频内容生成：生成型人工智能可以制作适合YouTube等社交媒体平台的音轨，或者在您的书面内容中添加人工智能语音，增强多媒体体验。事实上，我的前两本TinyTechGuides在Google Play上都有完全由人工智能生成的画外音。我可以为人工智能讲述的书籍选择口音、性别、年龄和节奏以及其他一些关键属性。点击此处查看人工智能解说有声读物。

1. Artificial Intelligence: An An Executive Guide to Make AI Work for Your Business

2. Modern B2B Marketing: A Practitioner’s Guide for Marketing Excellence

    

● 文本内容生成：这可能是目前最流行的生成人工智能形式，从撰写博客文章、社交媒体更新、产品描述、电子邮件草稿、客户信函到RFP提案，生成人工智能可以毫不费力地生成广泛的文本内容，为企业节省大量时间和资源。不过，买家要小心，仅仅因为内容是生成的，听起来很权威，并不意味着它在事实上是准确的。

● 图像和视频生成：我们已经看到这一点在好莱坞慢慢成熟，从《星球大战》系列中人工智能生成的角色到最新的《印第安纳琼斯》电影中的哈里森·福特，人工智能可以创建逼真的图像和电影。生成型人工智能可以通过为广告、演示和博客生成内容来加速创意服务。我们已经看到像Adobe和Canva这样的公司在创意服务方面齐心协力。

● 软件代码生成：Generative AI可以生成软件代码（如Python）和SQL，这些代码可以集成到分析和BI系统以及AI应用程序本身中。事实上，微软正在继续研究使用“教科书”来训练LLM来创建更准确的软件代码。

内容摘要和个性化

除了为公司创造全新的现实内容外，生成人工智能还可以用于总结和个性化内容。除了ChatGPT之外，Writer、Jasper和Grammarly等公司还瞄准了内容摘要和个性化的营销职能和组织。这将使营销组织能够花时间创建一个经过深思熟虑的内容日历和流程，然后可以对这些各种服务进行微调，以创建看似无限多的受制裁内容变体，从而在正确的时间在正确的渠道将其交付给正确的人。

内容发现和问答

生成人工智能正在获得吸引力的第三个领域是‌内容发现和问答。从数据和分析软件的角度来看，各种供应商正在整合生成人工智能功能，以创建更自然的界面（用通俗易懂的语言），促进组织内新数据集的自动发现，以及编写现有数据集的查询和公式。这将允许非专业商业智能（BI）用户提出简单的问题，如“我在东北地区的销售额是多少？”，然后深入研究并提出越来越精细的问题。BI和分析工具根据查询自动生成相关图表和图形。

我们还看到医疗保健行业和法律行业越来越多地使用这种技术。在医疗保健领域，生成型人工智能可以梳理大量数据，帮助总结医生笔记，并通过聊天机器人、电子邮件等个性化与患者的沟通和通信。人们对仅将生成人工智能用于诊断能力保持沉默，但随着人类的参与，我们将看到这种情况的增加。我们还将看到生成人工智能在法律界的使用有所增加。同样，作为一个以文档为中心的行业，生成型人工智能将能够快速找到合同中的关键条款，帮助进行法律研究，总结合同，并为律师创建定制的法律文档。麦肯锡称之为法律副驾驶员。

既然我们了解了与生成人工智能相关的主要用途，让我们来谈谈关键问题。

生成人工智能：主要挑战和考虑因素

生成型人工智能虽然前景广阔，但也有其自身的一系列障碍和潜在陷阱。组织在将生成人工智能技术融入其业务流程之前，必须仔细考虑几个因素。主要挑战包括：

 

● 准确性问题（幻觉）：LLM通常会产生误导性或完全虚假的信息。这些回应看似可信，但完全是捏造的。企业可以建立哪些保障措施来检测和防止这种错误信息？

● 偏见：组织必须了解模型中偏见的来源，并实施缓解策略来控制它。有什么公司政策或法律要求来解决潜在的系统性偏见？

● 透明度不足：对于许多应用程序，特别是在金融服务、保险和医疗保健等行业，模型透明度通常是一项业务要求。然而，LLM本身并不能解释或预测，从而导致“幻觉”和其他潜在的事故。如果您的业务需要满足审计师或监管机构的要求，您必须问问自己，我们甚至可以使用LLM吗？。

● 知识产权（IP）风险：用于培训许多基础LLM的数据通常包括公开的信息——我们已经看到了因不当使用图像（例如HBR——Generative AI存在知识产权问题）、音乐（The Verge——AI Drake刚刚为谷歌设下了一个不可能的法律陷阱）和书籍（《洛杉矶时报》——Sara Silverman和其他畅销作家Sue MEta和OpenAI侵犯版权）而提起的诉讼。在许多情况下，培训过程不分青红皂白地吸收所有可用数据，导致潜在的知识产权曝光和版权侵权诉讼。这就引出了一个问题，什么数据被用来训练你的基础模型，什么被用来微调它？

● 网络安全和欺诈：随着生成人工智能服务的广泛使用，组织必须为恶意行为者的潜在滥用做好准备。生成型人工智能可以用来制造深度伪造，用于社会工程攻击。您的组织如何确保用于培训的数据未被欺诈者和恶意行为者篡改？

● 环境影响：训练大规模人工智能模型需要大量的计算资源，这反过来又会导致大量的能源消耗。这对环境有影响，因为所使用的能源往往来自不可再生资源，导致碳排放。对于已经制定了环境、社会和治理（ESG）计划的组织，您的计划将如何考虑LLM的使用？

现在，公司还需要考虑许多其他事情，但主要的事情已经被抓住了。这就提出了下一个问题，我们如何操作生成性人工智能模型？

GenAIOps：需要一套新的能力

现在，我们对生成人工智能、关键用途、挑战和考虑有了更好的理解，让我们接下来谈谈MLOps框架必须如何发展——我将其命名为GenAIOps，据我所知，我是第一个创造这个术语的人。

让我们来看看LLM创建的高级流程；该图改编自On the Opportunities and Risks of Foundation Models。

图1.1：培训和部署LLM的流程

Process to Train and Deploy LLMs — Image Courtesy of Author, TinyTechGuides Founder David E Sweenor

在上面的内容中，我们看到数据被创建、收集、策划，然后模型被训练、调整和部署。鉴于此，全面的GenAIOps框架应该考虑哪些因素？

GenAIOps：检查表

最近，斯坦福大学发布了一篇论文《基金会模型提供商遵守欧盟人工智能法案草案吗？》？看完之后，我以此为灵感生成了下面的GenAIOps框架清单。

数据

 

1. ○ 使用了哪些数据源来训练模型？
2. ○ 用于训练模型的数据是如何生成的？
3. ○ 培训师是否有权在上下文中使用这些数据？
4. ○ 数据是否包含受版权保护的材料？
5. ○ 数据是否包含敏感或机密信息？
6. ○ 数据是否包含个人数据或PII数据？
7. ○ 数据已经中毒了吗？它会中毒吗？
8. ○ 数据是真实的还是包括人工智能生成的内容？

 

建模：

 

1. ○ 该模型有哪些限制？
2. ○ 模型是否存在相关风险？
3. ○ 什么是模型性能基准？
4. ○ 如果必须的话，我们能重建模型吗？
5. ○ 模型是透明的吗？
6. ○ 其他哪些基础模型用于创建当前模型？
7. ○ 使用了多少能量和计算资源来训练模型？

部署：

 

1. ○ 模型将部署在哪里？
2. ○ 目标部署应用程序是否了解他们正在使用生成人工智能？
3. ○ 我们是否有适当的文件来满足审计师和监管机构的要求？

现在我们有了一个起点，让我们仔细看看这些指标

GenAIOps：度量标准和过程注意事项

以MLOps指标和KPI为起点，让我们研究一下这些指标如何应用于生成人工智能指标。我们希望GenAIOps将有助于解决生成人工智能的具体挑战，例如生成虚假、虚假、误导或有偏见的内容。

模型性能指标

在生成人工智能的背景下，组织如何衡量模型的性能？我怀疑大多数组织可能会使用商业上可获得的预先培训的LLM，并使用自己的数据来微调和调整其模型。

现在，肯定有一些技术性能指标与基于文本的LLM相关，如BLEU、ROUGE或METEOR，当然还有其他用于图像、音频和视频的指标，但我‌我更关心虚假（false）、虚假（fake）、误导或有偏见的内容的产生。组织可以采取哪些控制措施来监控、检测和缓解这些事件？

我们过去确实看到了宣传的泛滥，脸书、谷歌和推特等社交媒体巨头未能实施一种始终如一、可靠地防止这种情况发生的工具。如果是这种情况，您的组织将如何衡量生成人工智能模型的性能？你会有事实核查员吗？图像、音频和视频怎么样？你如何衡量这些型号的性能？

数据漂移

考虑到模型需要大量的资源和时间来训练，模型创建者将如何确定世界数据是否在漂移，我们是否需要一个新的模型？一个组织将如何理解他们的数据是否正在发展到需要重新校准模型的地步？这对数字数据来说相对简单，但我认为我们仍在学习如何处理非结构化数据，如文本、图像、音频和视频。

假设我们可以创建一种机制来定期调整我们的模型，那么我们也应该有一个控制机制来检测漂移的数据是由于真实事件还是人工智能生成的内容的扩散？在我关于人工智能熵：人工智能生成内容的邪恶循环的帖子中，我讨论了一个事实，即当你在人工智能上训练人工智能时，它会随着时间的推移而变得更笨。

模型漂移

与您的模型性能和数据漂移问题类似，如果您的模型的性能开始漂移，您的组织将如何检测和理解？您会对输出进行人工监控还是将调查发送给最终用户？也许更直接的方法之一是，不仅要设置控制措施来监控模型的技术性能，而且您的公司应该始终跟踪模型的输出。这是不言而喻的，但您正在使用一个模型来解决特定的业务挑战，并且您需要监控业务指标。您是否看到放弃购物车的人数增加，客户服务电话的增加/减少，或客户满意度的变化？

预测分布

同样，我认为我们有不错的工具和技术来跟踪基于数字的预测。但现在我们正在处理文本、图像、音频和视频，您如何看待监控预测分布？我们是否能够理解部署目标的模型输出是否产生了虚假的相关性？如果是这样，你可以采取什么措施来衡量这种现象？

资源使用情况

从表面上看，这一次似乎相对直截了当。然而，随着公司内部生成性使用的增长，您的组织将需要一个系统ini来跟踪和管理它的使用。生成人工智能领域的定价模型仍在发展，因此我们需要小心。与我们在云数据仓库领域看到的情况类似，我们开始看到成本失控。那么，如果你的公司有基于使用量的定价，你将如何实施财务控制和治理机制，以确保你的成本是可预测的，不会流失？

商业指标

我之前已经说过这一点，但您可以设置的最重要的监视器和控制集与您的业务指标有关。您的公司需要时刻保持警惕，监控您的模型在日常生活中对业务的实际影响？如果您将其用于关键业务流程，您有哪些SLA保证来确保正常运行时间？

偏差是任何人工智能模型的一个大问题，但对于生成型人工智能来说，这可能更为严重。你将如何检测你的模型输出是否有偏差，以及它们是否会使不平等现象长期存在？Tim O'Reilly在这方面写了一篇很棒的博客，题为《我们已经让瓶子里的精灵Ot》（We Have Already Let the Genie Ot of the Bottle ），我鼓励你阅读。

从知识产权的角度来看，您将如何保证专有、敏感或个人信息不会从您的组织中泄露或泄露？考虑到目前正在进行的所有侵犯版权的诉讼，这是您的组织需要解决的一系列重要因素。你是否应该要求供应商保证这些在你的模型中与Adobe的游戏不同（FastCompany——Adobe非常确信其萤火虫生成的人工智能不会侵犯版权，从而为你支付法律费用）？现在，他们将支付您的法律账单，这很好，但这会使您的公司面临什么声誉风险？如果你失去了客户的信任，你可能永远也无法挽回他们。

最后，数据中毒无疑是一个热门话题。当您使用组织的数据来调整和微调模型时，如何保证这些数据是无害的？如何保证用于训练基础模型的数据没有被破坏？

总结

最终，这项工作的目标不是提供如何解决GenAIOps的具体方法和指标，而是提出一系列问题，即组织在实施LLM之前需要考虑什么。与任何事情一样，生成人工智能有很大的潜力帮助您的组织获得竞争优势，但也有一系列挑战和风险需要解决。最终，GenAIOps需要有一套原则和能力，涵盖采用组织和提供LLM的供应商。用蜘蛛侠的话来说，巨大的力量伴随着巨大的责任。

如果你想了解更多关于人工智能的信息，请查看我的书《人工智能：让人工智能为你的企业服务的高管指南》（An Executive Guide to Make AI Work for Your Business on Amazon.）。

加州大学伯克利分校博士候选人Rolando Garcia最近在Union.ai首席营销官Martin Stein主持的与行业专家和从业者的小组讨论中介绍了其团队的“操作机器学习：访谈研究”研究论文的发现。主讲嘉宾包括来自Lyft、Recognition、Stripe、Woven Planet和Striveworks等公司的机器学习、软件工程和数据科学专业人士。

讨论的重点是基础设施在机器学习生产中的作用；常见的MLOps实践；挑战和痛点；以及MLOP的工具建议。对话的亮点是该论文发现，“成功的MLOps实践围绕着高速、早期验证和维护多个版本以最小化生产停机时间。”

一项探索ML工程师流程和痛苦的研究

由Rolando和另一位博士候选人Shrya Shankar领导的加州大学伯克利分校学者团队对18名从事聊天机器人、自动驾驶汽车和金融应用的ML工程师进行了半结构化的民族志访谈，以概述成功的MLOps的常见做法，讨论痛点并强调工具设计的意义。

考虑到ML工程的实验性质，本文将MLOps定义为“一组旨在在生产中可靠高效地部署和维护ML模型的实践”。DevOps是软件开发人员和运营团队的结合，MLOps将DevOps原理应用于机器学习。

访谈发现，ML工程师通常执行四项常规任务：

• 数据收集和标记
• 改进ML性能的模型实验
• 通过多阶段部署过程进行模型评估
• ML管道监控生产中的性能下降

访谈还揭示了“决定生产ML部署成功的三个变量：Velocity、Validation和Versioning。”本文对这些变量的定义如下：

• 速度（Velocity）：快速原型设计和迭代想法，例如快速更改管道以应对错误
• 验证（Validation）：早期主动监测管道中的漏洞
• 版本控制（Versioning）：存储和管理生产模型和数据集的多个版本，以记录每一个更改

典型的MLOps痛点源于这三个Vs之间的紧张关系和协同作用。示例包括：

• 开发和生产环境之间的不匹配（速度与验证）
• 数据错误（验证与版本控制）
• 让GPU保持温暖（高速与版本控制）

其他有问题的行为源于行业课堂的不匹配，大多数学习都发生在工作中，以及当开发人员在没有留下适当文档的情况下更换工作（和公司）时，未记录的部落知识成为问题。

在分析MLOps工具时，Rolando等人注意到，工程师们更喜欢增加三个Vs之一的工具，例如提高迭代速度（速度）的实验跟踪工具，以及帮助基于历史版本功能（版本控制）调试模型的功能存储。

本文的关键发现可以总结为成功的MLOps实践，这些实践旨在实现高速、早期验证和维护多个模型版本，以最大限度地减少生产停机时间。

小组讨论

在网络研讨会上，Rolando将他的采访结果与小组特邀发言人的反馈进行了比较，他们通常使用ML工作流协调器Flyte作为基础设施工具，但用于不同的用例。

小组成员包括：

• Varsha Parthasarathy，Woven Planet软件工程师
• DJ Rich，Lyft高级数据科学家
• Brian Tang，Stripe基础设施工程师
• Michael Lujan，软件工程师，Striveworks
• Fabio Gratz，博士，高级软件工程师/ML，Recogni

主持人Martin Stein首先提出了一个重要问题：

我们是否低估了基础设施在ML生产中的作用？

作为致力于地面实况感知的感知工程团队的一员，Varsha的团队将Flyte用于Woven Planet的DAG，并认为：“是的，基础设施被低估了……infra和MLOps是齐头并进的。”

Varsha解释说，ML工程师专注于迭代和实验，而基础设施反过来又为迭代和实验提供了便利——作为一家初创公司，保持GPU的温度并不总是可行的。为了有效地处理宝贵的计算资源，提供缓存的工具将使团队不必重新运行整个模型，因为他们只能重新运行更新的部分。

类似地，支持抽象的模型和数据集的版本控制工具可以有效地重新运行和重新训练模型，这将消除GPU预热时间中不必要的步骤。

在过去的三年里，DJ一直在Lyft开发一个因果预测系统，该系统预测三个月内的预算和定价。预测需要与实验相匹配，并需要整合来自不同团队的模型。Lyft使用的基础设施虽然计算量不大，但必须组合并同步不同的输入。

Brian说，在Stripe，团队将其ML基础设施分解为多个部分，通过培训和笔记预订专注于探索；这反过来又增加了速度。为了提高ML产量，Stripe选择了Flyte，因为它提供了这样的速度，进一步加强了基础设施在ML生产中的作用。

Michael描述了Striveworks如何创建一个内部MLOps平台Chariot，该平台专注于模型的生命周期。它可以上传和注释数据集，根据特定参数对其进行训练，对模型进行编目和服务，并检测模型漂移。

作为一名DevOps工程师，Michael指出Flyte帮助了Striveworks“专注于模型开发部分，而不考虑我们将如何将其产品化。”由于Striveworks使用的Jupyter笔记本电脑不是模型的产品化版本，因此模型生命周期的调度部分可以在不占用GPU的情况下进行。因为Striveworks为政府承包商处理高度敏感的数据，因此需要部署整个平台耶德一气呵成，一个任务Flyte也方便。

Fabio最后描述了他在Recognition的工作，为自动驾驶汽车制造定制加速器。他与一个软件工程团队合作，该团队为感知团队提供了一个MLOps平台，该平台反过来对驾驶汽车的行程进行建模。Fabio说，他们“利用Kubernetes和Flyte等工具来加快实验速度，帮助（我们）跟踪正在进行的实验，并能够复制它们”。

Fabio还描述了为一家ML解决方案提供商组建MLOps团队的情况，该团队构建了一个内部开发平台。他说，有了这个平台，工程师们可以以自助的方式提供培训、开发或生产模型所需的基础设施。他强调了能够“抽象掉通常涉及的工具的复杂性……（因为）不是每个人都能成为基础设施专家，大多数工程师都不想”管理基础设施的重要性。

团队在基础设施方面的投资有多深？

然后，讨论转向了访谈研究中的三点：

• 人们将大量时间花在ML不那么迷人的方面，比如维护和监控ML管道
• ML调试创伤引发焦虑
• 高速行驶有淹没在版本海洋中的风险

Martin请Rolando将为其研究采访的小组的回答与小组成员讲述的经历进行比较。Rolando是否有想要进一步探索的特定领域？

Rolando援引小组成员对基础设施的投资指出，在小公司，工程师通常负责整个MLOps工作流程。当基础设施开发人员离开时，他们的更换通常会转移到“撕裂并更换”整个系统，这可能需要长达一年的ML改进和升级。

然而，他预测，大型公司将“最终融合到他们信任并长期存在的基础设施中。”根据公司文化，该基础设施可能有利于高速或简化版本。

Rolando表示，ML工程师通常将一半的时间用于构建基础设施，另一半则用于执行其研究中列举的四项常规任务：数据收集/标记、实验、评估和监测。如果他们可以避免构建基础设施，只使用开箱即用的MLOps解决方案呢？

基础设施服务是如何外包给第三方的，以及如何将其纳入工作流程？

据Michael介绍，Striveworks的数据科学家和软件工程师经常在整个模型生命周期中标记团队，然后转向创建MLOps平台。他说，这将有助于数据科学家“不必担心这个模型开发生命周期，包括版本控制和调度以及实际服务模型”。

我们需要真正投资，使其在某些用例中更简单，并控制不同的选项。我不想担心我会占用多少资源。

然后你会看到事情的另一端，我是一名数据科学家，我希望能够……在这些模型上进行实验。一旦我们发现这个模型有效，我们可能只需要用新的数据来重新训练这个模型。

作为一名数据科学家，你的发现之旅是什么？你花了什么痛苦才确定了基础设施解决方案？

DJ说，在使用现有工具的同时，他很难转换到新工具。他回忆道：“有趣的是，我一开始就抵制Flyte，因为我对此一无所知。”。“我们在Airflow上，所以我们有工作模型，但我们身边有一位福音传道者，‘你必须使用Flyte’，然后这就容易多了。

UI让我大吃一惊，因为气流太复杂了。Flyte只是把它放在任务上，这让它变得容易多了。此外，[Flyte非常不懂Python…这几乎就像一个产品，因为你只需发送工作的链接，就可以将数据科学家和软件工程师指向数据。

你是如何让ML工程师和数据科学家加入的？

Varsha表示，Woven Planet的数据收集方法在新冠肺炎大流行开始时发生了变化。在新冠肺炎之前，工程师或车辆专家会开车为工程师获取数据，但由于这变得不可行，他们转向了数据驱动的方法：团队会选择一个场景，例如雨天或结冰的道路。预测或规划团队将提供数据，这些数据可以被整理成ML模型可以理解的信息，然后进行模型训练；验证（通过回归测试）；最后，分析。

Woven Planet的ML工程师对其中许多步骤都是用Flyte抽象出来的印象深刻；再加上在Flyte上添加的集成，他们只需要编写自己的代码部分，就可以节省时间和精力。

另一个吸引ML工程师的Flyte功能是：基于内部命名的版本控制和在整个生产过程中的持久性，这有助于模型artifactory。

Varsha表示，“我们对基础设施的投资越多，就越能帮助我们的工程师尽快让自动驾驶汽车上路。”

你在构建运营框架，然后用模型进行快速迭代方面有什么经验？

和Lyft的DJ一样，Brian说Stripe从Airflow DAG转到Flyte引起了一些焦虑。

在Stripe，ML团队负责基础设施，然后由数据科学家或ML工程师处理产品生成和模型。他们成功的关键之一是“尽早（与数据科学家和ML工程师）合作；了解他们想要更好的方法；能够训练他们的模型并生成数据无疑是第一步。下一步是，‘我们将选择哪个平台？’”

Flyte在其功能集和对快速迭代的支持方面击败了入围名单上的其他候选人。此外，“Jupyter笔记本电脑是‘从用户开始就与用户对话’的关键。”与其他平台所需的特设笔记本电脑接口不同，Flyte允许用户通过将代码库导入Flyte DAG进行无缝提取，直接在笔记本电脑上迭代。

Fabio回忆起DAG组织自动化预处理、培训和评估之前的日子，当时MLflow项目需要手动编排。“一旦你的笔记关闭，吊舱就不见了，工作也没了，没有人知道它发生了……我们意识到，我们无法重现六个月前的运行情况，因为我们没有记录所有的超参数。”

Fabio说，为了解决这些限制，Recognition开始将不同的任务链接在一起，然后意识到他们需要自动化流程。他们寻找协调人的依据是四个关键要求：

• 针对不同资源的不同任务
• 不同镜像的不同任务
• 使用Pytorch或Tensorflow进行分布式训练
• Spark集成

Fabio说：“我们访问了Medium上的数据科学家和其他博客，查看了MLOps的前十大编排框架，并试图用我们发现的工具构建一个原型。”。“我们非常沮丧……（然后）我们发现了Flyte。

“它正是做这些事情，”他说。Recognition团队可以在任务级别而不是工作流级别指定资源，在顶层注册，并使用不同的图像运行工作流的不同部分。

当你专注于任务时，工作流程和任务的分离是你真正受益的地方。你有粒度，你可以实际利用你的资源。但我们也知道，笔记本不仅仅是一项任务，它们可能更多。

“Flyte大大提高了我们的生产力，”Fabio补充道。工程师可以根据Recognition的最佳实践配置平台，这样团队就可以将其作为“一种自助服务……而无需为每个团队配备ML工程师或软件工程师。”

你对笔记本和真正实用的、任务驱动的机器学习方法有什么看法？

DJ说，作为一名数据科学家，他认为笔记本是一种必要的邪恶：它们不可靠，也不存在最终版本的代码。然而，人与人之间的互动很重要，尤其是因为很多人已经习惯了使用它们。DJ还认为，笔记本电脑“在版本控制方面对你不利，因为笔记本电脑不断变化……GitHub最近才添加了一个集成，可以让你很好地检查它们……（它们）在状态和调试以及跟踪错误方面不是很有主见。”

DJ描述的问题之一是提取笔记本电脑使用导致的过时数据，并导出过时的代码。然而，“如果你想获得模型开发人员友好的环境，你必须使用笔记本电脑。”

你会给MLOps从业者什么建议？你有什么具体的建议来优化三个Vs：提高速度、尽早验证和一致的版本吗？

Brian说Stripe团队很难测量速度。“我们现在采取了一种非常天真的方式，即查看运行的实验数量，因此拥有一个可以更快迭代的基础设施，可以添加更多的实验。”他说，迁移到Flyte有助于Stripe快速迭代。

Varsha的建议：

对所有内容进行版本化，并确保版本始终是持久的。拥有自己的GPU和工作站：当你进入生产阶段时，情况会大不相同。

她描述了Flyte如何使Woven Planet能够在运行与生产环境相同的GPU云工作站上本地测试模型。

Michael建议创建一个强大的测试用例，“这样你就可以说，‘这是我们试图训练的模型的黄金标准’，然后确保你能够保持最快的时间来创建模型，而用户的痛苦最小。”

他说，Striveworks最初专注于创建不同的组件，但没有那么关注模型本身的质量。

我们有非常强大的数据科学家，他们可以创建自己的模型，我们可以为他们服务，他们了解这个平台。但我们也在研究另一部分，你不是数据科学家，但知道模型是如何工作的，你需要添加排列。您知道您的数据集以及该模型体系结构应该如何工作，并且需要在模型完成后对其进行测试。

DJ表示，Lyft团队在引入和优化指标之前，最初甚至根据多个利益相关者的意见构建了最简单的管道。

我认为我们犯了一个错误。很容易创建一个实际上不在构建最终管道的路径上的管道。”相反，“完整的基础设施需要在管道的第一个版本中表现出来……第一次迭代的一条建议是真正地示意整个过程。这个设计阶段非常重要——我们必须在一年后回到整个过程中，并重做很大一部分。”。

Fabio回忆起三年前他与五名ML工程师组成的团队围绕机器学习服务建立公司的努力。他们没有使用Docker或计算引擎，而是试图让这些部分与Python和他们自己的容器编排器协同工作。

我的提示是，“不要那样做。”有一个行业标准。学习Kubernetes。这个平台的工具种类繁多，数量惊人。学习这个平台，很多悲伤就会消失…只要使用多年来开发的伟大工具。

最终调查结果

Rolando总结了一些精彩的观察：

“从学术角度来看，我们有在真空中评估事物的习惯。这有点像DJ所说的：我们建立了这个模型训练管道，然后我们试图找到一个包装它的应用程序，这是一个错误。”。

“我认为产品验证才是最重要的。如果你开始考虑收入和关键绩效指标等产品指标，那么这将自然而然地推动你与其他利益相关者合作。

“我还认为，在机器学习中，一旦你达到了一定的性能阈值，那么如果你要迭代，对应用程序或软件进行迭代更有意义——也许是启发式或过滤器，而不是机器学习本身。

因此，在开始机器学习之前，先构建应用程序基础设施，然后查看它在全局方案中的位置，然后对模型进行迭代。

工具书类

在YouTube上观看完整的小组讨论：

• Rolando Garcia presents "Operationalizing Machine Learning: An Interview Study" Part 1/2
• "Operationalizing Machine Learning: An Interview Study" MLOps Panel Discussion, Part 2/2

阅读全文：

• Shreya Shankar, Rolando Garcia, Joseph M. Hellerstein, Aditya G. Parameswaran (2022). Operationalizing Machine Learning: An Interview Study. The University of California, Berkeley, CA, USA. Retrieved from https://arxiv.org/pdf/2209.09125.pdf

机器学习不再只是一个流行语。它已被纳入重要项目。现在是2023年，开发人员正专注于如何实施一个成功的ML项目，并自信地将其推向生产。

这就是MLOps或机器学习操作的用武之地，它与MLOps的“母体”DevOps密切相关。

由于DevOps专注于改进整个软件开发过程，而MLOps主要专注于开发和部署机器学习模型，因此这两种方法之间存在许多共性和差异。

让我们一步一步地讨论DevOps与MLOps的所有内容。

目录

• 什么是MLOps？
• 什么是DevOps？
• MLOps和DevOps的相似之处
• MLOps和DevOps之间的区别
• 如何弥合MLOps和DevOps之间的差距？
• 你应该选择哪一个：MLOps还是DevOps？
• MLOps和DevOps的未来

什么是MLOps？

MLOps是一组用于管理生产环境中机器学习模型的开发、部署和维护的实践和流程。

它旨在将DevOps的原则和实践引入机器学习领域，使组织能够简化和自动化ML模型的部署，并管理其持续的性能和维护。

有多种工具和平台为MLOps提供了一系列功能，如实验跟踪、模型部署、监控和维护。工具或平台的选择将取决于组织的具体需求和要求。

以下是可用于MLOps的一些工具和平台：

1. TensorFlow Extended (TFX)
2. Kubeflow
3. Apache Airflow
4. MLflow
5. Databricks
6. H20.ai
7. AWS SageMaker

但是，在使用这些专用平台实现MLOps时，您可能会遇到多个问题。

实施MLOps的挑战

在实施MLOps的多重挑战中，以下是几个重要挑战：

1. ML模型可能需要与现有系统（如数据库和数据管道）集成，这可能是一个复杂而耗时的过程。
2. 可能存在与治理模式相关的问题，如问责制、透明度和道德考虑，这些问题需要解决。
3. ML模型可能需要大规模部署，由于模型的复杂性和数据的大小，这可能是一个挑战。
4. ML模型可能需要对其性能进行监控，并随着时间的推移进行维护，这可能是一个复杂而耗时的过程。

为了应对这些挑战，您必须结合特定的技术来最大限度地利用MLOps驱动的方法。

MLOps的最佳实践

 

在业务中实施MLOps时，您必须考虑一些最佳实践：

1. MLOps流程应尽可能自动化，以降低人为错误的风险并提高效率。
2. 应使用实验跟踪和版本控制来跟踪模型的开发、版本控制和性能。
3. ML模型应该通过CI/CD管道进行部署，以确保更新和更改可以快速轻松地部署到生产中。
4. ML模型的设计和部署应具有可扩展性和性能，以满足生产环境的需求。

现在您已经了解了MLOps，让我们了解一下DevOps。

什么是DevOps？

DevOps是一种软件开发方法，它可以消除障碍，实现迭代和改进的连续循环。它旨在改善软件开发过程中的协作并最大限度地减少摩擦。

您可以使用多种工具和平台来自动化和简化软件开发和部署过程，如：

1. 源代码管理（SCM）工具，如Git、Subversion和Mercurial
2. 持续集成（CI）工具，如Jenkins、Travis CI和CircleCI
3. 持续交付（CD）工具，如Ansible、Puppet和Chef
4. 配置管理工具，如SaltStack、Chef和Puppet
5. 监控和日志记录工具，如Nagios、Zabbix和Logstash
6. Docker和Kubernetes等容器化工具

但是，在使用这些专用平台管理DevOps时，您可能会遇到多个问题。

实施DevOps的挑战

 

以下是在实施DevOps时可能面临的一些常见挑战：

1. DevOps需要组织内部的文化转变，因为它需要开发和运营团队之间的密切合作。这可能具有挑战性，因为这些团队之间可能存在传统的竖井。
2. DevOps使组织能够快速开发和部署新功能，但这种变化速度可能很难管理，尤其是对于大型复杂应用程序。
3. 实施DevOps可能成本高昂，因为组织需要投资于新的工具、流程和人员，而持续成本可能很高，因为系统和流程需要随着时间的推移进行维护和更新。

使用DevOps的战略实践，您可以解决这些挑战。通过实施新特性和功能，在向客户提供新特性和能力方面获得更高的灵活性、效率和可靠性带来的好处。

DevOps的最佳实践

您可以结合一些最佳实践来充分利用DevOps驱动的软件开发过程：

1. 您应该专注于快速交付软件。此外，实施所需的策略，以帮助您在不浪费时间的情况下回滚软件。
2. 业务、运营和开发团队必须保持一致并进行协作，以实现高效和成功的DevOps执行。
3. 随时了解最新的软件技术趋势，以绕过有效技术开发的障碍。
4. 在不失败的情况下对所有代码进行手动或自动测试。
5. 集成自动化并使用准确的CI/CD工具来实现有效的DevOps系统。

BrowserStack提供了与TeamCity、Travis CI、Jenkins、Jira等最佳CI/CD工具的不同集成，以更好地实现DevOps。

它还提供了一个由3000+个真实浏览器和设备组成的专用云Selenium网格，用于测试。您可以访问我们的内置调试工具来识别和解决错误。您还可以使用Appium、Espresso、XCUITest、EarlGrey、Cypress、Playwright、Puppeter等框架进行测试。

MLOps和DevOps的相似之处

由于MLOps是DevOps的一个子集，这两种意识形态有很多相似之处。看一看

1. MLOps和DevOps都需要不同团队之间的密切合作，包括开发、运营和数据科学团队，以确保模型和应用程序的顺利高效交付。
2. 许多MLOps工具和平台与现有的DevOps工具链（如Git、Jenkins和Kubernetes）集成，使组织更容易在现有DevOps工作流中实施MLOps。
3. MLOps和DevOps促进了一种实验文化，在这种文化中，团队可以快速测试和验证新的想法和方法，从而减少提供新功能和能力的时间和成本。
4. MLOps和DevOps都强调监控和反馈循环的重要性，以确保模型和应用程序按预期工作，并快速发现和解决问题。

此外，通过简单的比较来了解DevOps和MLOps的核心方面。

MLOps和DevOps之间的区别

DevOps和MLOps对您的组织实现目标和取得成功非常重要。这里有一个详细的比较表，可以帮助您了解差异。

DevOps	MLOps
它侧重于整个软件开发过程。	它特别关注机器学习模型及其部署。
它强调开发、测试和运营团队之间的协作和沟通	MLOps强调数据管理和模型版本控制。
DevOps优先考虑整体应用程序性能和可靠性。	它在生产和监控中优先考虑模型性能。
它涉及到测试和部署自动化等任务。	MLOps涉及超参数调整和特征选择等任务。
执行基础架构资源调配和配置管理等任务。	它涉及到诸如模型可解释性和公平性之类的任务。

值得注意的是，MLOps和DevOps并不相互排斥，许多组织将使用这两种实践的组合来改进其软件开发过程。

因此，让我们了解如何弥合这两种方法之间的差距。

如何弥合MLOps和DevOps之间的差距？

以下是弥合MLOps和DevOps之间差距的一些技巧：

1. 鼓励数据科学、开发和运营团队之间的密切合作，并建立明确的沟通渠道，以确保每个人都在目标和流程上保持一致。
2. 自动化尽可能多的工作流程，包括模型测试、验证和部署，以减少手动错误并提高效率。
3. 持续评估和改进流程和工作流程，鼓励实验和创新，以确保您为MLOps和DevOps使用尽可能好的工具和方法。
4. 实施DevOps监控和DevOps反馈循环，以确保模型和应用程序按预期工作，并快速发现和解决任何问题。

但是，您应该将哪种方法集成到您的商业生态系统中？

你应该选择哪一个：MLOps还是DevOps？

在MLOps和DevOps之间进行选择取决于您的特定需求和目标。如果您的组织专注于开发和部署机器学习模型，那么MLOps可能是更好的选择。

但是，如果您的组织专注于整体软件开发，那么DevOps可能是更好的选择。

MLOps可以帮助您管理构建、维护和部署机器学习模型的独特挑战，如数据管理、模型版本控制和监控生产中的模型性能。

另一方面，DevOps可以帮助您改善组织内不同团队之间的协作和沟通，以提高软件开发和部署的总体速度和质量。

您还可以通过考虑组织的成熟度来做出决定。如果它处于ML开发的早期阶段，那么最好从DevOps开始，因为这是一种更普遍的做法，然后随着ML开发的发展逐渐引入MLOps。

那么，MLOps和DevOps的未来是什么？

 

MLOps和DevOps的未来

MLOps和DevOps的未来可能会受到几个趋势和发展的影响。

云平台将在MLOps和DevOps中发挥越来越重要的作用，因为组织希望利用其可扩展性、可靠性和成本效益来支持模型和应用程序的部署和管理。

此外，随着组织寻求提高模型开发和部署的速度和效率，人们将更加关注自动化，包括使用人工智能和机器学习算法来自动化工作流程并减少手动错误。

MLOps和DevOps将继续发展，并变得更加复杂，因为组织希望利用这些方法更快、更高质量、更高可靠性地交付模型和应用程序。

这两种方法都为数据科学和IT团队提供了不同的功能和优势。

但请确保您的MLOps和DataOps团队不应忽视工作流的连续测试阶段，因为这可能会阻碍所需的输出。

 

随着机器学习和人工智能在软件产品和服务中的传播，我们需要建立最佳实践和工具来测试、部署、管理和监控现实世界生产中的ML模型。简而言之，通过MLOps，我们努力避免机器学习应用程序中的“技术债务”。

SIG MLOps将“最佳MLOps体验定义为在CI/CD环境中，机器学习资产与所有其他软件资产得到一致处理。作为统一发布过程的一部分，机器学习模型可以与包装它们的服务和使用它们的服务一起部署。”，我们希望加快ML/AI在软件系统中的应用，并快速交付智能软件。在下文中，我们描述了MLOps中的一组重要概念，如迭代增量开发、自动化、连续部署、版本控制、测试、再现性和监控。

MLOps中的迭代增量过程

完整的MLOps过程包括三个广泛的阶段：“设计ML驱动的应用程序”、“ML实验和开发”和“ML操作”。

 

第一阶段致力于业务理解、数据理解和ML驱动软件的设计。在这个阶段，我们确定我们的潜在用户，设计机器学习解决方案来解决其问题，并评估项目的进一步发展。大多数情况下，我们会处理两类问题——要么提高用户的生产力，要么提高应用程序的交互性。

 

最初，我们定义ML用例并对它们进行优先级排序。ML项目的最佳实践是一次处理一个ML用例。此外，设计阶段旨在检查训练我们的模型所需的可用数据，并指定ML模型的功能和非功能需求。我们应该使用这些需求来设计ML应用程序的体系结构，建立服务策略，并为未来的ML模型创建一个测试套件。

 

后续阶段“ML实验和开发”致力于通过实现ML模型的概念证明来验证ML对我们的问题的适用性。在这里，我们迭代地运行不同的步骤，例如为我们的问题、数据工程和模型工程确定或完善合适的ML算法。这个阶段的主要目标是提供一个稳定质量的ML模型，我们将在生产中运行。

 

“ML操作”阶段的主要重点是通过使用已建立的DevOps实践（如测试、版本控制、连续交付和监控），在生产中交付先前开发的ML模型。

 

这三个阶段相互关联，相互影响。例如，设计阶段的设计决策将传播到实验阶段，并最终影响最终操作阶段的部署选项。

 

自动化

数据、ML模型和代码管道的自动化程度决定了ML过程的成熟度。随着成熟度的提高，新模型的训练速度也在提高。MLOps团队的目标是将ML模型自动部署到核心软件系统或作为服务组件。这意味着，在没有任何手动干预的情况下，自动化整个ML工作流步骤。自动化模型培训和部署的触发器可以是日历事件、消息传递、监视事件，以及数据、模型培训代码和应用程序代码的更改。

 

自动化测试有助于在早期快速发现问题。这使得能够快速修复错误并从错误中学习。

 

为了采用MLOps，我们看到了三个自动化级别，从手动模型训练和部署的初始级别开始，到自动运行ML和CI/CD管道。

 

• 手动过程。这是一个典型的数据科学过程，在实现ML之初执行。这个级别具有实验性和迭代性。每个管道中的每个步骤，如数据准备和验证、模型训练和测试，都是手动执行的。常见的处理方式是使用快速应用程序开发（RAD）工具，如Jupyter Notebooks。
• ML管道自动化。下一个级别包括自动执行模型训练。我们在这里介绍模型的持续训练。只要有新的数据可用，就会触发模型再训练过程。这种自动化水平还包括数据和模型验证步骤。
• CI/CD管道自动化。在最后阶段，我们引入了一个CI/CD系统，以在生产中执行快速可靠的ML模型部署。与前一步的核心区别在于，我们现在自动构建、测试和部署数据、ML模型和ML训练管道组件。

下图显示了带有CI/CD例程的自动化ML管道：

Figure adopted from “MLOps: Continuous delivery and automation pipelines in machine learning”

下表解释了反映ML管道自动化过程的MLOps阶段：

MLOps Stage	Output of the Stage Execution
开发与实验（ML算法、新的ML模型）	管道源代码：数据提取、验证、准备、模型训练、模型评估、模型测试
管道持续集成（构建源代码并运行测试）	要部署的管道组件：包和可执行文件。
管道连续交付（将管道部署到目标环境）	部署了具有新模型实现的管道。
自动触发（流水线在生产中自动执行。使用计划或触发器）	存储在模型注册表中的经过训练的模型。
模型连续交付（用于预测的模型）	已部署的模型预测服务（例如，作为REST API公开的模型）
监控（在实时数据上收集有关模型性能的数据）	触发以执行管道或开始新的实验循环。

在分析了MLOps阶段之后，我们可能会注意到MLOps设置需要安装或准备几个组件。下表列出了这些组件：

MLOps Setup Components	Description
Source Control	对代码、数据和ML模型工件进行版本控制。
Test & Build Services	使用CI工具（1）确保所有ML工件的质量，以及（2）构建管道的包和可执行文件。
Deployment Services	使用CD工具将管道部署到目标环境。
Model Registry	用于存储已训练的ML模型的注册表。
Feature Store	将输入数据预处理为要在模型训练管道中和模型服务期间使用的特征。
ML Metadata Store	跟踪模型训练的元数据，例如模型名称、参数、训练数据、测试数据和度量结果。
ML Pipeline Orchestrator	使ML实验的步骤自动化。

“MLOps: Continuous delivery and automation pipelines

 in machine learning”

连续X

为了理解模型部署，我们首先将“ML资产”指定为ML模型、其参数和超参数、训练脚本、训练和测试数据。我们对这些ML工件的身份、组件、版本控制和依赖性很感兴趣。ML工件的目标目的地可能是（微）服务或一些基础设施组件。部署服务提供编排、日志记录、监视和通知，以确保ML模型、代码和数据工件是稳定的。

 

MLOps是一种ML工程文化，包括以下实践：

 

• 连续集成（CI）通过添加测试和验证数据和模型来扩展测试和验证代码和组件。
• 连续交付（CD）涉及ML训练管道的交付，该管道自动部署另一个ML模型预测服务。
• 连续训练（CT）是ML系统属性所独有的，它可以自动重新训练ML模型以进行重新部署。
• 持续监控（CM）关注的是监控生产数据和模型性能指标，这些指标与业务指标绑定。

版本控制

版本控制的目标是通过使用版本控制系统跟踪ML模型和数据集，将用于模型训练的ML训练脚本、ML模型和数据库集视为DevOps过程中的一流公民。ML模型和数据发生变化（根据SIG MLOps）的常见原因如下：

 

• ML模型可以基于新的训练数据进行再训练。
• 模型可以基于新的训练方法进行再训练。
• 模型可能是自学习的。
• 模型可能会随着时间的推移而退化。
• 模型可以部署在新的应用程序中。
• 模型可能会受到攻击，需要修改。
• 模型可以快速回滚到以前的服务版本。
• 企业或政府合规性可能需要对ML模型或数据进行审计或调查，因此我们需要访问产品化ML模型的所有版本。
• 数据可能存在于多个系统中。
• 数据可能只能驻留在受限制的司法管辖区内。
• 数据存储可能不是一成不变的。
• 数据所有权可能是一个因素。

与开发可靠软件系统的最佳实践类似，每个ML模型规范（创建ML模型的ML训练代码）都应该经过代码审查阶段。此外，每个ML模型规范都应该在VCS中进行版本化，以使ML模型的训练可审计且可重复。

 

进一步阅读：我们如何管理ML模型？模型管理框架

 

实验跟踪

机器学习开发是一个高度迭代和以研究为中心的过程。与传统的软件开发过程不同，在ML开发中，在决定将什么模型推广到生产之前，可以并行执行多个模型训练实验。

 

ML开发过程中的实验可能有以下场景：跟踪多个实验的一种方法是使用不同的（Git-）分支，每个分支专门用于单独的实验。每个分支的输出都是经过训练的模型。根据所选择的度量，将训练的ML模型相互比较，并选择适当的模型。这种低摩擦分支得到了工具DVC的充分支持，DVC是Git的扩展，也是机器学习项目的开源版本控制系统。另一个流行的ML实验跟踪工具是权重和偏差（wandb）库，它可以自动跟踪实验的超参数和度量。

 

测试

Figure source: “The ML Test Score: A Rubric for ML Production Readiness 

and Technical Debt Reduction” by E.Breck et al. 2017

完整的开发管道包括三个基本组件，数据管道、ML模型管道和应用程序管道。根据这种分离，我们区分了ML系统中的三个测试范围：特性和数据测试、模型开发测试和ML基础设施测试。

 

特性和数据测试

• 数据验证：自动检查数据和功能架构/域。
  • 操作：为了构建模式（域值），请根据训练数据计算统计信息。该模式可以在训练和服务阶段用作输入数据的期望定义或语义角色。
• 功能重要性测试，以了解新功能是否增加了预测能力。
  • 操作：计算要素列的相关系数。
  • 动作：训练具有一个或两个功能的模型。
  • 操作：使用特征的子集“k中的一个”，并训练一组不同的模型。
  • 测量每个新功能的数据依赖性、推理延迟和RAM使用情况。将其与新增功能的预测能力进行比较。
  • 从基础结构中删除未使用/不推荐使用的功能，并将其记录下来。
• 功能和数据管道应符合政策（如GDPR）。这些需求应该在开发和生产环境中以编程方式进行检查。
• 功能创建代码应该通过单元测试进行测试（以捕获功能中的bug）。

可靠模型开发测试

我们需要为检测特定于ML的错误提供特定的测试支持。

 

• 测试ML训练应该包括例程，这些例程验证算法做出的决策是否与业务目标一致。这意味着ML算法损失指标（MSE、日志损失等）应与业务影响指标（收入、用户参与度等）相关
  • 措施：损失指标-影响指标的关系，可以在使用故意降级模型的小规模A/B测试中进行测量。
    • 进一步阅读：选择用于评估机器学习模型的正确度量。这里1，这里2
• 模型老化试验。如果经过训练的模型不包括最新数据和/或不满足业务影响要求，则该模型被定义为过时模型。过时的模型会影响智能软件的预测质量。
  • 操作：A/B对旧型号进行实验。包括生成年龄与预测质量曲线的年龄范围，以便于理解ML模型应该多久训练一次。
• 评估更复杂的ML模型的成本。
  • 措施：应将ML模型的性能与简单的基线ML模型（例如，线性模型与神经网络）进行比较。
• 验证模型的性能。
  • 建议将收集训练和测试数据的团队和程序分开，以消除依赖关系，避免错误的方法论从训练集传播到测试集（源）。
  • 措施：使用额外的测试集，该测试集与训练集和验证集脱节。仅将此测试集用于最终评估。
• ML模型性能的公平性/偏差/包容性测试。
  • 行动：收集更多数据，包括可能代表性不足的类别。
  • 操作：检查输入功能是否与受保护的用户类别相关。
  • 进一步阅读：“不平衡分类的数据采样方法之旅”
• 用于任何功能创建、ML模型规范代码（训练）和测试的常规单元测试。
• 模型治理测试（即将推出）

ML基础设施测试

• 训练ML模型应该是可复制的，这意味着在相同的数据上训练ML模型应产生相同的ML模型。
  • ML模型的差分测试依赖于确定性训练，由于ML算法、随机种子生成或分布式ML模型训练的非凸性，这很难实现。
  • 操作：确定模型训练代码库中的不确定性部分，并尽量减少不确定性。
• 测试ML API的使用情况。压力测试。
  • 措施：单元测试随机生成输入数据，并为单个优化步骤训练模型（例如梯度下降）。
  • 行动：模型训练的碰撞测试。ML模型应该在训练中期崩溃后从检查点恢复。
• 测试算法的正确性。
  • 行动：单元测试，它不是为了完成ML模型训练，而是为了训练几次迭代，并确保在训练时损失减少。
  • 避免：使用以前构建的ML模型进行差异测试，因为这样的测试很难维护。
• 集成测试：应该对整个ML管道进行集成测试。
  • 操作：创建一个完全自动化的测试，定期触发整个ML管道。测试应验证数据和代码是否成功完成了每个阶段的训练，以及由此产生的ML模型是否按预期执行。
  • 所有集成测试都应该在ML模型到达生产环境之前运行。
• 在提供ML模型之前对其进行验证。
  • 措施：设置一个阈值，并在验证集的许多版本上测试模型质量的缓慢下降。
  • 措施：在ML模型的新版本中设置一个阈值并测试性能的突然下降。
• ML模型在上菜前就被炒鱿鱼了。
  • 措施：测试ML模型是否成功加载到生产服务中，并按预期生成对真实数据的预测。
• 测试训练环境中的模型给出的分数与服务环境中的模式相同。
  • 措施：保留数据和“第二天”数据的性能之间的差异。一些差异将永远存在。请注意保持数据和“第二天”数据之间的性能差异很大，因为这可能表明一些时间敏感的特性会导致ML模型退化。
  • 行动：避免训练和服务环境之间的结果差异。将模型应用于训练数据中的示例和服务时的相同示例应产生相同的预测。此处的差异表示工程错误。

监控

一旦部署了ML模型，就需要对其进行监控，以确保ML模型按预期执行。以下生产中模型监测活动的检查表来自E.Breck等人2017年的“ML测试分数：ML生产准备和技术债务减少的准则”：

• 在整个管道中监视依赖关系的更改会导致通知。
  • 数据版本更改。
  • 源系统中的更改。
  • 依赖项升级。
• 监视训练和服务输入中的数据不变量：如果数据与训练步骤中指定的模式不匹配，则发出警报。
  • 措施：调整警报阈值，以确保警报仍然有用且不会产生误导。
• 监控训练和服务功能是否计算出相同的值。
  • 由于训练和服务功能的生成可能发生在物理上分离的位置，我们必须仔细测试这些不同的代码路径在逻辑上是否相同。
  • 操作：（1）记录服务流量的样本。（2） 计算训练特征和采样服务特征的分布统计信息（最小值、最大值、平均值、值、缺失值的百分比等），并确保它们匹配。
• 监测ML模型的数值稳定性。
  • 操作：在出现任何NaN或无穷大时触发警报。
• 监控ML系统的计算性能。应通知计算性能中的急剧和缓慢泄漏回归。
  • 操作：通过预先设置警报阈值来衡量代码、数据和模型的版本和组件的性能。
  • 操作：收集系统使用指标，如GPU内存分配、网络流量和磁盘使用情况。这些指标对于云成本估计非常有用。
• 监控系统在生产中的陈旧程度。
  • 测量模型的使用年限。较旧的ML模型的性能往往会下降。
  • 行动：模型监控是一个连续的过程，因此在投入生产之前确定监控要素并制定模型监控策略非常重要。
• 监控特征生成过程对模型的影响。
  • 操作：经常重新运行功能生成。
• 监测ML模型在服务数据上的预测质量下降。应通知预测质量的急剧和缓慢泄漏回归。
  • 降级可能由于数据的更改或不同的代码路径等原因而发生。
  • 措施：测量预测中的统计偏差（一段数据中预测的平均值）。模型应该具有几乎为零的偏差。
  • 措施：如果在做出预测后立即提供标签，我们可以实时测量预测的质量并识别问题。

下图显示，可以通过跟踪模型预测的精度、召回率和F1分数随时间的变化来实现模型监测。精确度、召回率和F1分数的降低触发了模型再训练，从而导致模型恢复。

 

“ML测试分数”系统

“ML测试分数”衡量ML系统的总体生产准备情况。最终ML测试分数计算如下：

• 对于每项测试，手动执行测试将获得半分，并记录和分发测试结果。
• 如果有系统可以重复自动运行该测试，则可获得满分。
• 分别对四个部分的得分求和：数据测试、模型测试、ML基础设施测试和监控。
• 最终的ML测试分数是通过取每个部分的最小分数来计算的：数据测试、模型测试、ML基础设施测试和监控。

在计算ML测试分数后，我们可以推断ML系统的生产准备情况。下表提供了解释范围：

Points	Description
0	更多的是研究项目，而不是生产系统。
(0,1]	并非完全未经测试，但值得考虑可靠性存在严重漏洞的可能性。
(1,2]	在基本的生产化方面已经有了第一次通过，但可能需要额外的投资。
(2,3]	经过合理测试，但可能会有更多的测试和程序实现自动化。
(3,5]	强大的自动化测试和监控水平。
>5	卓越的自动化测试和监控水平。

Source: “The ML Test Score: A Rubric for ML Production Readiness and 

Technical Debt Reduction” by E.Breck et al. 2017

再现性

机器学习工作流程中的可再现性意味着，在给定相同输入的情况下，数据处理、ML模型训练和ML模型部署的每个阶段都应该产生相同的结果。

Phase	Challenges	How to Ensure Reproducibility
Collecting Data	训练数据的生成无法再现（例如，由于数据库不断变化或数据加载是随机的）	1） 始终备份您的数据。 2） 保存数据集的快照（例如在云存储上）。 3） 数据源应设计有时间戳，以便可以检索任何点的数据视图。 4） 数据版本控制。
Feature Engineering	情节： 1） 缺失值用随机值或平均值估算。 2） 根据观察百分比删除标签。 3） 非确定性特征提取方法。	1） 功能生成代码应处于版本控制之下。 2） 要求前一步骤“收集数据”的再现性
Model Training / Model Build	Non-determinism	1） 确保功能的顺序始终相同。 2） 记录并自动化特征转换，如规范化。 3） 记录并自动化超参数 selection. 4） 对于集成学习：对ML模型的组合进行文档化和自动化。
Model Deployment	1） 已经使用不同于生产环境的软件版本来执行ML模型的训练。 2） 生产环境中缺少ML模型所需的输入数据。	1） 软件版本和依赖关系应与生产环境相匹配。 2） 使用容器（Docker）并记录其规范，例如图像版本。 3） 理想情况下，相同的编程语言用于培训和部署。

松散耦合体系结构（模块化）

根据Gene Kim等人在《加速》一书中的说法，“高性能（软件交付）只要系统以及构建和维护它们的团队是松散耦合的，那么所有类型的系统都是可能的。这一关键的体系结构特性使团队能够轻松地测试和部署单个组件或服务，即使组织及其运行的系统数量在增长——也就是说，它允许组织在扩展时提高生产力。”

此外Gene Kim等人。，推荐给“使用松散耦合的体系结构。这会影响团队在多大程度上可以按需测试和部署应用程序，而不需要与其他服务协调。使用松散耦合体系结构可以让团队独立工作，而不依赖其他团队提供支持和服务，这反过来又使他们能够快速工作并为组织带来价值。”

关于基于ML的软件系统，与传统的软件组件相比，实现机器学习组件之间的松散耦合可能更困难。ML系统在几个方面具有弱组件边界。例如，ML模型的输出可以用作另一个ML模型的输入，并且这种交织的依赖关系可能在训练和测试期间相互影响。

基本的模块化可以通过构建机器学习项目来实现。要设置标准的项目结构，我们建议使用专用模板，如

• Cookiecutter Data Science Project Template
• The Data Science Lifecycle Process Template
• PyScaffold

基于ML的软件交付度量（“加速”中的4个度量）

在最近关于DevOps状态的研究中，作者强调了四个关键指标，这些指标反映了精英/高绩效组织的软件开发和交付的有效性：部署频率、变更交付周期、平均恢复时间和变更失败百分比。已经发现这些度量对于测量和改进基于ML的软件交付非常有用。在下表中，我们给出了每个度量的定义，并将其连接到MLOps。

Metric	DevOps	MLOps
部署频率	您的组织多长时间将代码部署到生产环境或发布给最终用户？	ML模型部署频率取决于 1） 模型再培训要求（从不太频繁到在线培训）。模型再培训有两个方面至关重要 1.1）模型衰减度量。 1.2）新数据可用性。 2） 部署过程的自动化程度，可能介于*手动部署*和*完全自动化的CI/CD管道*之间。
变更的交付周期	从提交代码到在生产中成功运行代码需要多长时间？	ML模型变更的交付周期取决于 1） 数据科学探索阶段的持续时间，以最终确定部署/服务的ML模型。 2） ML模型训练的持续时间。 3） 部署过程中手动步骤的数量和持续时间。
平均恢复时间（MTTR）	当发生服务事故或影响用户的缺陷（例如，计划外停机或服务损坏）时，恢复服务通常需要多长时间？	ML模型MTTR取决于手动执行的模型调试和模型部署步骤的数量和持续时间。在这种情况下，当ML模型应该重新训练时，MTTR也取决于ML模型训练的持续时间。或者，MTTR是指ML模型回滚到以前版本的持续时间。
更改失败率	生产更改或发布给用户的更改导致服务降级（例如，导致服务损坏或服务中断）并随后需要补救（例如，需要修补程序、回滚、前向修复、修补）的百分比是多少？	ML模型变化失败率可以表示为当前部署的ML模型性能指标与先前模型的指标的差异，如精度、召回率、F-1、准确性、AUC、ROC、假阳性等。ML模型变化故障率也与A/B测试有关。

为了提高ML开发和交付过程的有效性，应该衡量以上四个关键指标。实现这种有效性的一种实用方法是首先实现CI/CD管道，并采用数据、ML模型和软件代码管道的测试驱动开发。

MLOps原则和最佳实践概述

完整的ML开发管道包括三个可能发生更改的级别：数据、ML模型和代码。这意味着，在基于机器学习的系统中，构建的触发因素可能是代码更改、数据更改或模型更改的组合。下表总结了构建基于ML的软件的MLOps原则：

MLOps 原则	Data	ML Model	Code
版本控制	1） 数据准备管道 2） 功能存储 3） 数据集 4） 元数据	1） ML模型训练管道 2） ML模型（对象） 3） 超参数 4） 实验跟踪	1） 应用程序代码 2） 配置
测试	1） 数据验证（错误检测） 2） 功能创建单元测试	1） 型号规格经过单元测试 2） ML模型训练管道经过集成测试 3） ML模型在投入使用前经过验证 4） ML模型老化测试（在生产中） 5） 测试ML模型的相关性和正确性 6） 测试非功能性需求（安全性、公平性、可解释性）	1） 单元测试 2） 端到端管道的集成测试
自动化	1） 数据转换 2） 特征创建和操作	1） 数据工程管道 2） ML模型训练管道 3） 超参数/参数选择	1） 使用CI/CD的ML模型部署 2） 应用程序构建
再现性	1） 备份数据 2） 数据版本控制 3） 提取元数据 4） 功能工程的版本控制	1） 开发和生产之间的超参数调整是相同的 2） 功能的顺序相同 3） 集成学习：ML模型的组合是相同的 4） 模型伪代码已记录在案	1） dev和prod中所有依赖项的版本都是相同的 2） 开发和生产环境的技术堆栈相同 3） 通过提供容器映像或虚拟机再现结果
部署	1） 功能存储用于开发和生产环境	1） ML堆栈的容器化 2） REST API 3） 内部部署、云或边缘	1） 内部部署、云或边缘
监视	1） 数据分布变化（培训与服务数据） 2） 训练与服务功能	1） ML模型衰变 2） 数值稳定性 3） ML模型的计算性能	1） 服务数据应用程序的预测质量

除了MLOps原则外，遵循一套最佳实践应有助于减少ML项目的“技术债务”：

MLOps最佳实践	Data	ML Model	Code
文档	1） 数据源 2） 决策，如何/在哪里获取数据 3） 标签方法	1） 型号选择标准 2） 实验设计 3） 模型伪代码	1） 部署过程 2） 如何在本地运行
项目结构	1） 原始数据和已处理数据的数据文件夹 2） 数据工程管道的文件夹 3） 数据工程方法的测试文件夹	1） 包含训练模型的文件夹 2） 笔记本的文件夹 3） 用于功能工程的文件夹 4） ML模型工程文件夹	1） bash/shell脚本的文件夹 2） 用于测试的文件夹 3） 部署文件的文件夹（例如Docker文件）

在计算机科学领域，测试和评估模型是一个有条不紊的过程，需要仔细规划和执行。正是通过这种严格的测试，我们才能确保计算机模型的完整性和可靠性，这些模型用于气候预测、经济预测和工程等各个领域。

计算机建模中的测试用例介绍

测试用例是系统化的工具，可以模拟计算机模型要处理的常见和不寻常场景。它们是我们验证模型准确性和可靠性的基石，是性能和正确性的基准。

测试用例的目的

• 验证模型精度：将模型输出与预期结果进行比较，以检查精度。
• 确保可靠性：在各种场景下测试一致的性能。
• 错误识别：指出并记录模型中的任何不准确或故障。

有效测试用例的标准

测试用例的开发应遵循一套标准，以确保它们有效地达到预期目的。

特异性（Specificity）

• 明确的目标：每个测试用例都应该有一个明确的目标和已知的预期结果，以便于进行准确的评估。
• 详细的场景：应该详细描述场景，概述将测试模型的具体条件。

可重复性

• 执行中的一致性：为了验证模型的可靠性，测试用例在重复时应该产生一致的结果。
• 测试自动化：为了提高效率和减少人为错误，可以自动化的测试用例更可取。

覆盖范围（Coverage）

• 广谱测试（Broad Spectrum Testin）：一个模型应该在广泛的场景中进行测试，特别注意边缘案例。
• 变量组合：应测试不同的输入变量集，以确保数据处理的稳健性。

现实主义

• 真实世界条件的模拟：测试用例应该紧密地反映模型预期遇到的真实世界场景。
• 实际变量的使用：变量应反映模型将处理的实际数据。

设计测试用例

• 测试用例的设计过程是一项细致的任务，涉及几个关键步骤。

关键变量的识别

• 确定哪些变量对模型的运行至关重要，在现实参数中测试这些变量也是如此。

开发场景

• 应该构建场景来测试模型的极限，例如在极端压力或异常条件下。

测试用例文档

• 清晰的描述：每个测试用例都必须清楚地记录其目的和预期结果。
• 执行说明：为每个测试用例的执行提供全面的说明，以确保一致性。

评估测试用例的有效性

测试用例的有效性是多方面的，涉及的不仅仅是二元通过/失败结果。

性能分析

• 执行速度：模型执行测试用例所花费的时间至关重要。
• 计算资源利用率：测试期间使用的计算资源量也是一个重要因素。

结果评估

• 结果的准确性：与预期结果相比，模型输出的准确性是有效性的主要指标。
• 结果一致性：模型应在相同的测试条件下一致地产生相同的结果。

关于有效性的讨论

• 与真实世界应用程序的相关性：每个测试用例与模型的预期真实世界用途的实际相关性至关重要。
• 测试用例限制的识别：还需要讨论测试用例在变量和场景方面可能没有涵盖的内容。

将模型生成的结果与原始数据进行比较

为了确定模型的正确性，将其输出与建模系统的实际数据进行比较。

建立基线

• 原始的真实世界数据为模型的预期输出设定了标准。

差异分析（Discrepancy Analysis）

• 必须仔细检查模型预测与实际数据之间的任何偏差，以确定模型改进的区域。

灵敏度测试

• 进行测试以测量模型的输出对输入变量变化的敏感性是很重要的。

分组数据项

数据项的合理分组是模型测试和评估的另一个关键方面。

逻辑分组

应该对相互影响的数据项进行分组，以检查它们对模型的综合影响。

示例数据使用

样本数据应具有整体代表性，以确保模型能够有效管理不同的数据类型和结构。

变量相互作用

了解变量如何相互作用至关重要，测试用例应该彻底探索这些动态。

详细评估技术

深入评估过程，必须采用各种技术对模型进行全面评估。

统计分析

使用统计方法根据原始数据分析模型的输出，以识别模式或异常。

模型调整

根据试验结果，对模型参数进行调整，以提高模型的性能和精度。

交叉验证

实施交叉验证技术，通过在不同的数据子集上训练和测试来确保模型的稳健性。

回归测试

当对模型进行更新时，回归测试确保新的更改不会对以前的功能产生不利影响。

用户验收测试

在最终用户将使用模型的场景中，他们的反馈对于确定模型的可用性和实用性至关重要。

高级建模注意事项

随着模型复杂性的增加，对高级测试和评估方法的需求也在增加。

并行测试

将新模型与旧模型并行运行，以实时比较性能。

预测有效性

通过将模型的预测与随后的真实世界结果进行比较，评估模型的预测是否随着时间的推移而成立。

伦理考量

确保模型及其预测不违反道德标准或偏见。

通过严格应用这些方法，学生可以对测试和评估计算机模型有一个强有力的理解，使他们具备为任何应用程序生成可靠准确模型所需的技能。

模拟问题

解释在评估计算机模型时同时进行广谱测试和特定场景测试的重要性。用例子来支持你的答案。

测试用例必须涵盖广泛的范围，以确保模型能够处理广泛的场景，包括不太常见但关键的边缘用例。例如，气候模型应该准确预测飓风等典型和极端条件下的天气模式。另一方面，特定场景测试侧重于模型的特定方面。例如，在金融建模中，一个测试案例可能会探讨利率突然变化对抵押贷款负担能力的影响。这两种测试类型对于全面评估模型至关重要，确保在各种情况下的可靠性和稳健性。

描述将模型生成的结果与原始数据进行比较的过程，并解释如何使用该过程来评估模型的正确性。

将模型生成的结果与原始数据进行比较包括使用真实世界的数据建立基线，并根据该基准测量模型的输出。一个优秀的学生会提到使用统计方法来识别模型预测与实际数据之间的模式或差异。例如，在人口增长模型中，学生会将预测的人口变化与人口普查数据进行比较。这种比较有助于评估模型的正确性，突出预测的准确性，并确定模型可能需要改进的领域，以更好地反映真实世界的动态。

1. 模型验证
2. 模型评估
3. 异同
4. 如何应用它们
5. 为什么它们很重要
6. 以下是其他需要考虑的事项

模型验证

模型验证是检查模型是否符合所选算法的假设和要求，以及是否与数据吻合的过程。模型验证可以帮助您避免过度拟合或拟合不足，这是影响模型准确性和稳健性的常见问题。过度拟合意味着你的模型过于复杂，会捕捉到训练数据中的噪声和异常值，但无法推广到新数据。欠拟合意味着您的模型过于简单，并且错过了数据中的模式和关系，导致性能低下。要验证模型，可以使用各种技术，如交叉验证、自举或正则化，在不同的数据子集上测试模型，并相应地调整模型的参数或复杂性。

在掌握模型的领域，验证是一位富有洞察力的大师调整仪器的准确性。这不仅仅是一种仪式；这是一个有数据的舞蹈，一个精心的编排，确保了模型唱得和谐。验证是无名英雄，突出潜在的偏见并微调参数。把它想象成一位明智的导师，引导模型穿过现实世界中错综复杂的不可预测性。这是一双敏锐的眼睛，确保模特不仅能记住，还能理解。在这场复杂的芭蕾舞剧中，验证将一个纯粹的预测引擎转变为一个可靠的预言机，与不同数据集的细微差别产生共鸣。

模型验证对于确保模型的有效性至关重要。它检查模型是否与算法假设一致，是否与数据吻合良好。关键是要避免过度拟合（过于复杂、捕获噪声、泛化不好）和拟合不足（过于简单、缺少模式）。使用交叉验证、自举或正则化等技术对不同的数据子集进行测试，并调整模型参数或复杂性以获得最佳性能。

模型评估

模型评估是衡量模型在新的和看不见的数据上表现如何的过程，通常称为测试或保留集。模型评估可以帮助您评估模型的预测能力和可推广性，并将其与其他模型或基准进行比较。要评估您的模型，您需要选择适当的指标和标准，以反映项目的目标和目的以及数据的特征。例如，如果您正在构建分类模型，则可以使用准确性、精确度、召回率或F1分数等指标来评估模型将新实例分类到不同类别的效果。如果你正在构建回归模型，你可以使用均方误差、均方根误差或R平方等指标来衡量你的模型预测新观测值的连续值的接近程度。

异同

模型验证和评估都是数据分析管道中的重要步骤，它们密切相关。这两个过程都旨在评估模型的质量和可靠性，并在需要时进行改进。这两个过程都使用不同的数据子集来测试您的模型，并提供反馈和度量来衡量模型的性能。然而，它们之间也有一些关键的区别。模型验证通常在模型构建阶段进行，而模型评估则在模型最终确定后进行。模型验证使用训练集或验证集，这是用于拟合模型的数据的一部分，而模型评估使用测试集或保留集，它是数据的一个单独部分，不用于拟合模型。模型验证可以帮助您在不同的候选者中选择最佳模型，而模型评估可以帮助您根据未来数据估计所选模型的预期性能。

模型验证就像在上台前在镜子前练习舞蹈，在那里你可以调整你的动作以获得更好的表现。类似地，在机器学习中，这一阶段对数据子集上的模型参数进行微调。现在，模型评估是盛大的表演。这相当于现场观众面前的舞蹈独奏会。在这里，该模型面对一个在实践中看不见的新数据集，以展示其真实世界的能力。正如舞者旨在给观众留下深刻印象一样，该模型旨在在实用的日常场景中展示其准确性和可靠性，确保其真正达到预期。

这两种机制的相似之处在于，这两种方法都用于使用各种准确性度量在保持数据集上测试模型的性能。

主要区别在于，验证用于评估不同时期的模型性能，主要用作决定模型是否需要进一步微调或停止训练的标志。

另一方面，一旦最终模型准备好，并且训练性能被认为令人满意，就需要在生产中看到的真实世界数据上进行测试，并检查是否出现分布外误差或数据漂移等问题。这叫做模型评估

如何应用它们

要在数据分析项目中应用模型验证和评估，您需要遵循一些最佳实践和指导原则。首先，将数据分为三组：训练、验证和测试。使用训练集来拟合模型，使用验证集来验证模型并调整参数，使用测试集来评估模型并估计误差。此外，请确保测试集能够代表要泛化到的总体或域，并且在项目结束之前不会使用它。此外，为您的项目选择适当的验证和评估技术和指标；这将取决于数据的类型和大小，以及模型的复杂性和用途。例如，如果您的数据集很小或不平衡，则可能需要使用交叉验证或分层抽样来验证您的模型，并使用考虑类分布或错误成本的指标来评估您的模型。最后，将您的模型与其他模型或基准进行比较。这将帮助您评估其相对性能和价值，确定其优势和劣势，并证明您选择的模型是合理的。

为什么它们很重要

模型验证和评估很重要，因为它们可以帮助您确保模型不仅准确，而且可靠且可推广。通过验证和评估模型，您可以避免常见的陷阱，如过度拟合或拟合不足，并优化模型的性能和有用性。此外，通过验证和评估模型，您还可以向利益相关者、客户或用户传达和展示模型的价值和影响，并让他们对模型的预测和建议充满信心和信任。

模型验证本质上是在开发或训练模型的同时评估模型的性能，通常使用专业知识和验证技术或相关数据来调整参数，防止过度或不足。

另一方面，模型评估是评估模型在独立数据集上的性能，以衡量其泛化和利用能力。

验证是微调，而评估是测试接受度和能力，这两者对于创建可靠的模型都至关重要。

如果没有验证，您将无法相信从训练数据生成的模型是稳健或准确的。如果在部署后不进行持续评估，您将无法确定性能下降的原因，因为模型中的假设不再有效，或者数据已偏离训练集太远。

 

以下是其他需要考虑的事项

这是一个分享不适合前面任何部分的例子、故事或见解的空间。您还想添加什么？

 

目录

• 什么是ML测试？
• ML测试的类型
• ML模型的评估度量
• 如何测试机器学习模型？
• ML测试中的伦理考量
• ML测试的工具和框架

• 结论

   

从让我们的生活更轻松的智能助手到检测医疗状况的复杂算法，机器学习技术的应用引人注目。然而，随着我们越来越依赖这些算法，一个问题出现了：我们如何才能信任它们？

与遵循明确指令的传统软件不同，ML算法从数据中学习，绘制模式并做出决策。这种学习模式虽然高度智能，但也带来了复杂性。如果传统软件出现故障，通常是由于编码错误——一个逻辑错误。但是，当ML模型失败时，可能是由于各种原因：

• •培训数据存在偏差
• •过拟合错误
• •不可预见的变量整合

由于ML模型涉及审批贷款、驾驶自动驾驶汽车或诊断患者等关键决策，因此可能会出现错误。这就是为什么ML测试是每个业务都需要实现的关键过程。它确保ML模型以负责任、准确和合乎道德的方式运行。

什么是ML测试？

机器学习测试是评估和验证机器学习模型性能的过程，以确保其正确性、准确性和稳健性。与主要关注代码功能的传统软件测试不同，ML测试由于ML模型的固有复杂性而包括额外的层。它确保ML模型按预期运行，提供可靠的结果并遵守行业标准。

ML测试的重要性

保持模型准确性

ML模型是根据历史数据进行训练的，其准确性在很大程度上取决于这些数据的质量和相关性。ML模型测试有助于识别预测结果和实际结果之间的错误，使开发人员能够微调模型并提高其准确性。

防止偏差

ML模型中的偏见可能导致不公平或歧视性的结果。彻底的测试可以揭示数据和算法中的偏见，使开发人员能够解决这些问题并创建更公平的模型。

适应不断变化的数据

真实世界的数据在不断演变。ML测试确保模型在引入新数据时保持有效，并随着时间的推移保持其预测能力。

提高可靠性

稳健的测试程序增强了ML系统的可靠性，增强了对其性能的信心，并降低了意外故障的风险。

ML测试的类型

让我们研究一下各种类型的ML测试，每种测试都旨在解决模型性能的特定方面，同时保持简单易懂

组件的单元测试

与传统的软件测试一样，ML中的单元测试侧重于测试ML管道的各个组件。它涉及评估每个步骤的正确性，从数据预处理到特征提取、模型架构和超参数。确保每个构建块按预期运行有助于提高模型的整体可靠性。

数据测试和预处理

输入数据的质量影响ML模型的性能。数据测试包括验证数据的完整性、准确性和一致性。此步骤还包括预处理测试，以确保正确执行数据转换、规范化和清理过程。干净可靠的数据可以带来准确的预测。

交叉验证

交叉验证是一种强大的技术，用于评估ML模型对新的、看不见的数据的泛化能力。它包括将数据集划分为多个子集，在不同的子集上训练模型，并在剩余数据上测试其性能。交叉验证通过重复此过程并对结果求平均值，深入了解模型在不同输入上的潜在性能。

性能指标测试

选择适当的性能指标对于评估模型性能至关重要。准确性、准确度、召回率和F1分数等指标提供了模型运行情况的定量衡量标准。测试这些指标可以确保模型按照预期目标交付结果。

稳健性和对抗性测试

鲁棒性测试包括评估模型处理意外输入或对抗性攻击的能力。对抗性测试在暴露于故意修改的输入以混淆模型时，会明确评估模型的行为。稳健模型在具有挑战性的条件下不太可能做出错误预测。

A/B部署测试

一旦模型准备好进行部署，就可以使用a/B测试。它包括将新的ML模型与现有模型一起部署，并在现实世界中比较它们的性能。A/B测试有助于确保新模型不会引入意外问题，并且性能至少与当前解决方案一样好。

偏差测试

ML模型中的偏见可能导致不公平或歧视性的结果。为了解决这一问题，偏差和公平性测试旨在识别和减轻数据和ML模型预测中的偏差。它确保该模型公平对待所有个人和群体。

ML模型的评估度量

必须依靠评估指标来衡量这些模型的性能和有效性。这些指标为ML模型的性能提供了有价值的见解，有助于对其进行微调和优化，以获得更好的结果。让我们来看看其中的一些指标

精确（Accuracy）

准确性是最直接的衡量标准，衡量正确预测的实例与数据集中总实例的比率。它提供了模型正确性的总体视图。然而，在处理不平衡的数据集时，它可能不是最好的选择，因为其中一个类占另一个类的主导地位。

精确（Precision)

精度关注的是模型做出的积极预测的准确性。它是准确的阳性预测与真阳性和假阳性之和的比率。当假阳性代价高昂或不受欢迎时，精确性是有价值的。

敏感性（Sensitivity）

敏感性，或真阳性率，评估模型捕捉所有阳性实例的能力。它是真阳性与真阳性和假阴性之和的比率。当假阴性的后果显著时，回忆是至关重要的。

特异性（Specificity)

特异性，也称为真负率，评估模型正确识别负实例的能力。这是真阴性与真阴性和假阳性之和的比率。当关注负面预测的表现时，具体性是有价值的。

ROC曲线下面积（AUC-ROC）

AUC-ROC度量有助于解决二进制分类问题。它绘制了真阳性率与假阳性率的关系图，直观地表示了模型区分类别的能力。AUC-ROC值接近1表示模型性能更好。

平均绝对误差

超越分类，MAE是回归任务中使用的度量。它测量预测值和实际值之间的平均绝对差。它让我们知道我们的预测与现实有多远。

均方根误差

与MAE一样，RMSE是一种回归度量，专注于预测值和实际值之间的平均平方差的平方根。它比较小的错误惩罚更大的错误。

ML模型的评估度量

测试ML模型涉及到针对其独特复杂性量身定制的特定策略。让我们看看如何有效地测试机器学习模型，提供可操作的步骤来提高其性能：

了解您的数据

在开始测试之前，深入了解数据集是至关重要的。探索其特点、分布和潜在挑战。这些知识将帮助您设计有效的测试场景并识别潜在的陷阱。

拆分数据

将数据集划分为训练集、验证集和测试集。训练集用于训练模型，验证集帮助微调超参数，测试集评估模型的最终性能。

组件的单元测试

首先测试ML管道的各个组件。这包括检查数据预处理步骤、特征提取方法和模型架构。在将每个组件集成到整个管道中之前，验证它们是否按预期工作。

交叉验证

利用交叉验证来评估模型的泛化能力。应用K-fold交叉验证等技术，将数据集划分为K个子集，对模型进行K次训练和评估，每次使用不同的子集进行验证。

选择评估指标

根据问题的性质选择适当的评估指标。对于分类任务，精确性、准确性、召回率和F1分数是标准的。回归任务通常使用MAE或RMSE等指标。

定期模型监测

由于数据分布的变化或其他因素，机器学习模型可能会随着时间的推移而退化。定期监控已部署的模型，并定期对其进行重新测试，以确保其保持准确性和可靠性。

ML测试中的伦理考量

通过严格的测试和完善ML模型，考虑可能出现的道德影响至关重要。让我们探讨有关ML测试的道德考虑、潜在陷阱以及如何确保测试实践符合道德规则

数据隐私和安全

在测试ML模型时，必须极其小心地处理数据。确保对敏感和个人身份信息进行适当加密，以保护个人隐私。道德测试尊重数据主体的权利，并保护其免受潜在的数据泄露。

公平与偏见

在测试ML模型时，检查他们是否表现出对某些群体的偏见是至关重要的。可以使用工具和技术来衡量和减轻偏见，确保我们的模型公平、公正地对待所有个人。

透明度和可解释性

ML模型可能很复杂，使其决策难以理解。道德测试包括评估模型的透明度和可解释性。用户和利益相关者应该了解模型是如何实现预测的，从而培养信任和问责制。

责任和责任(Accountability and Liability)

如果ML模型做出了有害或错误的预测，谁负责？道德ML测试应解决责任和责任问题。制定明确的指导方针，确定对示范成果负责的各方，并实施机制纠正任何负面影响。

以人为本的设计

ML模型与人类相互作用，因此它们的测试应该反映以人为本的设计原则。在评估模型性能时，考虑最终用户的需求、期望和潜在影响。这种方法确保模型能够增强而不是破坏人类体验。

同意和数据使用

测试通常涉及使用真实世界的数据，其中可能包括个人信息。获得其数据用于测试目的的个人的适当同意。对数据使用保持透明，并确保遵守数据保护法规。

长期影响

ML模型是为进化而设计的。道德测试应考虑模型部署的长期影响，包括随着数据分布的变化，模型可能会如何运行。定期测试和监控可确保模型在其整个生命周期中保持准确和合乎道德。

协作监督

ML测试中的道德考虑不应仅限于开发人员。让不同的利益相关者参与进来，包括伦理学家、法律专家和受影响社区的代表，对潜在的道德挑战提供全面的视角。

ML测试的工具和框架

各种ML测试工具和框架可用于简化和增强测试过程。让我们来看看一些工具和框架，它们可以帮助您有效地驾驭ML测试的复杂性

TensorFlow

TensorFlow由谷歌开发，是最流行的ML测试开源框架之一。它提供了一系列用于构建和测试ML模型的工具。TensorFlow强大的生态系统包括用于生产管道测试的TensorFlow Extended（TFX）、用于机器学习中测试数据的TensorFlow Data Validation，以及用于深入模型评估的TensorFlowModel Analysis。

PyTorch

PyTorch是另一个广泛使用的开源ML框架，以其动态计算图和易用性而闻名。PyTorch提供了用于模型评估、调试和可视化的工具。例如，“torchvision”软件包提供了各种数据集和转换，用于测试和验证计算机视觉模型。

Scikit学习

Scikit-learn是一个通用的Python库，提供数据挖掘、分析和机器学习工具。它包括用于模型评估的各种算法和度量，例如用于超参数调整的交叉验证和网格搜索。

Fairlearn

Fairlearn是一个工具包，旨在评估和缓解ML模型中的公平性和偏见问题。它包括重新加权数据和调整预测以实现公平的算法。Fairlearn可以帮助您测试和解决ML模型中的道德问题。

结论

测试机器学习模型是一个系统和迭代的过程，可以确保您的模型准确可靠地运行。遵循本指南，您可以识别和解决潜在问题，优化性能，并提供符合最高标准的人工智能解决方案。请记住，测试不是一次性事件。这是一个持续的过程，在机器学习模型的整个生命周期中保护其有效性。

默认的Kubernetes配置可能不适合ML工作负载，从而浪费人力和计算机时间。我们展示了一轮故障排除和代码中的两行更改如何使总执行时间加快九倍。

Metaflow基础模型的MLOps

OpenAI的Whisper是一种强大的新多任务处理模型，可以在多种口语中执行多语言语音识别、语音翻译和语言识别。在之前一篇题为《基础模型的MLOps:Whisper和Metaflow》的博客文章中，Eddie Mattia讨论了使用Metaflow运行OpenAI Whisper来转录Youtube视频。它涵盖了Whisper的基本知识，如何编写Metaflow流，还简要介绍了如何在云中大规模运行此类流。尽管这里我们关注的是Whisper，但所有这些工作都可以推广到许多类型的基础模型（例如，请参阅我们关于生产用例的并行化稳定扩散的工作）。

为了部署和运行生产工作负载，许多企业都将目光投向Kubernetes，因为它已经成为在云中运行应用程序的事实方式。其与云无关的API（对用户来说）、资源的声明性语法以及庞大的开源生态系统，使其成为许多用例非常有吸引力的平台。在这一点上，我们决定在Kubernetes上使用Metaflow运行OpenAI Whisper。

然而，开箱即用，系统的性能对于ML工作负载来说可能相当糟糕。但是，通过一点故障排除，我们能够识别瓶颈并显著提高性能。其结果是一个可用于生产、性能足够高的ML工作流，能够跨多个维度进行扩展。

Whisper型号

OpenAI Whisper有多种不同大小的机器学习模型。这些是使用不同的参数集创建的，并支持不同的语言。

考虑一个团队想要评估ML模型的大小、转录时间和输出的实际质量之间的关系的情况。对于一些不同的输入，团队希望使用不同的模型大小运行Whisper并比较结果。Metaflow可以很容易地在这些维度上填充结果，因此您可以在不编写额外代码的情况下就这种权衡做出明智的决定。

对于3个不同的Youtube URL以及评估小型和大型模型，评估结果如下：

Logical block diagram of the steps involved in the Metaflow run

每个圆圈都是Metaflow中的一个步骤。transcript是使用Metaflow的foreach构造为每个URL并行调用的。对于小型和大型模型，每个转录都会做另一个foreach。

实际的转录发生在分别使用Whisper的小型和大型机器学习模型的微小和大型步骤中。

联接步骤执行特定于给定url的任何后处理。加入后步骤可以对输出质量、所花费的时间等进行实际评估。

这方面的源代码可以在这里找到：https://github.com/outerbounds/whisper-metaflow-k8s

对于这篇特别的帖子，我们使用了Youtube频道BBC Learning English的3段视频进行评估。

首先，该流程在具有64GB内存的M1 Macbook Pro上本地运行。这主要是为了确认代码执行正确，并且输出是预期的格式。

多亏了Metaflow，运行流就像执行一样简单：

python3 sixminvideos.py run

这项运行在大约10分钟内完成（见下文），考虑到在此期间并行发生了6种不同的转录，这令人印象深刻。请注意，OpenAI Whisper下载机器学习模型并将其缓存在本地。在这种情况下，这些模型已经在本地缓存。否则，时间会更长。

Timeline view of the Metaflow run on M1 Mac

Kubernetes上带有Metaflow的Whisper模型

让我们在Kubernetes上运行相同的流。有关更多设置和详细信息，请参阅这些说明。在我们的设置中，Kubernetes集群被设置为在AWS上运行，并包括两个m5.8xlarge EC2实例。

在Kubernetes上运行流的最简单方法是运行与上面相同的CLI命令，后跟–with Kubernetes。在后台，Metaflow连接到Kubernetes集群，并运行集群中的每个步骤。因此，使用kubernetes运行流导致每个步骤都在云中运行。

Kubernetes中最小的可执行单元是一个pod。在这种情况下，Metaflow从每个步骤中获取代码，将其放入Linux容器中，并将与该步骤对应的每个任务作为Kubernetes pod运行（一个步骤可能会在foreach中产生多个具有不同输入的任务）。

以下是在Kubernetes上执行的情况：

python3 sixminvideos.py run --with kubernetes

Timeline view of the first Metaflow run on Kubernetes

流程已成功完成。然而，上面的图片显示，它花费了48m15。这几乎比在本地笔记本电脑上运行此流程所需的时间慢了五倍。在云中运行流的承诺是提高性能，而不是降低性能！

流的源代码在两次运行中都是相同的。从步骤的开始和结束时间来看，很明显，Metaflow在两次运行中都正确地编排了步骤。步骤顺序得到了维护，本应并行运行的步骤实际上是并行运行的。

我们知道，M1 Mac上的本地运行和Kubernetes上的运行之间的比较并不完全公平，因为Kubernete中的每个pod都缺乏共享存储。因此，每次pod启动时都会重新下载模型，增加了一些开销。此外，如果包含ffmpeg等依赖项的Docker映像没有缓存在节点上，则需要下载它，从而增加更多的开销。

尽管如此，五倍的放缓感觉并不正确。Kubernetes中是否存在一些错误配置，导致流花费了这么长时间？让我们来看看！

分析Kubernetes中的工作负载性能

让我们更深入地了解这种性能下降的瓶颈是什么。

CPU和内存消耗

在创建pod时，Kubernetes允许用户请求一定数量的内存和CPU资源。这些资源是在创建时为pod保留的。实际使用的内存和CPU数量可能会随着吊舱的使用寿命而变化。此外，根据您的Kubernetes配置，pod实际使用的资源量可能超过请求的数量。然而，当资源超过请求的数量时，并不能保证pod会真正获得资源。

以下图表显示了该流中每个pod请求和使用的资源之间的关系（这些图表是使用集群中运行的Grafana仪表板获得的）。

在下图中，绿线表示pod的资源请求，黄线表示实际的资源使用情况。Y轴显示了吊舱完全利用的CPU内核的数量。

Graph of CPU utilization vs CPU requested by steps in Metaflow

事实证明，这个流中的所有pod都要求1个CPU，但实际上使用了更多，几乎13个内核。

在此图表中，Y轴显示内存请求（绿线）和实际内存使用情况（黄线）。

Graph of Memory utilization vs Memory requested by steps in Metaflow

在内存方面，pod请求4GB的内存，但最终使用了近12GB的内存。

Kubernetes集群包括多个服务器（物理服务器机器、虚拟机、EC2实例等）。这些服务器被称为节点。当一个pod提交给Kubernetes时，它会选择集群中的一个节点来运行该pod。

正如您在下面的stdout屏幕截图中所看到的，该流的所有pod都在同一个节点上运行：ip-10-10-27-207.us-west-2.compute.internal

List of hosts used for running steps in Metaflow

观察

关键问题是，虽然运行能够成功完成，但Kubernetes决定将所有任务安排在同一节点上，从而导致性能不理想。

在下面的图表中，我们可以看到我们集群的两个节点。黄色线所示的节点的CPU利用率约为100%，而绿色节点处于空闲状态。相应地，绿色节点上没有使用内存。

CPU utilization percentage of the node

Memory utilization percentage of the node

在这种情况下，任务能够突破其请求的CPU数量，但由于在同一节点上的共同定位，它们在相同的稀缺资源上竞争。这清楚地证明了经常困扰多租户系统的噪声邻居问题。

令人困惑的是，调度行为取决于集群上的总体负载，因此总执行时间可能会有很大的差异，这取决于系统上同时执行的其他工作负载。像这样的可变性很难调试，而且显然是不可取的，尤其是对于应该在可预测的时间范围内完成的生产工作负载。

像这样的问题在表面上并不是很明显，因为运行最终完成时没有出现错误。这些类型的问题很容易被忽视，导致浪费人力和计算机时间，并增加云成本。

解决性能问题

Metaflow支持为各个步骤提供特定的资源需求。这些需求是作为装饰器写在代码中的。在Kubernetes pod规范中，它们被转换为CPU和内存请求。我们不依赖于机会主义的爆发，而是固定资源需求以反映实际使用情况。

这些微小的步骤可以使用8个vCPU和2GB的内存

大型步骤可以使用22个vCPU和12GB的内存。

因此，Metaflow流被相应地设置并再次运行。

...

@kubernetes(cpu=8, memory=2048, image=”https://public.ecr.aws/outerbounds/whisper-metaflow:latest”)
@step
def tiny(self):
print(f"*** transcribing {self.input} with Whisper tiny model ***")
cmd = 'python3 /youtube_video_transcriber.py ' + self.input + " tiny"
p = subprocess.run(shlex.split(cmd), capture_output=True)
json_result = p.stdout.decode()
print(json_result)
self.result = json.loads(json_result)
self.next(self.join)

@kubernetes(cpu=22, memory=12288, image=”https://public.ecr.aws/outerbounds/whisper-metaflow:latest”)
@step
def large(self):
print(f"*** transcribing {self.input} with Whisper large model ***")
cmd = 'python3 /youtube_video_transcriber.py ' + self.input + " large"
p = subprocess.run(shlex.split(cmd), capture_output=True)
json_result = p.stdout.decode()
print(json_result)
self.result = json.loads(json_result)
self.next(self.join)

...

通过这种设置，流量在4m58s内完成

Timeline view of the efficient Metaflow run on Kubernetes

从节点CPU利用率可以看出，这一次，任务在多个节点上运行。具体来说，CPU并没有固定在100%。

Graph of CPU utilization of the nodes in Kubernetes

结论

经过仔细观察，我们能够将之前48分钟的完成时间减少到大约5分钟，只需调整两个资源规格，就可以将性能提高9倍。

运行的优化有很多好处，包括能够进行更多的实验。现在可以通过添加更多并行步骤来测试各种模型大小，而不是仅限于测试小型和大型模型，每个步骤都将作为单独的pod运行，并拥有自己的专用资源。此外，流现在可以转录更多的视频，而不是仅限于3个。

接下来的步骤

如果您想在自己的环境中部署Metaflow和Kubernetes，可以使用我们的开源部署模板轻松完成。您可以根据需要自定义模板，并将它们连接到现有的监控解决方案中，这样您就可以如上所述调试问题。如果您有任何问题，我们很乐意在我们的Slack频道为您提供帮助。

如果您想自己使用Metaflow玩Whisper模型，您可以在我们托管的Metaflow Sandbox中免费轻松完成，该Sandbox配有托管的Kubernetes集群，无需基础设施专业知识！我们专门为Whisper提供了一个预先制作的工作空间，包含所有需要的依赖项。只需点击Metaflow沙盒主页上的Whisper工作区。

最后，如果您需要一个全栈环境来处理严重的ML工作负载，但您宁愿避免调试Kubernetes和手动优化工作负载，那么可以看看Outerbounds平台。它提供了一个定制的Kubernetes集群，经过优化以避免这里描述的问题，部署在您的云帐户上，完全由我们管理。

 

我们以Databricks的Dolly为代表，展示了如何使用Metaflow轻松地训练自己的大型语言模型（LLM）。通过使用Metaflow处理LLM，您可以将它们合并到现有的生产项目中，超越概念验证。

在我们上一篇文章《大型语言模型和ML基础设施堆栈的未来》中，我们展示了关于ML驱动的应用程序的未来的示意图，这些应用程序无缝地混合了基础模型和传统ML：

本文深入探讨了一个特定的技术主题：今天如何使用开源Metaflow来微调开源基础模型？作为一个代表性的例子，我们将使用Databricks最近发布的Dolly模型，但这里介绍的方法也适用于其他当前和许多未来的模型。

训练Dolly的源代码可以作为一组简单的Python脚本免费提供，那么使用Metaflow来编排训练有什么意义呢？原因很简单：如上所述，在一个LLM被视为支持复杂应用程序的其他模型之一的世界里，您希望利用Metaflow的常见优势：

• 能够为工作使用最佳建模方法和库，支持围绕LLM快速发展的库生态系统，但以稳定、安全和可生产的方式使用它们。
• 支持各种应用程序的灵活部署模式。
• 内置数据、代码和模型的版本控制，这对于需要密切跟踪其行为的复杂模型（如LLM）尤其重要。
• 轻松协调本地和生产中的工作流序列，使其成为整个系统架构的骨干。
• 无缝支持可扩展的云计算，包括强大的GPU实例。
• 对数据的一致且快速的访问，即使是大量的数据。

考虑到这一动机，让我们深入了解技术细节。

开源基金会模型简史

在过去的六个月里，基于一些基础模型，出现了一个由各种微调LLM组成的多样化花园。这种快速发展的驱动因素是，使用云TPU或GPU从头开始训练一个新的基础模型的成本可能在30万至100万美元之间。相比之下，对基础模型的专门版本进行微调要便宜很多数量级。例如，本文中使用的Dolly模型可以在几个小时内进行训练，成本约为500-1000美元。

下图说明了这些模型的庞大谱系：

Source: github.com/michaelthwan/llm_family_chart

自最初的Dolly以来，Databricks已经推出了Dolly 2.0，它基于不同的模型，并通过使用内部策划的微调数据集使Dolly 2.0在商业上可用。两个Dolly版本都源于Eleuther AI团队构建的源模型。在第一个Dolly的情况下，60亿参数模型被称为GPT-J，其中Dolly 2.0源于120亿参数模型pythia。

最近，Stability.ai发布了StableLM，这是另一个基础语言模型，与Dolly利用的GPT-J模型类似。随着Dolly训练GPT-J，现在已经有几个模型可以开始为更具体的任务微调StableLM。

这些例子突出了LLM工作流中的最新浪潮，它们围绕着指令调优方法，使模型越来越适合提示，正如ChatGPT所推广的那样。当然，这并不是LLM的唯一用例，但它对基于问答的应用程序非常有用。

随着人们探索扩展这些工作流程的新技术和方法，指令调整模型的改进正处于狂野的西方时代。无论如何，这些模型的高周转率表明了了解这些模型来自何处以及组织现在可以做出哪些基础设施选择以支持任何这些新的建模方法的重要性。

Dolly的供应链

Dolly的用户体验表明，机器学习社区，特别是HuggingFace等服务，在让大量开发人员可以访问复杂的建模API方面取得了多大进展。我们首先加载预训练的源模型：

model = transformers.AutoModelForCausalLM.
from_pretrained(“EleutherAI/gpt-j-6B”)

然后，Dolly使用HuggingFace Trainer API对一个名为Alpaca的指令调优数据集进行训练，该数据集由斯坦福大学tatsu实验室的一个团队管理。对于本文来说，最重要的是要认识到，该数据是通过提示text-davinci-003模型，使用OpenAI API生成的。这意味着我们正在从GPT-J模型的原始状态训练模型，并教它从OpenAI中提取较大的text-davinci-003模型的行为，并在较小的Dolly模型中模拟其指令跟随功能。最终的数据集包含52K个指令调优示例。

请注意，由于对Alpaca数据集的依赖，该数据集具有Creative Commons NonCommercial（CC BY-NC 4.0）许可证，您不能在商业应用程序中使用此示例或Dolly版本1，需要用您自己的指令调优数据集替换Alpaca数据依赖，或者使用具有免费商业使用许可证的东西。

使用Metaflow训练Dolly

为了重现Databricks团队的实现，并证明Metaflow对LLM用例的适用性，我们在各种上下文中训练了Dolly。您可以在此存储库中找到源代码。

我们创建了一个简单的元流，它由三个步骤组成，开始、训练和结束。Metaflow的超能力之一是，我们能够在个人GPU工作站上本地快速迭代流。我们遵循了现有的Dolly脚本，并使用微软的deepspeed库在许多GPU上分发培训。Deepspeed与PyTorch和HuggingFace代码紧密集成，因此这是一种可以用于训练大型深度学习模型的通用模式。

我们的本地工作站没有多个GPU，所以为了测试分布式训练，我们注释了步骤@kubernetes(gpu=4)在具有多个gpu的云实例上执行训练步骤。从概念上讲，流程看起来是这样的：

在源代码中，黄色方框的核心部分如下所示：

...
    @kubernetes(cpu=32, gpu=4, memory=128000)
    @step
    def train(self):
       ...
       subprocess.run(
            [
                “deepspeed”, 
                “–num_gpus=%d” % N_GPU, 
                “–module”, MODEL_TRAINING_SCRIPT, 
                “–deepspeed”, ds_config_file.name,
                “–epochs”, “1”,
                “–local-output-dir”, self.local_output_dir,
                “–per-device-train-batch-size”, self.batch_size,
                “–per-device-eval-batch-size”, self.batch_size,
                “–lr”, self.learning_rate
            ],
            check=True
        )
# push model to S3

当涉及到代码时，这就是训练模型所需要的全部内容！

但它真的有效吗？

当你开始运行流时，它会很高兴地开始在一个大型GPU实例上处理数据，并在训练过程中沉默数小时。

特别是对于这样一个新的实验项目，我们不确定深度速度设置是否正确工作，是否有效地利用了所有GPU。为了解决这种常见情况，最近我们创建了一个Metaflow卡来分析GPU的使用情况。要使用它，请将gpu_profile.py放在流文件旁边，并在代码中添加以下行：

...
    @kubernetes(cpu=X, gpu=Y, memory=Z)
    @gpu_profile(interval=1)
    @step
    def train(self):
...

Metaflow任务GPU探查器向我们展示了一些东西，例如哪些NVIDIA设备在实例上可见，它们是如何连接的，最重要的是，它们在模型训练作业的整个生命周期中是如何使用的。

GPU探查器会自动将结果记录到Metaflow卡中，因此您可以在Metaflow UI（或笔记本）中方便地查看的报告中使用建模指标和其他实验跟踪数据来组织和版本化这些结果。卡片在实验过程中特别有用，因为它们永久地连接到生成卡片的运行中，因此您可以在自动版本化的代码和与实验相关的数据的上下文中轻松地观察过去的性能。

以下是一张示例卡，显示了训练Dolly时代的GPU处理器和内存利用率：

看到这些图表让我们有足够的信心相信GPU正在执行有用的工作。

常见的基础设施问题

假设您已经为Metafow设置了基础设施，您可以运行上面的Metaflow流来自己训练Dolly。您可以使用AWS Batch或Kubernetes来重现上述结果，它们可以方便地与所有主要云一起工作。或者，如果你想完全避免基础设施方面的麻烦，你可以依赖Outerbounds平台。

在我们的初始测试中，我们使用AWS一个p3dn.24xlarge EC2实例来训练Dolly一个历元。这个进程运行的实例有8个V100 GPU，每个GPU都有32GB的内存。我们使用了AWS深度学习AMI，能够在3小时15分钟内运行一个历元的模型。这大约花了100美元。由于AWS上的p4实例不可用，我们还在Corewave节点上运行了相同的软件设置，该节点具有3个A100 GPU，每个GPU具有80GB内存。我们对这个模型进行了10个时期的训练，大约花了30个小时。这大约花了200美元。

除了与寻找足够大的GPU实例来运行代码有关的头痛问题外，谨慎管理依赖关系至关重要，这是深度学习中一个无声的生产力杀手。例如，当使用NVIDIA GPU时，在数据科学层工作时，CUDA驱动程序和CUDA工具包组件（如NVCC编译器）之间的不对齐可能会导致流中断调试周期。我们发现Dolly使用以下组合：

• Ubuntu 20.04 or 22.04
• NVIDIA driver version 515.105.01
• CUDA Version >= 11.1 and <= 11.8

值得庆幸的是，无论需要环境的任务是在工作站上本地运行，还是在计算集群中远程运行，开源Metaflow和Outerbounds平台都可以轻松地对环境进行版本设置。

评价

最后，有了我们所有的基础设施，我们能够开始探索Dolly的语言和推理能力的极限。Dolly可以执行一系列令人惊讶的任务，包括文本生成、头脑风暴和开放式问答。

正如Databricks在Dolly v1 HuggingFace模型卡中所指出的那样，“Dolly的定性行为与基础模型有很大不同”，尽管“Dolly[得分]仅略好于其基础模型GPT-J-6B[在常见LLM评估基准上]”。验证Databricks的上述说法很有启发性，因为我们观察到，当我们要求模型在训练的不同阶段生成对一组常见指令的响应时，它的响应往往会发生变化。

例如，我们要求模型“写一个关于一个人的故事，他因为被决策树缠住而看不到随机森林”，看看它如何处理创造性的讲故事风格的提示。请注意，随着训练越来越多，该模型在回答中开始强调指令中的“写故事”部分，似乎在解释一个有点开放和模糊的提示时变得更好了。

Epoch	Sample Response
1	When people think of random forests, they often think of the trees being randomly selected from a dataset and being used to make predictions. What they may not know is that when a random forest is built, each tree is created with a rule to determine the best split for a given feature.
5	Anil was lost in a thick forest of decision trees. Every step he took felt like he was forcing his way through an endless series of obstacles. He had been walking for hours, and he was still no closer to finding the trail he had been following. His only hope was that eventually he would stumble upon the clearing that had caused his vision to fail him earlier.
10	John was an engineer who couldn’t get past the first layer of decision trees. He had worked so hard to understand the data, but something was just wrong with the random forest he was seeing. He worked his way deeper and deeper into the forest, but there were just too many branches and too many combinations of variables that he didn’t understand. John was completely lost, unable to progress any further and in need of a boost to get him out. That’s when he discovered the random forest again, and it gave him the inspiration he needed to understand the data.

这个例子说明了我们的一个主要定性观察结果，即整个训练过程中响应的演变表明，随着训练的增加，模型开始编写更详细和详细的响应，与许多人在ChatGPT等产品中熟悉的GPT模型更相似。这并不奇怪，因为我们已经讨论过，我们正在训练的Alpaca数据集是通过从OpenAI查询GPT模型生成的！这就是正在进行的蒸馏过程。

下一步怎么办

要使用Metaflow训练Dolly，您可以在此处找到我们的存储库。此外，您可以在任何gpu工作流中使用新的@gpu_profile 装饰器。我们很乐意听到您对此的反馈，以便我们能够进一步开发该功能。

如果你喜欢这篇文章，你可能会喜欢我们之前关于基础模型的帖子：使用Stable Diffusion的图像生成和使用Whisper的文本到语音翻译，以及你可能会遇到的基础设施问题。

如果您在开始使用Metaflow和/或试验基础模型和LLM方面需要帮助，请加入Metaflow Slack中的数千名其他ML工程师、数据科学家和平台工程师。

tl；dr Metaflow现在是开源的！从metaflow.org开始。

Netflix将数据科学应用于公司数百个用例，包括优化内容交付和视频编码。Netflix的数据科学家喜欢我们的文化，这种文化使他们能够自主工作，并利用自己的判断独立解决问题。我们希望我们的数据科学家保持好奇心，并承担可能对业务产生重大影响的明智风险。

大约两年前，我们新成立的机器学习基础设施团队开始问我们的数据科学家一个问题：“作为网飞的数据科学家，最难的事情是什么？”我们期待听到与大规模数据和模型相关的答案，也许还有与现代GPU相关的问题。相反，我们听到了一些项目的故事，在这些项目中，第一个版本的生产花费了惊人的时间——主要是因为与软件工程相关的平凡原因。我们听到了许多关于数据访问和基本数据处理困难的故事。我们参加了一些会议，数据科学家与他们的利益相关者讨论了如何在不影响生产的情况下最好地版本化不同版本的模型。我们看到了数据科学家对现代现成的机器学习库是多么兴奋，但我们也看到了这些库作为依赖项随意包含在生产工作流中时所引起的各种问题。

我们意识到，数据科学家想要做的几乎所有事情在技术上都是可行的，但没有什么是足够容易的。因此，作为一个机器学习基础设施团队，我们的工作不会主要是实现新的技术壮举。相反，我们应该让常见的操作变得如此简单，以至于数据科学家甚至不会意识到它们以前很难。我们将专注于通过狂热地以人为中心来提高数据科学家的生产力。

我们如何才能提高数据科学家的生活质量？以下图片开始出现：

我们的数据科学家喜欢能够为他们的项目选择最佳建模方法的自由。他们知道特征工程对许多模型至关重要，所以他们希望控制模型输入和特征工程逻辑。在许多情况下，数据科学家非常渴望在生产中拥有自己的模型，因为这使他们能够更快地对模型进行故障排除和迭代。

另一方面，很少有数据科学家对数据仓库、训练和评分模型的计算平台或工作流调度器的性质有强烈的感觉。从他们的角度来看，这些基础组件最好应该“发挥作用”。如果他们失败了，那么错误消息在他们的工作环境中应该是清晰易懂的。

一个关键的观察结果是，我们的大多数数据科学家都不反对编写Python代码。事实上，简单明了的Python正在迅速成为数据科学的通用语言，因此使用Python比使用特定领域的语言更可取。数据科学家希望保留使用任意、惯用的Python代码来表达业务逻辑的自由，就像他们在Jupyter笔记本上所做的那样。然而，他们不想花太多时间思考对象层次结构、打包问题或处理与他们的工作无关的晦涩API。基础设施应该允许他们行使作为数据科学家的自由，但它应该提供足够的护栏和脚手架，这样他们就不必太担心软件架构。

Metaflow简介

这些观察激发了Metaflow，这是我们以人为中心的数据科学框架。在过去的两年里，Metaflow在Netflix内部被用于构建和管理从自然语言处理到运筹学的数百个数据科学项目。

从设计上讲，Metaflow是一个看似简单的Python库：

数据科学家可以将他们的工作流程构建为步骤的有向非循环图，如上所述。这些步骤可以是任意的Python代码。在这个假设的例子中，流程并行训练一个模型的两个版本，并选择得分最高的一个。

从表面上看，这似乎并不多。有许多现有的框架，如ApacheAirflow或Luigi，它们允许执行由任意Python代码组成的DAG。魔鬼在于Metaflow的许多精心设计的细节：例如，请注意在上面的示例中，数据和模型是如何作为普通Python实例变量存储的。即使代码在分布式计算平台上执行，它们也能工作。由于Metaflow内置的内容寻址工件存储，Metaflow默认支持分布式计算平台。在许多其他框架中，工件的加载和存储留给用户做练习，这迫使他们决定什么应该持久化，什么不应该持久化。元流消除了这种认知开销。

Metaflow充满了这样以人为中心的细节，所有这些都旨在提高数据科学家的生产力。要全面了解Metaflow的所有功能，请查看我们在docs.Metaflow.org上的文档。

亚马逊网络服务上的Metaflow

Netflix的数据仓库包含数百PB的数据。虽然在Metaflow上运行的典型机器学习工作流只涉及这个仓库的一小部分，但它仍然可以处理数TB的数据。

Metaflow是一个云原生框架。它通过设计利用了云的弹性——无论是在计算还是存储方面。多年来，Netflix一直是亚马逊网络服务（AWS）的最大用户之一，我们在处理云，尤其是AWS方面积累了丰富的运营经验和专业知识。对于开源版本，我们与AWS合作，在Metaflow和各种AWS服务之间提供无缝集成。

Metaflow具有内置功能，可以自动快照Amazon S3中的所有代码和数据，这是我们内部Metaflow设置的一个关键价值主张。这为我们提供了一个全面的版本控制和实验跟踪解决方案，而无需任何用户干预，这是任何生产级机器学习基础设施的核心。

此外，Metaflow还捆绑了一个高性能S3客户端，该客户端可以加载高达10Gbps的数据。该客户端在我们的用户中非常受欢迎，他们现在可以以比以前快一个数量级的速度将数据加载到工作流中，从而实现更快的迭代周期。

对于通用数据处理，Metaflow与AWS Batch集成，后者是AWS提供的一个托管的、基于容器的计算平台。用户可以通过在代码中添加一行代码来受益于可无限扩展的计算集群：@batch。对于训练机器学习模型，除了编写自己的函数外，用户还可以选择使用AWS Sagemaker，它提供各种模型的高性能实现，其中许多模型支持分布式训练。

Metaflow通过我们的@conda decorator支持所有常见的现成机器学习框架，这允许用户安全地指定其步骤的外部依赖项。@conda decorator冻结了执行环境，无论是在本地执行还是在云中执行，都能很好地保证再现性。

有关更多详细信息，请阅读本页关于Metaflow与AWS的集成。

从原型到生产

开箱即用，Metaflow提供一流的本地开发体验。它允许数据科学家在笔记本电脑上快速开发和测试代码，类似于任何Python脚本。如果您的工作流支持并行，Metaflow将利用开发机器上所有可用的CPU核心。

我们鼓励用户尽快将工作流程部署到生产中。在我们的案例中，“生产”意味着一个高度可用的集中式DAG调度器Meson，用户可以在其中导出他们的Metaflow运行，以便通过单个命令执行。这使他们能够通过定期快速更新数据来开始测试工作流程，这是一种非常有效的方法来发现模型中的错误和问题。由于Meson没有开源版本，我们正在努力提供与AWS Step Functions类似的集成，这是一种高度可用的工作流调度器。

在像Netflix这样的复杂商业环境中，有很多方法可以使用数据科学工作流程的结果。通常，最终结果被写入一个表，由仪表板使用。有时，生成的模型被部署为微服务，以支持实时推理。链接工作流以使工作流的结果被另一个工作流使用也是很常见的。Metaflow支持所有这些模式，尽管其中一些功能在开源版本中还不可用。

在检查结果时，Metaflow附带了一个笔记本友好的客户端API。我们的大多数数据科学家都是Jupyter笔记本电脑的重度用户，因此我们决定将UI工作重点放在与笔记本电脑的无缝集成上，而不是提供一刀切的Metaflow UI。我们的数据科学家可以在笔记本电脑中构建自定义模型UI，从Metaflow中获取工件，从而提供关于每个模型的正确信息。具有开源Metaflow的AWS Sagemaker笔记本电脑也有类似的体验。

Metaflow入门

Metaflow已经在Netflix内部被广泛采用，今天，我们正在将Metaflow作为一个开源项目提供。

我们希望我们对数据科学家自主性和生产力的愿景也能在Netflix之外引起共鸣。我们欢迎您尝试Metaflow，开始在您的组织中使用它，并参与其开发。

您可以在metaflow.org上找到项目主页，在github.com/Netflix/metaflow上找到代码。metaflow在docs.metaflow上有全面的文档。最快的入门方法是遵循我们的教程。如果你想在动手之前了解更多，你可以观看关于Metaflow的高级别演示，或者更深入地了解Metaflow的内部。

 

PyTorch、TensorFlow和JAX的最先进的机器学习。

🤗 Transformers提供了API和工具，可以轻松下载和训练最先进的预训练模型。使用预训练的模型可以降低计算成本和碳足迹，并为从头开始训练模型节省所需的时间和资源。这些模型支持不同模式的常见任务，例如：

• 📝 自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多选和文本生成。
• 🖼️ 计算机视觉：图像分类、物体检测和分割。
• 🗣️ 音频：自动语音识别和音频分类。
• 🐙 多模式：表格问答、光学字符识别、扫描文档中的信息提取、视频分类和视觉问答。
• 🤗 Transformers支持PyTorch、TensorFlow和JAX之间的框架互操作性。这提供了在模型生命的每个阶段使用不同框架的灵活性；在一个框架中用三行代码训练模型，并在另一个框架中将其加载以进行推理。模型也可以导出为ONNX和TorchScript等格式，以便在生产环境中进行部署。

 

Supported models

1. ALBERT (from Google Research and the Toyota Technological Institute at Chicago) released with the paper ALBERT: A Lite BERT for Self-supervised Learning of Language Representations, by Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut.
2. ALIGN (from Google Research) released with the paper Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision by Chao Jia, Yinfei Yang, Ye Xia, Yi-Ting Chen, Zarana Parekh, Hieu Pham, Quoc V. Le, Yunhsuan Sung, Zhen Li, Tom Duerig.
3. AltCLIP (from BAAI) released with the paper AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities by Chen, Zhongzhi and Liu, Guang and Zhang, Bo-Wen and Ye, Fulong and Yang, Qinghong and Wu, Ledell.
4. Audio Spectrogram Transformer (from MIT) released with the paper AST: Audio Spectrogram Transformer by Yuan Gong, Yu-An Chung, James Glass.
5. BART (from Facebook) released with the paper BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension by Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov and Luke Zettlemoyer.
6. BARThez (from École polytechnique) released with the paper BARThez: a Skilled Pretrained French Sequence-to-Sequence Model by Moussa Kamal Eddine, Antoine J.-P. Tixier, Michalis Vazirgiannis.
7. BARTpho (from VinAI Research) released with the paper BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese by Nguyen Luong Tran, Duong Minh Le and Dat Quoc Nguyen.
8. BEiT (from Microsoft) released with the paper BEiT: BERT Pre-Training of Image Transformers by Hangbo Bao, Li Dong, Furu Wei.
9. BERT (from Google) released with the paper BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding by Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova.
10. BERT For Sequence Generation (from Google) released with the paper Leveraging Pre-trained Checkpoints for Sequence Generation Tasks by Sascha Rothe, Shashi Narayan, Aliaksei Severyn.
11. BERTweet (from VinAI Research) released with the paper BERTweet: A pre-trained language model for English Tweets by Dat Quoc Nguyen, Thanh Vu and Anh Tuan Nguyen.
12. BigBird-Pegasus (from Google Research) released with the paper Big Bird: Transformers for Longer Sequences by Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed.
13. BigBird-RoBERTa (from Google Research) released with the paper Big Bird: Transformers for Longer Sequences by Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed.
14. BioGpt (from Microsoft Research AI4Science) released with the paper BioGPT: generative pre-trained transformer for biomedical text generation and mining by Renqian Luo, Liai Sun, Yingce Xia, Tao Qin, Sheng Zhang, Hoifung Poon and Tie-Yan Liu.
15. BiT (from Google AI) released with the paper Big Transfer (BiT): General Visual Representation Learning by Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Joan Puigcerver, Jessica Yung, Sylvain Gelly, Neil Houlsby.
16. Blenderbot (from Facebook) released with the paper Recipes for building an open-domain chatbot by Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, Jason Weston.
17. BlenderbotSmall (from Facebook) released with the paper Recipes for building an open-domain chatbot by Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, Jason Weston.
18. BLIP (from Salesforce) released with the paper BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation by Junnan Li, Dongxu Li, Caiming Xiong, Steven Hoi.
19. BLIP-2 (from Salesforce) released with the paper BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models by Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi.
20. BLOOM (from BigScience workshop) released by the BigScience Workshop.
21. BORT (from Alexa) released with the paper Optimal Subarchitecture Extraction For BERT by Adrian de Wynter and Daniel J. Perry.
22. BridgeTower (from Harbin Institute of Technology/Microsoft Research Asia/Intel Labs) released with the paper BridgeTower: Building Bridges Between Encoders in Vision-Language Representation Learning by Xiao Xu, Chenfei Wu, Shachar Rosenman, Vasudev Lal, Wanxiang Che, Nan Duan.
23. ByT5 (from Google Research) released with the paper ByT5: Towards a token-free future with pre-trained byte-to-byte models by Linting Xue, Aditya Barua, Noah Constant, Rami Al-Rfou, Sharan Narang, Mihir Kale, Adam Roberts, Colin Raffel.
24. CamemBERT (from Inria/Facebook/Sorbonne) released with the paper CamemBERT: a Tasty French Language Model by Louis Martin, Benjamin Muller, Pedro Javier Ortiz Suárez*, Yoann Dupont, Laurent Romary, Éric Villemonte de la Clergerie, Djamé Seddah and Benoît Sagot.
25. CANINE (from Google Research) released with the paper CANINE: Pre-training an Efficient Tokenization-Free Encoder for Language Representation by Jonathan H. Clark, Dan Garrette, Iulia Turc, John Wieting.
26. Chinese-CLIP (from OFA-Sys) released with the paper Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese by An Yang, Junshu Pan, Junyang Lin, Rui Men, Yichang Zhang, Jingren Zhou, Chang Zhou.
27. CLAP (from LAION-AI) released with the paper Large-scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation by Yusong Wu, Ke Chen, Tianyu Zhang, Yuchen Hui, Taylor Berg-Kirkpatrick, Shlomo Dubnov.
28. CLIP (from OpenAI) released with the paper Learning Transferable Visual Models From Natural Language Supervision by Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever.
29. CLIPSeg (from University of Göttingen) released with the paper Image Segmentation Using Text and Image Prompts by Timo Lüddecke and Alexander Ecker.
30. CodeGen (from Salesforce) released with the paper A Conversational Paradigm for Program Synthesis by Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, Caiming Xiong.
31. Conditional DETR (from Microsoft Research Asia) released with the paper Conditional DETR for Fast Training Convergence by Depu Meng, Xiaokang Chen, Zejia Fan, Gang Zeng, Houqiang Li, Yuhui Yuan, Lei Sun, Jingdong Wang.
32. ConvBERT (from YituTech) released with the paper ConvBERT: Improving BERT with Span-based Dynamic Convolution by Zihang Jiang, Weihao Yu, Daquan Zhou, Yunpeng Chen, Jiashi Feng, Shuicheng Yan.
33. ConvNeXT (from Facebook AI) released with the paper A ConvNet for the 2020s by Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feichtenhofer, Trevor Darrell, Saining Xie.
34. ConvNeXTV2 (from Facebook AI) released with the paper ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders by Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon, Saining Xie.
35. CPM (from Tsinghua University) released with the paper CPM: A Large-scale Generative Chinese Pre-trained Language Model by Zhengyan Zhang, Xu Han, Hao Zhou, Pei Ke, Yuxian Gu, Deming Ye, Yujia Qin, Yusheng Su, Haozhe Ji, Jian Guan, Fanchao Qi, Xiaozhi Wang, Yanan Zheng, Guoyang Zeng, Huanqi Cao, Shengqi Chen, Daixuan Li, Zhenbo Sun, Zhiyuan Liu, Minlie Huang, Wentao Han, Jie Tang, Juanzi Li, Xiaoyan Zhu, Maosong Sun.
36. CPM-Ant (from OpenBMB) released by the OpenBMB.
37. CTRL (from Salesforce) released with the paper CTRL: A Conditional Transformer Language Model for Controllable Generation by Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong and Richard Socher.
38. CvT (from Microsoft) released with the paper CvT: Introducing Convolutions to Vision Transformers by Haiping Wu, Bin Xiao, Noel Codella, Mengchen Liu, Xiyang Dai, Lu Yuan, Lei Zhang.
39. Data2Vec (from Facebook) released with the paper Data2Vec: A General Framework for Self-supervised Learning in Speech, Vision and Language by Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu, Michael Auli.
40. DeBERTa (from Microsoft) released with the paper DeBERTa: Decoding-enhanced BERT with Disentangled Attention by Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen.
41. DeBERTa-v2 (from Microsoft) released with the paper DeBERTa: Decoding-enhanced BERT with Disentangled Attention by Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen.
42. Decision Transformer (from Berkeley/Facebook/Google) released with the paper Decision Transformer: Reinforcement Learning via Sequence Modeling by Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, Igor Mordatch.
43. Deformable DETR (from SenseTime Research) released with the paper Deformable DETR: Deformable Transformers for End-to-End Object Detection by Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, Jifeng Dai.
44. DeiT (from Facebook) released with the paper Training data-efficient image transformers & distillation through attention by Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Hervé Jégou.
45. DePlot (from Google AI) released with the paper DePlot: One-shot visual language reasoning by plot-to-table translation by Fangyu Liu, Julian Martin Eisenschlos, Francesco Piccinno, Syrine Krichene, Chenxi Pang, Kenton Lee, Mandar Joshi, Wenhu Chen, Nigel Collier, Yasemin Altun.
46. DETA (from The University of Texas at Austin) released with the paper NMS Strikes Back by Jeffrey Ouyang-Zhang, Jang Hyun Cho, Xingyi Zhou, Philipp Krähenbühl.
47. DETR (from Facebook) released with the paper End-to-End Object Detection with Transformers by Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, Sergey Zagoruyko.
48. DialoGPT (from Microsoft Research) released with the paper DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation by Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, Bill Dolan.
49. DiNAT (from SHI Labs) released with the paper Dilated Neighborhood Attention Transformer by Ali Hassani and Humphrey Shi.
50. DistilBERT (from HuggingFace), released together with the paper DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter by Victor Sanh, Lysandre Debut and Thomas Wolf. The same method has been applied to compress GPT2 into DistilGPT2, RoBERTa into DistilRoBERTa, Multilingual BERT into DistilmBERT and a German version of DistilBERT.
51. DiT (from Microsoft Research) released with the paper DiT: Self-supervised Pre-training for Document Image Transformer by Junlong Li, Yiheng Xu, Tengchao Lv, Lei Cui, Cha Zhang, Furu Wei.
52. Donut (from NAVER), released together with the paper OCR-free Document Understanding Transformer by Geewook Kim, Teakgyu Hong, Moonbin Yim, Jeongyeon Nam, Jinyoung Park, Jinyeong Yim, Wonseok Hwang, Sangdoo Yun, Dongyoon Han, Seunghyun Park.
53. DPR (from Facebook) released with the paper Dense Passage Retrieval for Open-Domain Question Answering by Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, and Wen-tau Yih.
54. DPT (from Intel Labs) released with the paper Vision Transformers for Dense Prediction by René Ranftl, Alexey Bochkovskiy, Vladlen Koltun.
55. EfficientFormer (from Snap Research) released with the paper EfficientFormer: Vision Transformers at MobileNetSpeed by Yanyu Li, Geng Yuan, Yang Wen, Ju Hu, Georgios Evangelidis, Sergey Tulyakov, Yanzhi Wang, Jian Ren.
56. EfficientNet (from Google Brain) released with the paper EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks by Mingxing Tan, Quoc V. Le.
57. ELECTRA (from Google Research/Stanford University) released with the paper ELECTRA: Pre-training text encoders as discriminators rather than generators by Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning.
58. EncoderDecoder (from Google Research) released with the paper Leveraging Pre-trained Checkpoints for Sequence Generation Tasks by Sascha Rothe, Shashi Narayan, Aliaksei Severyn.
59. ERNIE (from Baidu) released with the paper ERNIE: Enhanced Representation through Knowledge Integration by Yu Sun, Shuohuan Wang, Yukun Li, Shikun Feng, Xuyi Chen, Han Zhang, Xin Tian, Danxiang Zhu, Hao Tian, Hua Wu.
60. ErnieM (from Baidu) released with the paper ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora by Xuan Ouyang, Shuohuan Wang, Chao Pang, Yu Sun, Hao Tian, Hua Wu, Haifeng Wang.
61. ESM (from Meta AI) are transformer protein language models. ESM-1b was released with the paper Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences by Alexander Rives, Joshua Meier, Tom Sercu, Siddharth Goyal, Zeming Lin, Jason Liu, Demi Guo, Myle Ott, C. Lawrence Zitnick, Jerry Ma, and Rob Fergus. ESM-1v was released with the paper Language models enable zero-shot prediction of the effects of mutations on protein function by Joshua Meier, Roshan Rao, Robert Verkuil, Jason Liu, Tom Sercu and Alexander Rives. ESM-2 and ESMFold were released with the paper Language models of protein sequences at the scale of evolution enable accurate structure prediction by Zeming Lin, Halil Akin, Roshan Rao, Brian Hie, Zhongkai Zhu, Wenting Lu, Allan dos Santos Costa, Maryam Fazel-Zarandi, Tom Sercu, Sal Candido, Alexander Rives.
62. FLAN-T5 (from Google AI) released in the repository google-research/t5x by Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Sharan Narang, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, and Jason Wei
63. FLAN-UL2 (from Google AI) released in the repository google-research/t5x by Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Sharan Narang, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, and Jason Wei
64. FlauBERT (from CNRS) released with the paper FlauBERT: Unsupervised Language Model Pre-training for French by Hang Le, Loïc Vial, Jibril Frej, Vincent Segonne, Maximin Coavoux, Benjamin Lecouteux, Alexandre Allauzen, Benoît Crabbé, Laurent Besacier, Didier Schwab.
65. FLAVA (from Facebook AI) released with the paper FLAVA: A Foundational Language And Vision Alignment Model by Amanpreet Singh, Ronghang Hu, Vedanuj Goswami, Guillaume Couairon, Wojciech Galuba, Marcus Rohrbach, and Douwe Kiela.
66. FNet (from Google Research) released with the paper FNet: Mixing Tokens with Fourier Transforms by James Lee-Thorp, Joshua Ainslie, Ilya Eckstein, Santiago Ontanon.
67. FocalNet (from Microsoft Research) released with the paper Focal Modulation Networks by Jianwei Yang, Chunyuan Li, Xiyang Dai, Lu Yuan, Jianfeng Gao.
68. Funnel Transformer (from CMU/Google Brain) released with the paper Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing by Zihang Dai, Guokun Lai, Yiming Yang, Quoc V. Le.
69. GIT (from Microsoft Research) released with the paper GIT: A Generative Image-to-text Transformer for Vision and Language by Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, Lijuan Wang.
70. GLPN (from KAIST) released with the paper Global-Local Path Networks for Monocular Depth Estimation with Vertical CutDepth by Doyeon Kim, Woonghyun Ga, Pyungwhan Ahn, Donggyu Joo, Sehwan Chun, Junmo Kim.
71. GPT (from OpenAI) released with the paper Improving Language Understanding by Generative Pre-Training by Alec Radford, Karthik Narasimhan, Tim Salimans and Ilya Sutskever.
72. GPT Neo (from EleutherAI) released in the repository EleutherAI/gpt-neo by Sid Black, Stella Biderman, Leo Gao, Phil Wang and Connor Leahy.
73. GPT NeoX (from EleutherAI) released with the paper GPT-NeoX-20B: An Open-Source Autoregressive Language Model by Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang, Samuel Weinbach
74. GPT NeoX Japanese (from ABEJA) released by Shinya Otani, Takayoshi Makabe, Anuj Arora, and Kyo Hattori.
75. GPT-2 (from OpenAI) released with the paper Language Models are Unsupervised Multitask Learners by Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodeiand Ilya Sutskever.
76. GPT-J (from EleutherAI) released in the repository kingoflolz/mesh-transformer-jax by Ben Wang and Aran Komatsuzaki.
77. GPT-Sw3 (from AI-Sweden) released with the paper Lessons Learned from GPT-SW3: Building the First Large-Scale Generative Language Model for Swedish by Ariel Ekgren, Amaru Cuba Gyllensten, Evangelia Gogoulou, Alice Heiman, Severine Verlinden, Joey Öhman, Fredrik Carlsson, Magnus Sahlgren.
78. GPTBigCode (from BigCode) released with the paper SantaCoder: don’t reach for the stars! by Loubna Ben Allal, Raymond Li, Denis Kocetkov, Chenghao Mou, Christopher Akiki, Carlos Munoz Ferrandis, Niklas Muennighoff, Mayank Mishra, Alex Gu, Manan Dey, Logesh Kumar Umapathi, Carolyn Jane Anderson, Yangtian Zi, Joel Lamy Poirier, Hailey Schoelkopf, Sergey Troshin, Dmitry Abulkhanov, Manuel Romero, Michael Lappert, Francesco De Toni, Bernardo García del Río, Qian Liu, Shamik Bose, Urvashi Bhattacharyya, Terry Yue Zhuo, Ian Yu, Paulo Villegas, Marco Zocca, Sourab Mangrulkar, David Lansky, Huu Nguyen, Danish Contractor, Luis Villa, Jia Li, Dzmitry Bahdanau, Yacine Jernite, Sean Hughes, Daniel Fried, Arjun Guha, Harm de Vries, Leandro von Werra.
79. GPTSAN-japanese released in the repository tanreinama/GPTSAN by Toshiyuki Sakamoto(tanreinama).
80. Graphormer (from Microsoft) released with the paper Do Transformers Really Perform Bad for Graph Representation? by Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, Tie-Yan Liu.
81. GroupViT (from UCSD, NVIDIA) released with the paper GroupViT: Semantic Segmentation Emerges from Text Supervision by Jiarui Xu, Shalini De Mello, Sifei Liu, Wonmin Byeon, Thomas Breuel, Jan Kautz, Xiaolong Wang.
82. Hubert (from Facebook) released with the paper HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units by Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov, Abdelrahman Mohamed.
83. I-BERT (from Berkeley) released with the paper I-BERT: Integer-only BERT Quantization by Sehoon Kim, Amir Gholami, Zhewei Yao, Michael W. Mahoney, Kurt Keutzer.
84. ImageGPT (from OpenAI) released with the paper Generative Pretraining from Pixels by Mark Chen, Alec Radford, Rewon Child, Jeffrey Wu, Heewoo Jun, David Luan, Ilya Sutskever.
85. Informer (from Beihang University, UC Berkeley, Rutgers University, SEDD Company) released with the paper Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting by Haoyi Zhou, Shanghang Zhang, Jieqi Peng, Shuai Zhang, Jianxin Li, Hui Xiong, and Wancai Zhang.
86. Jukebox (from OpenAI) released with the paper Jukebox: A Generative Model for Music by Prafulla Dhariwal, Heewoo Jun, Christine Payne, Jong Wook Kim, Alec Radford, Ilya Sutskever.
87. LayoutLM (from Microsoft Research Asia) released with the paper LayoutLM: Pre-training of Text and Layout for Document Image Understanding by Yiheng Xu, Minghao Li, Lei Cui, Shaohan Huang, Furu Wei, Ming Zhou.
88. LayoutLMv2 (from Microsoft Research Asia) released with the paper LayoutLMv2: Multi-modal Pre-training for Visually-Rich Document Understanding by Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Wanxiang Che, Min Zhang, Lidong Zhou.
89. LayoutLMv3 (from Microsoft Research Asia) released with the paper LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking by Yupan Huang, Tengchao Lv, Lei Cui, Yutong Lu, Furu Wei.
90. LayoutXLM (from Microsoft Research Asia) released with the paper LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding by Yiheng Xu, Tengchao Lv, Lei Cui, Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang, Furu Wei.
91. LED (from AllenAI) released with the paper Longformer: The Long-Document Transformer by Iz Beltagy, Matthew E. Peters, Arman Cohan.
92. LeViT (from Meta AI) released with the paper LeViT: A Vision Transformer in ConvNet’s Clothing for Faster Inference by Ben Graham, Alaaeldin El-Nouby, Hugo Touvron, Pierre Stock, Armand Joulin, Hervé Jégou, Matthijs Douze.
93. LiLT (from South China University of Technology) released with the paper LiLT: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding by Jiapeng Wang, Lianwen Jin, Kai Ding.
94. LLaMA (from The FAIR team of Meta AI) released with the paper LLaMA: Open and Efficient Foundation Language Models by Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample.
95. Longformer (from AllenAI) released with the paper Longformer: The Long-Document Transformer by Iz Beltagy, Matthew E. Peters, Arman Cohan.
96. LongT5 (from Google AI) released with the paper LongT5: Efficient Text-To-Text Transformer for Long Sequences by Mandy Guo, Joshua Ainslie, David Uthus, Santiago Ontanon, Jianmo Ni, Yun-Hsuan Sung, Yinfei Yang.
97. LUKE (from Studio Ousia) released with the paper LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention by Ikuya Yamada, Akari Asai, Hiroyuki Shindo, Hideaki Takeda, Yuji Matsumoto.
98. LXMERT (from UNC Chapel Hill) released with the paper LXMERT: Learning Cross-Modality Encoder Representations from Transformers for Open-Domain Question Answering by Hao Tan and Mohit Bansal.
99. M-CTC-T (from Facebook) released with the paper Pseudo-Labeling For Massively Multilingual Speech Recognition by Loren Lugosch, Tatiana Likhomanenko, Gabriel Synnaeve, and Ronan Collobert.
100. M2M100 (from Facebook) released with the paper Beyond English-Centric Multilingual Machine Translation by Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Edouard Grave, Michael Auli, Armand Joulin.
101. MarianMT Machine translation models trained using OPUS data by Jörg Tiedemann. The Marian Framework is being developed by the Microsoft Translator Team.
102. MarkupLM (from Microsoft Research Asia) released with the paper MarkupLM: Pre-training of Text and Markup Language for Visually-rich Document Understanding by Junlong Li, Yiheng Xu, Lei Cui, Furu Wei.
103. Mask2Former (from FAIR and UIUC) released with the paper Masked-attention Mask Transformer for Universal Image Segmentation by Bowen Cheng, Ishan Misra, Alexander G. Schwing, Alexander Kirillov, Rohit Girdhar.
104. MaskFormer (from Meta and UIUC) released with the paper Per-Pixel Classification is Not All You Need for Semantic Segmentation by Bowen Cheng, Alexander G. Schwing, Alexander Kirillov.
105. MatCha (from Google AI) released with the paper MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering by Fangyu Liu, Francesco Piccinno, Syrine Krichene, Chenxi Pang, Kenton Lee, Mandar Joshi, Yasemin Altun, Nigel Collier, Julian Martin Eisenschlos.
106. mBART (from Facebook) released with the paper Multilingual Denoising Pre-training for Neural Machine Translation by Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey Edunov, Marjan Ghazvininejad, Mike Lewis, Luke Zettlemoyer.
107. mBART-50 (from Facebook) released with the paper Multilingual Translation with Extensible Multilingual Pretraining and Finetuning by Yuqing Tang, Chau Tran, Xian Li, Peng-Jen Chen, Naman Goyal, Vishrav Chaudhary, Jiatao Gu, Angela Fan.
108. MEGA (from Facebook) released with the paper Mega: Moving Average Equipped Gated Attention by Xuezhe Ma, Chunting Zhou, Xiang Kong, Junxian He, Liangke Gui, Graham Neubig, Jonathan May, and Luke Zettlemoyer.
109. Megatron-BERT (from NVIDIA) released with the paper Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism by Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper and Bryan Catanzaro.
110. Megatron-GPT2 (from NVIDIA) released with the paper Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism by Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper and Bryan Catanzaro.
111. MGP-STR (from Alibaba Research) released with the paper Multi-Granularity Prediction for Scene Text Recognition by Peng Wang, Cheng Da, and Cong Yao.
112. mLUKE (from Studio Ousia) released with the paper mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models by Ryokan Ri, Ikuya Yamada, and Yoshimasa Tsuruoka.
113. MobileBERT (from CMU/Google Brain) released with the paper MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices by Zhiqing Sun, Hongkun Yu, Xiaodan Song, Renjie Liu, Yiming Yang, and Denny Zhou.
114. MobileNetV1 (from Google Inc.) released with the paper MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications by Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam.
115. MobileNetV2 (from Google Inc.) released with the paper MobileNetV2: Inverted Residuals and Linear Bottlenecks by Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, Liang-Chieh Chen.
116. MobileViT (from Apple) released with the paper MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer by Sachin Mehta and Mohammad Rastegari.
117. MPNet (from Microsoft Research) released with the paper MPNet: Masked and Permuted Pre-training for Language Understanding by Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu.
118. MT5 (from Google AI) released with the paper mT5: A massively multilingual pre-trained text-to-text transformer by Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami Al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel.
119. MVP (from RUC AI Box) released with the paper MVP: Multi-task Supervised Pre-training for Natural Language Generation by Tianyi Tang, Junyi Li, Wayne Xin Zhao and Ji-Rong Wen.
120. NAT (from SHI Labs) released with the paper Neighborhood Attention Transformer by Ali Hassani, Steven Walton, Jiachen Li, Shen Li, and Humphrey Shi.
121. Nezha (from Huawei Noah’s Ark Lab) released with the paper NEZHA: Neural Contextualized Representation for Chinese Language Understanding by Junqiu Wei, Xiaozhe Ren, Xiaoguang Li, Wenyong Huang, Yi Liao, Yasheng Wang, Jiashu Lin, Xin Jiang, Xiao Chen and Qun Liu.
122. NLLB (from Meta) released with the paper No Language Left Behind: Scaling Human-Centered Machine Translation by the NLLB team.
123. NLLB-MOE (from Meta) released with the paper No Language Left Behind: Scaling Human-Centered Machine Translation by the NLLB team.
124. Nyströmformer (from the University of Wisconsin - Madison) released with the paper Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention by Yunyang Xiong, Zhanpeng Zeng, Rudrasis Chakraborty, Mingxing Tan, Glenn Fung, Yin Li, Vikas Singh.
125. OneFormer (from SHI Labs) released with the paper OneFormer: One Transformer to Rule Universal Image Segmentation by Jitesh Jain, Jiachen Li, MangTik Chiu, Ali Hassani, Nikita Orlov, Humphrey Shi.
126. OpenLlama (from s-JoL) released in Open-Llama.
127. OPT (from Meta AI) released with the paper OPT: Open Pre-trained Transformer Language Models by Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen et al.
128. OWL-ViT (from Google AI) released with the paper Simple Open-Vocabulary Object Detection with Vision Transformers by Matthias Minderer, Alexey Gritsenko, Austin Stone, Maxim Neumann, Dirk Weissenborn, Alexey Dosovitskiy, Aravindh Mahendran, Anurag Arnab, Mostafa Dehghani, Zhuoran Shen, Xiao Wang, Xiaohua Zhai, Thomas Kipf, and Neil Houlsby.
129. Pegasus (from Google) released with the paper PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization by Jingqing Zhang, Yao Zhao, Mohammad Saleh and Peter J. Liu.
130. PEGASUS-X (from Google) released with the paper Investigating Efficiently Extending Transformers for Long Input Summarization by Jason Phang, Yao Zhao, and Peter J. Liu.
131. Perceiver IO (from Deepmind) released with the paper Perceiver IO: A General Architecture for Structured Inputs & Outputs by Andrew Jaegle, Sebastian Borgeaud, Jean-Baptiste Alayrac, Carl Doersch, Catalin Ionescu, David Ding, Skanda Koppula, Daniel Zoran, Andrew Brock, Evan Shelhamer, Olivier Hénaff, Matthew M. Botvinick, Andrew Zisserman, Oriol Vinyals, João Carreira.
132. PhoBERT (from VinAI Research) released with the paper PhoBERT: Pre-trained language models for Vietnamese by Dat Quoc Nguyen and Anh Tuan Nguyen.
133. Pix2Struct (from Google) released with the paper Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding by Kenton Lee, Mandar Joshi, Iulia Turc, Hexiang Hu, Fangyu Liu, Julian Eisenschlos, Urvashi Khandelwal, Peter Shaw, Ming-Wei Chang, Kristina Toutanova.
134. PLBart (from UCLA NLP) released with the paper Unified Pre-training for Program Understanding and Generation by Wasi Uddin Ahmad, Saikat Chakraborty, Baishakhi Ray, Kai-Wei Chang.
135. PoolFormer (from Sea AI Labs) released with the paper MetaFormer is Actually What You Need for Vision by Yu, Weihao and Luo, Mi and Zhou, Pan and Si, Chenyang and Zhou, Yichen and Wang, Xinchao and Feng, Jiashi and Yan, Shuicheng.
136. ProphetNet (from Microsoft Research) released with the paper ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training by Yu Yan, Weizhen Qi, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang and Ming Zhou.
137. QDQBert (from NVIDIA) released with the paper Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation by Hao Wu, Patrick Judd, Xiaojie Zhang, Mikhail Isaev and Paulius Micikevicius.
138. RAG (from Facebook) released with the paper Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks by Patrick Lewis, Ethan Perez, Aleksandara Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela.
139. REALM (from Google Research) released with the paper REALM: Retrieval-Augmented Language Model Pre-Training by Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat and Ming-Wei Chang.
140. Reformer (from Google Research) released with the paper Reformer: The Efficient Transformer by Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya.
141. RegNet (from META Platforms) released with the paper Designing Network Design Space by Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Dollár.
142. RemBERT (from Google Research) released with the paper Rethinking embedding coupling in pre-trained language models by Hyung Won Chung, Thibault Févry, Henry Tsai, M. Johnson, Sebastian Ruder.
143. ResNet (from Microsoft Research) released with the paper Deep Residual Learning for Image Recognition by Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun.
144. RoBERTa (from Facebook), released together with the paper RoBERTa: A Robustly Optimized BERT Pretraining Approach by Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov.
145. RoBERTa-PreLayerNorm (from Facebook) released with the paper fairseq: A Fast, Extensible Toolkit for Sequence Modeling by Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, Michael Auli.
146. RoCBert (from WeChatAI) released with the paper RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining by HuiSu, WeiweiShi, XiaoyuShen, XiaoZhou, TuoJi, JiaruiFang, JieZhou.
147. RoFormer (from ZhuiyiTechnology), released together with the paper RoFormer: Enhanced Transformer with Rotary Position Embedding by Jianlin Su and Yu Lu and Shengfeng Pan and Bo Wen and Yunfeng Liu.
148. RWKV (from Bo Peng), released on this repo by Bo Peng.
149. SegFormer (from NVIDIA) released with the paper SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers by Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M. Alvarez, Ping Luo.
150. Segment Anything (from Meta AI) released with the paper Segment Anything by Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alex Berg, Wan-Yen Lo, Piotr Dollar, Ross Girshick.
151. SEW (from ASAPP) released with the paper Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition by Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi.
152. SEW-D (from ASAPP) released with the paper Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition by Felix Wu, Kwangyoun Kim, Jing Pan, Kyu Han, Kilian Q. Weinberger, Yoav Artzi.
153. SpeechT5 (from Microsoft Research) released with the paper SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing by Junyi Ao, Rui Wang, Long Zhou, Chengyi Wang, Shuo Ren, Yu Wu, Shujie Liu, Tom Ko, Qing Li, Yu Zhang, Zhihua Wei, Yao Qian, Jinyu Li, Furu Wei.
154. SpeechToTextTransformer (from Facebook), released together with the paper fairseq S2T: Fast Speech-to-Text Modeling with fairseq by Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Dmytro Okhonko, Juan Pino.
155. SpeechToTextTransformer2 (from Facebook), released together with the paper Large-Scale Self- and Semi-Supervised Learning for Speech Translation by Changhan Wang, Anne Wu, Juan Pino, Alexei Baevski, Michael Auli, Alexis Conneau.
156. Splinter (from Tel Aviv University), released together with the paper Few-Shot Question Answering by Pretraining Span Selection by Ori Ram, Yuval Kirstain, Jonathan Berant, Amir Globerson, Omer Levy.
157. SqueezeBERT (from Berkeley) released with the paper SqueezeBERT: What can computer vision teach NLP about efficient neural networks? by Forrest N. Iandola, Albert E. Shaw, Ravi Krishna, and Kurt W. Keutzer.
158. Swin Transformer (from Microsoft) released with the paper Swin Transformer: Hierarchical Vision Transformer using Shifted Windows by Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo.
159. Swin Transformer V2 (from Microsoft) released with the paper Swin Transformer V2: Scaling Up Capacity and Resolution by Ze Liu, Han Hu, Yutong Lin, Zhuliang Yao, Zhenda Xie, Yixuan Wei, Jia Ning, Yue Cao, Zheng Zhang, Li Dong, Furu Wei, Baining Guo.
160. Swin2SR (from University of Würzburg) released with the paper Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration by Marcos V. Conde, Ui-Jin Choi, Maxime Burchi, Radu Timofte.
161. SwitchTransformers (from Google) released with the paper Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity by William Fedus, Barret Zoph, Noam Shazeer.
162. T5 (from Google AI) released with the paper Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer by Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu.
163. T5v1.1 (from Google AI) released in the repository google-research/text-to-text-transfer-transformer by Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu.
164. Table Transformer (from Microsoft Research) released with the paper PubTables-1M: Towards Comprehensive Table Extraction From Unstructured Documents by Brandon Smock, Rohith Pesala, Robin Abraham.
165. TAPAS (from Google AI) released with the paper TAPAS: Weakly Supervised Table Parsing via Pre-training by Jonathan Herzig, Paweł Krzysztof Nowak, Thomas Müller, Francesco Piccinno and Julian Martin Eisenschlos.
166. TAPEX (from Microsoft Research) released with the paper TAPEX: Table Pre-training via Learning a Neural SQL Executor by Qian Liu, Bei Chen, Jiaqi Guo, Morteza Ziyadi, Zeqi Lin, Weizhu Chen, Jian-Guang Lou.
167. Time Series Transformer (from HuggingFace).
168. TimeSformer (from Facebook) released with the paper Is Space-Time Attention All You Need for Video Understanding? by Gedas Bertasius, Heng Wang, Lorenzo Torresani.
169. Trajectory Transformer (from the University of California at Berkeley) released with the paper Offline Reinforcement Learning as One Big Sequence Modeling Problem by Michael Janner, Qiyang Li, Sergey Levine
170. Transformer-XL (from Google/CMU) released with the paper Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context by Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov.
171. TrOCR (from Microsoft), released together with the paper TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models by Minghao Li, Tengchao Lv, Lei Cui, Yijuan Lu, Dinei Florencio, Cha Zhang, Zhoujun Li, Furu Wei.
172. TVLT (from UNC Chapel Hill) released with the paper TVLT: Textless Vision-Language Transformer by Zineng Tang, Jaemin Cho, Yixin Nie, Mohit Bansal.
173. UL2 (from Google Research) released with the paper Unifying Language Learning Paradigms by Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler
174. UniSpeech (from Microsoft Research) released with the paper UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data by Chengyi Wang, Yu Wu, Yao Qian, Kenichi Kumatani, Shujie Liu, Furu Wei, Michael Zeng, Xuedong Huang.
175. UniSpeechSat (from Microsoft Research) released with the paper UNISPEECH-SAT: UNIVERSAL SPEECH REPRESENTATION LEARNING WITH SPEAKER AWARE PRE-TRAINING by Sanyuan Chen, Yu Wu, Chengyi Wang, Zhengyang Chen, Zhuo Chen, Shujie Liu, Jian Wu, Yao Qian, Furu Wei, Jinyu Li, Xiangzhan Yu.
176. UPerNet (from Peking University) released with the paper Unified Perceptual Parsing for Scene Understanding by Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, Jian Sun.
177. VAN (from Tsinghua University and Nankai University) released with the paper Visual Attention Network by Meng-Hao Guo, Cheng-Ze Lu, Zheng-Ning Liu, Ming-Ming Cheng, Shi-Min Hu.
178. VideoMAE (from Multimedia Computing Group, Nanjing University) released with the paper VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training by Zhan Tong, Yibing Song, Jue Wang, Limin Wang.
179. ViLT (from NAVER AI Lab/Kakao Enterprise/Kakao Brain) released with the paper ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision by Wonjae Kim, Bokyung Son, Ildoo Kim.
180. Vision Transformer (ViT) (from Google AI) released with the paper An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale by Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby.
181. VisualBERT (from UCLA NLP) released with the paper VisualBERT: A Simple and Performant Baseline for Vision and Language by Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh, Kai-Wei Chang.
182. ViT Hybrid (from Google AI) released with the paper An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale by Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby.
183. ViTMAE (from Meta AI) released with the paper Masked Autoencoders Are Scalable Vision Learners by Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick.
184. ViTMSN (from Meta AI) released with the paper Masked Siamese Networks for Label-Efficient Learning by Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas.
185. Wav2Vec2 (from Facebook AI) released with the paper wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations by Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli.
186. Wav2Vec2-Conformer (from Facebook AI) released with the paper FAIRSEQ S2T: Fast Speech-to-Text Modeling with FAIRSEQ by Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Sravya Popuri, Dmytro Okhonko, Juan Pino.
187. Wav2Vec2Phoneme (from Facebook AI) released with the paper Simple and Effective Zero-shot Cross-lingual Phoneme Recognition by Qiantong Xu, Alexei Baevski, Michael Auli.
188. WavLM (from Microsoft Research) released with the paper WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing by Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei.
189. Whisper (from OpenAI) released with the paper Robust Speech Recognition via Large-Scale Weak Supervision by Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey, Ilya Sutskever.
190. X-CLIP (from Microsoft Research) released with the paper Expanding Language-Image Pretrained Models for General Video Recognition by Bolin Ni, Houwen Peng, Minghao Chen, Songyang Zhang, Gaofeng Meng, Jianlong Fu, Shiming Xiang, Haibin Ling.
191. X-MOD (from Meta AI) released with the paper Lifting the Curse of Multilinguality by Pre-training Modular Transformers by Jonas Pfeiffer, Naman Goyal, Xi Lin, Xian Li, James Cross, Sebastian Riedel, Mikel Artetxe.
192. XGLM (From Facebook AI) released with the paper Few-shot Learning with Multilingual Language Models by Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe, Tianlu Wang, Shuohui Chen, Daniel Simig, Myle Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, Ramakanth Pasunuru, Sam Shleifer, Punit Singh Koura, Vishrav Chaudhary, Brian O’Horo, Jeff Wang, Luke Zettlemoyer, Zornitsa Kozareva, Mona Diab, Veselin Stoyanov, Xian Li.
193. XLM (from Facebook) released together with the paper Cross-lingual Language Model Pretraining by Guillaume Lample and Alexis Conneau.
194. XLM-ProphetNet (from Microsoft Research) released with the paper ProphetNet: Predicting Future N-gram for Sequence-to-Sequence Pre-training by Yu Yan, Weizhen Qi, Yeyun Gong, Dayiheng Liu, Nan Duan, Jiusheng Chen, Ruofei Zhang and Ming Zhou.
195. XLM-RoBERTa (from Facebook AI), released together with the paper Unsupervised Cross-lingual Representation Learning at Scale by Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer and Veselin Stoyanov.
196. XLM-RoBERTa-XL (from Facebook AI), released together with the paper Larger-Scale Transformers for Multilingual Masked Language Modeling by Naman Goyal, Jingfei Du, Myle Ott, Giri Anantharaman, Alexis Conneau.
197. XLM-V (from Meta AI) released with the paper XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models by Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer, Madian Khabsa.
198. XLNet (from Google/CMU) released with the paper ​XLNet: Generalized Autoregressive Pretraining for Language Understanding by Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le.
199. XLS-R (from Facebook AI) released with the paper XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale by Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.
200. XLSR-Wav2Vec2 (from Facebook AI) released with the paper Unsupervised Cross-Lingual Representation Learning For Speech Recognition by Alexis Conneau, Alexei Baevski, Ronan Collobert, Abdelrahman Mohamed, Michael Auli.
201. YOLOS (from Huazhong University of Science & Technology) released with the paper You Only Look at One Sequence: Rethinking Transformer in Vision through Object Detection by Yuxin Fang, Bencheng Liao, Xinggang Wang, Jiemin Fang, Jiyang Qi, Rui Wu, Jianwei Niu, Wenyu Liu.
202. YOSO (from the University of Wisconsin - Madison) released with the paper You Only Sample (Almost) Once: Linear Cost Self-Attention Via Bernoulli Sampling by Zhanpeng Zeng, Yunyang Xiong, Sathya N. Ravi, Shailesh Acharya, Glenn Fung, Vikas Singh.

Supported frameworks

The table below represents the current support in the library for each of those models, whether they have a Python tokenizer (called “slow”). A “fast” tokenizer backed by the 🤗 Tokenizers library, whether they have support in Jax (via Flax), PyTorch, and/or TensorFlow.

Model	Tokenizer slow	Tokenizer fast	PyTorch support	TensorFlow support	Flax Support
ALBERT	✅	✅	✅	✅	✅
ALIGN	❌	❌	✅	❌	❌
AltCLIP	❌	❌	✅	❌	❌
Audio Spectrogram Transformer	❌	❌	✅	❌	❌
BART	✅	✅	✅	✅	✅
BEiT	❌	❌	✅	❌	✅
BERT	✅	✅	✅	✅	✅
Bert Generation	✅	❌	✅	❌	❌
BigBird	✅	✅	✅	❌	✅
BigBird-Pegasus	❌	❌	✅	❌	❌
BioGpt	✅	❌	✅	❌	❌
BiT	❌	❌	✅	❌	❌
Blenderbot	✅	✅	✅	✅	✅
BlenderbotSmall	✅	✅	✅	✅	✅
BLIP	❌	❌	✅	✅	❌
BLIP-2	❌	❌	✅	❌	❌
BLOOM	❌	✅	✅	❌	❌
BridgeTower	❌	❌	✅	❌	❌
CamemBERT	✅	✅	✅	✅	❌
CANINE	✅	❌	✅	❌	❌
Chinese-CLIP	❌	❌	✅	❌	❌
CLAP	❌	❌	✅	❌	❌
CLIP	✅	✅	✅	✅	✅
CLIPSeg	❌	❌	✅	❌	❌
CodeGen	✅	✅	✅	❌	❌
Conditional DETR	❌	❌	✅	❌	❌
ConvBERT	✅	✅	✅	✅	❌
ConvNeXT	❌	❌	✅	✅	❌
ConvNeXTV2	❌	❌	✅	❌	❌
CPM-Ant	✅	❌	✅	❌	❌
CTRL	✅	❌	✅	✅	❌
CvT	❌	❌	✅	✅	❌
Data2VecAudio	❌	❌	✅	❌	❌
Data2VecText	❌	❌	✅	❌	❌
Data2VecVision	❌	❌	✅	✅	❌
DeBERTa	✅	✅	✅	✅	❌
DeBERTa-v2	✅	✅	✅	✅	❌
Decision Transformer	❌	❌	✅	❌	❌
Deformable DETR	❌	❌	✅	❌	❌
DeiT	❌	❌	✅	✅	❌
DETA	❌	❌	✅	❌	❌
DETR	❌	❌	✅	❌	❌
DiNAT	❌	❌	✅	❌	❌
DistilBERT	✅	✅	✅	✅	✅
DonutSwin	❌	❌	✅	❌	❌
DPR	✅	✅	✅	✅	❌
DPT	❌	❌	✅	❌	❌
EfficientFormer	❌	❌	✅	❌	❌
EfficientNet	❌	❌	✅	❌	❌
ELECTRA	✅	✅	✅	✅	✅
Encoder decoder	❌	❌	✅	✅	✅
ERNIE	❌	❌	✅	❌	❌
ErnieM	✅	❌	✅	❌	❌
ESM	✅	❌	✅	✅	❌
FairSeq Machine-Translation	✅	❌	✅	❌	❌
FlauBERT	✅	❌	✅	✅	❌
FLAVA	❌	❌	✅	❌	❌
FNet	✅	✅	✅	❌	❌
FocalNet	❌	❌	✅	❌	❌
Funnel Transformer	✅	✅	✅	✅	❌
GIT	❌	❌	✅	❌	❌
GLPN	❌	❌	✅	❌	❌
GPT Neo	❌	❌	✅	❌	✅
GPT NeoX	❌	✅	✅	❌	❌
GPT NeoX Japanese	✅	❌	✅	❌	❌
GPT-J	❌	❌	✅	✅	✅
GPT-Sw3	✅	✅	✅	✅	✅
GPTBigCode	❌	❌	✅	❌	❌
GPTSAN-japanese	✅	❌	✅	❌	❌
Graphormer	❌	❌	✅	❌	❌
GroupViT	❌	❌	✅	✅	❌
Hubert	❌	❌	✅	✅	❌
I-BERT	❌	❌	✅	❌	❌
ImageGPT	❌	❌	✅	❌	❌
Informer	❌	❌	✅	❌	❌
Jukebox	✅	❌	✅	❌	❌
LayoutLM	✅	✅	✅	✅	❌
LayoutLMv2	✅	✅	✅	❌	❌
LayoutLMv3	✅	✅	✅	✅	❌
LED	✅	✅	✅	✅	❌
LeViT	❌	❌	✅	❌	❌
LiLT	❌	❌	✅	❌	❌
LLaMA	✅	✅	✅	❌	❌
Longformer	✅	✅	✅	✅	❌
LongT5	❌	❌	✅	❌	✅
LUKE	✅	❌	✅	❌	❌
LXMERT	✅	✅	✅	✅	❌
M-CTC-T	❌	❌	✅	❌	❌
M2M100	✅	❌	✅	❌	❌
Marian	✅	❌	✅	✅	✅
MarkupLM	✅	✅	✅	❌	❌
Mask2Former	❌	❌	✅	❌	❌
MaskFormer	❌	❌	✅	❌	❌
MaskFormerSwin	❌	❌	❌	❌	❌
mBART	✅	✅	✅	✅	✅
MEGA	❌	❌	✅	❌	❌
Megatron-BERT	❌	❌	✅	❌	❌
MGP-STR	✅	❌	✅	❌	❌
MobileBERT	✅	✅	✅	✅	❌
MobileNetV1	❌	❌	✅	❌	❌
MobileNetV2	❌	❌	✅	❌	❌
MobileViT	❌	❌	✅	✅	❌
MPNet	✅	✅	✅	✅	❌
MT5	✅	✅	✅	✅	✅
MVP	✅	✅	✅	❌	❌
NAT	❌	❌	✅	❌	❌
Nezha	❌	❌	✅	❌	❌
NLLB-MOE	❌	❌	✅	❌	❌
Nyströmformer	❌	❌	✅	❌	❌
OneFormer	❌	❌	✅	❌	❌
OpenAI GPT	✅	✅	✅	✅	❌
OpenAI GPT-2	✅	✅	✅	✅	✅
OpenLlama	❌	❌	✅	❌	❌
OPT	❌	❌	✅	✅	✅
OWL-ViT	❌	❌	✅	❌	❌
Pegasus	✅	✅	✅	✅	✅
PEGASUS-X	❌	❌	✅	❌	❌
Perceiver	✅	❌	✅	❌	❌
Pix2Struct	❌	❌	✅	❌	❌
PLBart	✅	❌	✅	❌	❌
PoolFormer	❌	❌	✅	❌	❌
ProphetNet	✅	❌	✅	❌	❌
QDQBert	❌	❌	✅	❌	❌
RAG	✅	❌	✅	✅	❌
REALM	✅	✅	✅	❌	❌
Reformer	✅	✅	✅	❌	❌
RegNet	❌	❌	✅	✅	✅
RemBERT	✅	✅	✅	✅	❌
ResNet	❌	❌	✅	✅	✅
RetriBERT	✅	✅	✅	❌	❌
RoBERTa	✅	✅	✅	✅	✅
RoBERTa-PreLayerNorm	❌	❌	✅	✅	✅
RoCBert	✅	❌	✅	❌	❌
RoFormer	✅	✅	✅	✅	✅
RWKV	❌	❌	✅	❌	❌
SAM	❌	❌	✅	❌	❌
SegFormer	❌	❌	✅	✅	❌
SEW	❌	❌	✅	❌	❌
SEW-D	❌	❌	✅	❌	❌
Speech Encoder decoder	❌	❌	✅	❌	✅
Speech2Text	✅	❌	✅	✅	❌
Speech2Text2	✅	❌	❌	❌	❌
SpeechT5	✅	❌	✅	❌	❌
Splinter	✅	✅	✅	❌	❌
SqueezeBERT	✅	✅	✅	❌	❌
Swin Transformer	❌	❌	✅	✅	❌
Swin Transformer V2	❌	❌	✅	❌	❌
Swin2SR	❌	❌	✅	❌	❌
SwitchTransformers	❌	❌	✅	❌	❌
T5	✅	✅	✅	✅	✅
Table Transformer	❌	❌	✅	❌	❌
TAPAS	✅	❌	✅	✅	❌
Time Series Transformer	❌	❌	✅	❌	❌
TimeSformer	❌	❌	✅	❌	❌
Trajectory Transformer	❌	❌	✅	❌	❌
Transformer-XL	✅	❌	✅	✅	❌
TrOCR	❌	❌	✅	❌	❌
TVLT	❌	❌	✅	❌	❌
UniSpeech	❌	❌	✅	❌	❌
UniSpeechSat	❌	❌	✅	❌	❌
UPerNet	❌	❌	✅	❌	❌
VAN	❌	❌	✅	❌	❌
VideoMAE	❌	❌	✅	❌	❌
ViLT	❌	❌	✅	❌	❌
Vision Encoder decoder	❌	❌	✅	✅	✅
VisionTextDualEncoder	❌	❌	✅	✅	✅
VisualBERT	❌	❌	✅	❌	❌
ViT	❌	❌	✅	✅	✅
ViT Hybrid	❌	❌	✅	❌	❌
ViTMAE	❌	❌	✅	✅	❌
ViTMSN	❌	❌	✅	❌	❌
Wav2Vec2	✅	❌	✅	✅	✅
Wav2Vec2-Conformer	❌	❌	✅	❌	❌
WavLM	❌	❌	✅	❌	❌
Whisper	✅	✅	✅	✅	✅
X-CLIP	❌	❌	✅	❌	❌
X-MOD	❌	❌	✅	❌	❌
XGLM	✅	✅	✅	✅	✅
XLM	✅	❌	✅	✅	❌
XLM-ProphetNet	✅	❌	✅	❌	❌
XLM-RoBERTa	✅	✅	✅	✅	✅
XLM-RoBERTa-XL	❌	❌	✅	❌	❌
XLNet	✅	✅	✅	✅	❌
YOLOS	❌	❌	✅	❌	❌
YOSO	❌	❌	✅	❌	❌

 

1. 人工智能和ML如何改变软件测试的动态
2. 推动变革的市场力量
3. 量化宽松增长加速器
4. 人工智能驱动的QA测试工具的特点
5. 转向优先考虑人工智能和机器学习
6. 用于质量工程的基于人工智能的工具
7. 结论

质量工程（QE）缓慢发展的传统概念已经过时，因为技术的快速进步和消费者不断变化的期望正在改变组织对待质量工程的方式。尽管如此，基本原则仍然不变：确保高服务质量、实现卓越成果和优化交付效率。这些核心价值观仍然是任何组织领导者的指导原则，因为它们对于建立信誉、培养忠诚度和最终推动收入增长至关重要。

 

尽管测试方法的基本原理在过去一年中可能发生了有限的变化，但在物联网、AI/ML、5G和元宇宙等新兴领域，实现目标的战略和方法已经发生了实质性的演变。

人工智能和ML如何改变软件测试的动态

 

随着消费者的期望越来越复杂，专家们在质量保证（QA）测试中转向人工智能，以向增强的自动化过渡。与传统的手动瀑布测试方法不同，公司越来越依赖机器来满足其测试代码的必要条件。

Gartner表示，“向组织提供质量在很大程度上受到外部市场动态和内部因素的影响，这些因素共同产生了重大影响”。

推动变革的市场力量

元宇宙主流化

拥抱元宇宙正变得越来越普遍，未来已经到来。元宇宙应用范围的扩大使组织能够摆脱物理限制，增强数字互动。这为加强他们的质量工程（QE）战略和实施提供了一个独特的机会。

解锁5G计算的力量

新型5G和物联网测试解决方案的引入有可能提高透明度，加快上市时间，优化5G的收入流，从根本上改变量化宽松领导者的角色。

增加服务式订阅

基于订阅的“即服务”模型的扩展将需要质量工程（QE）实施适应的、数据驱动的和面向分析的测试方法，以评估客户转化率和终身价值。

优化供应链网络

传统的功能筒仓正在变得过时，质量工程（QE）中的尖端技术可以帮助组织促进从传统的线性模型向互联的数字供应网络的过渡，从而增强韧性。

与专业设备同步

配备嵌入式设备的智能产品在市场上无处不在。随着生态系统复杂性的增长，质量工程（QE）应该建立一个测试环境，可以评估各种设备的嵌入式软件和固件。

QE增长加速器

混沌工程

通过实施合理的质量工程（QE）策略，工程混乱可以有助于提高系统稳定性、增强应用程序性能和提高基础设施的弹性。

培养AI/ML

从AI/ML只是一个流行语到成为测试交付生命周期的一个组成部分的转变不再是“如果”的问题，而是“何时”的问题。这一转变为下一代智能和自主数字测试仪的出现铺平了道路。

不断发展的测试数据管理

这么多数据；时间太少了。随着不同数据源的增加和周转时间的缩短，数据生成应该是有意义和安全的，同时消除处理大规模卷时的数据集偏差。

重新考虑测试策略

软件开发和部署方法的进步可以帮助组织通过更有效和高效的测试策略来支持流程工业化。

引领颠覆(Leading through Disruption)

新冠疫情是技术和数字化转型的催化剂。QE市场正在进行改革，为实现新的效率发挥提供了新的机会。

 

人工智能驱动的QA测试工具的特点

2022年，企业基础设施软件支出预计将以不变美元计算增长13.5%，以当前美元计算将达到3920亿美元。到2026年，该市场预计将达到6330亿美元，在2021年至2026年间以12.3%的复合年增长率增长。

 

 

 

需求收集

在任何软件开发项目中，收集需求都是至关重要的一步，但如果没有基于人工智能的软件测试的帮助，这可能是一个具有挑战性的过程。这项任务涉及到处理繁重的职责，如管理可交付成果、监控审批和生成报告。在技术的支持下，您可以通过使用预定义的关键性能指标（KPI）来获得评估复杂系统的宝贵见解。

简化探索性测试

在软件测试中利用人工智能可以用更少的资源和代码行实现预期的结果。人工智能系统以惊人的速度运行，无缝地执行学习、测试设计和执行等并行任务。该技术在智能代理的帮助下有效识别测试参数并检测系统漏洞。

视觉验证

在测试中使用人工智能提供了一系列前沿优势，特别是其在模式和图像识别方面的先进能力。该功能允许通过用户界面的视觉测试来识别缺陷。无论其大小和配置如何，人工智能都可以识别UI控件，并在像素级别对其进行全面分析。

人工智能驱动的错误识别

代码错误可能会阻碍软件的核心功能，通常，缺陷数量越多，识别这些代码错误就越困难。尽管如此，人工智能在质量保证（QA）测试中的应用简化了发现缺陷的过程，增强了测试程序，并预测了潜在的故障点。这种能力可以提高客户满意度，同时减少总体开支。

最大限度地提高代码覆盖率

代码覆盖率度量揭示了哪些代码语句在测试运行过程中进行了评估，哪些未经测试。通过精心规划，人工智能测试可以使您获得最高水平的测试覆盖率。事实上，有了适当的工具，设定实现100%代码覆盖率的目标是可行的。

转向优先考虑人工智能和机器学习

2024年技术趋势的演变将推动质量工程（QE）优先事项的转变。为了有效地利用人工智能（AI）、机器学习（ML）、物联网（IoT）和区块链等新兴技术为企业提供高质量的工程解决方案，工程师还必须精通这些领域。要获得这些领域的专业知识，工程师必须获得额外的认证，以确保他们有能力提供顶级质量的工程服务。

用于质量工程的基于人工智能的工具

Selenium

 

硒被广泛用于web应用程序测试。有了人工智能，Selenium可以通过提供智能元素定位器和自我修复能力来增强测试自动化。人工智能算法有助于适应应用程序UI的变化，减少维护工作量。

Appium

Appium在移动应用程序测试中很受欢迎。人工智能集成实现了高级手势识别、自我修复脚本以及不同移动平台和版本的自适应自动化。

TestComplete

该工具使用人工智能进行智能测试维护，建议在应用程序更改时更新测试脚本。它还提供人工智能驱动的对象识别，使测试创建和维护更加高效。

性能测试工具

JMeter

Apache JMeter具有人工智能功能，可以分析性能测试结果，预测未来的性能瓶颈。它还有助于根据历史数据生成现实的测试场景。

LoadRunner

LoadRunner利用人工智能进行预测分析，在性能问题发生之前识别这些问题。它可以根据实时应用程序性能自动调整虚拟用户负载，确保准确的模拟。

SonarQube

有了人工智能，SonarQube可以提供更准确、更智能的代码分析。它可以检测复杂的代码模式、安全漏洞，并为提高代码质量提供建议。

CodeClimate

CodeClimate使用人工智能来分析代码更改，从而深入了解代码质量、安全性和可维护性。它帮助团队保持高编码标准并减少技术债务。

CodeClimate

CodeClimate使用人工智能来分析代码更改，从而深入了解代码质量、安全性和可维护性。它帮助团队保持高编码标准并减少技术债务。

持续集成/持续部署（CI/CD）工具

Jenkins

Jenkins通过人工智能可以通过预测构建和部署失败来优化CI/CD管道。它可以分析历史数据，以确定导致故障的模式并提出改进建议。

GitLab

GitLab使用人工智能实现测试和部署过程的自动化。它可以智能地管理代码发布，在管道早期检测问题，并提高整体效率。

这些基于人工智能的工具共同有助于提高质量工程流程的效率、准确性和有效性。它们使组织能够通过自动化重复任务、提供智能见解和适应动态开发环境来提供高质量的软件产品。

结论

人工智能（AI）和机器学习（ML）在质量工程中的融合开创了软件开发的变革时代。这些技术通过引入智能自动化、预测分析和自适应功能，重新定义了测试和保证流程。人工智能和ML算法分析大量数据集、预测潜在问题和自优化测试框架的能力大大提高了质量工程的效率和准确性。从智能测试自动化框架到预测性能分析，这些创新不仅简化了传统的测试实践，而且积极应对软件开发动态环境中的挑战。随着组织越来越多地接受人工智能和ML，质量工程的未来有望变得更加敏捷、数据驱动，并对提供高质量软件产品的不断发展的需求做出反应。

目录

• 人工智能在质量保证中的作用
• 在质量保证中实施人工智能的挑战
• 人工智能主导的质量保证的好处
• 用于质量保证的人工智能测试工具

人工智能（AI）因其极具前景的优势，吸引了知名企业家的大量资金投资和真正的热情。公司正热切地在质量保证方面采用人工智能，以简化运营并降低开支。人工智能促进了数据的高效共享，预测了客户行为，提供了产品推荐，识别了欺诈活动，根据特定的人口结构进行了定制营销，并提供了宝贵的客户支持。

 

如果你仍然不确定人工智能的实用性，以下是一些惊人的统计数据：

•63%的公司承认，削减成本的压力将促使他们采用人工智能。

•61%的商业领袖声称，人工智能有助于他们识别可能被忽视的商业机会。

 

人工智能在质量保证中的作用

为了评估软件及其功能，开发测试套件并生成测试数据至关重要。然而，这一过程很耗时。平均而言，当使用手动测试方法时，它占测试周期内花费的总时间的三分之一以上（约35%）。

 

除此之外，手动测试很容易受到人为错误的影响，这可能会导致费用增加，消耗更多的时间和资源——这是任何企业都不愿意投资的。

 

此外，随着软件变得越来越复杂，测试的数量自然会增加，这使得维护测试套件和确保足够的代码覆盖率变得越来越困难。

 

在这种情况下，利用人工智能进行质量控制可以加快移动应用程序的测试程序，并克服上述所有挑战。人工智能增强质量保证测试流程的关键领域包括：

 

• •全面监督API测试。
• •测试操作自动化。
• •确定执行测试脚本的最佳时间和方法。
• •利用基于人工智能的蜘蛛网工具进行更有效的数据分析。

 

以下是手动测试的一些限制以及人工智能如何改变这一点：

Limitations of Manual Testing	How AI can Change that
1. Human Error	Reducing Human Error – AI ensures consistent and precise test execution, minimizing the risk of human error, such as oversight and fatigue.
2. Resource-Intensive	Efficiency and Cost Savings – AI accelerates testing processes, resulting in significant time and cost savings, making testing more cost-effective.
3. Repetitive Tasks	Eliminating Repetitive Tasks – AI automates repetitive testing tasks, allowing human testers to focus on more valuable activities.
4. Inadequate Test Coverage	Comprehensive Test Coverage – AI can execute a vast number of test cases, covering a wide range of scenarios and edge cases, ensuring thorough examination of the software.
5. Scalability Challenges	Scalability – AI is highly adaptable and scalable, capable of handling the increased complexity and size of modern software projects.

在质量保证中实施人工智能的挑战

在质量保证（QA）中实施人工智能带来了一系列复杂的挑战，组织必须解决这些挑战，以确保人工智能成功集成到其质量控制过程中。这些挑战包括：

数据质量：

QA团队必须努力满足对高质量培训数据的需求。确保用于训练人工智能模型的数据准确、有代表性且没有偏见是至关重要的第一步。

集成复杂性：

将人工智能集成到现有的质量保证系统中可能是一项艰巨的任务。确保兼容性、数据流以及与遗留流程的适当同步对于平稳过渡至关重要。

法规遵从性：

根据行业的不同，在QA中实施人工智能时，可能需要遵守特定的法规和数据隐私法。确保遵守这些法规是一个关键问题。

用户接受度：

让QA团队和利益相关者相信人工智能驱动流程的好处和可靠性至关重要。需要教育、培训和有效的沟通才能获得信任和接受。

人工智能主导的质量保证的好处

人工智能（AI）在软件测试中的应用带来了独特的优势，可以显著改变质量保证过程。让我们详细探讨这些好处，特别是关注人工智能如何在转变质量保证方面做出贡献：

快速时间表：

高效的测试执行：

人工智能驱动的测试自动化可以以前所未有的速度执行大量测试用例，显著减少测试所需的时间。可能需要人工测试人员几天或几周时间的任务可以在几个小时内完成。

更快的回归测试：

AI通过自动重新运行测试用例来检查意外的副作用，从而简化回归测试。这确保了新的代码更改不会破坏现有的功能，从而实现更快的发布周期。

经过充分研究的内部版本发布：

预测分析：

人工智能可以分析历史测试数据和软件性能指标，以预测潜在的缺陷。通过确定软件中更有可能包含问题的领域，团队可以将测试工作集中在高风险领域，从而获得更全面的构建版本。

持续监控：

人工智能的实时监控可以检测生产中的异常和性能问题，有助于在发布新版本之前确定需要立即关注的领域。

超越手动测试的极限：

全面的测试覆盖范围：

人工智能可以进行广泛而详尽的测试，涵盖手动测试可能忽略的大量场景和边缘案例。这种全面的测试覆盖确保了软件得到严格的检查。

可扩展性：

人工智能测试具有高度的可扩展性，能够适应现代软件项目日益复杂和规模的增长。它可以适应新技术、更大的数据集和不断发展的测试需求，这是手动测试经常难以实现的。

轻松的测试规划：

智能测试用例生成：

人工智能算法可以自主生成测试用例，使测试规划过程更加高效。这些生成的测试用例通常涵盖关键路径、边界条件和高影响场景，从而节省了创建测试用例的时间和精力。

测试优先级：

人工智能可以根据测试用例的关键性和潜在影响对其进行优先级排序，通过确保最重要的测试得到主要关注来简化测试规划。

用于质量保证的人工智能测试工具

近年来，用于质量保证的人工智能测试工具因提高测试效率和准确性而广受欢迎。

 

Applitools：

•Applitools提供视觉人工智能测试，这是一种使用人工智能和机器学习自动检测和分析应用程序用户界面中视觉差异的技术。它对网络和移动应用程序测试特别有用。

•它可以识别视觉缺陷，如布局问题、渲染问题和功能缺陷。

•Applitools提供了一个可视化验证平台，该平台与各种测试自动化框架和工具集成，可以轻松地将可视化测试添加到现有的测试套件中。

测试西格玛：

•测试西格玛是一个人工智能驱动的测试自动化平台，旨在简化测试创建和维护。

•它使用自然语言处理和人工智能，使测试人员和非技术用户能够创建自动测试脚本。

•该平台提供了自我修复测试、易于维护和跨浏览器测试等功能。

SauceLabs：

•Sauce Labs是一个基于云的自动化测试平台，包括网络和移动应用程序测试。

•虽然它不仅仅是一种人工智能测试工具，但它提供了人工智能测试功能，以改进测试执行和分析。

•它为运行测试提供了广泛的真实设备和虚拟环境，并支持各种测试框架。

TestCraft：

•TestCraft是一个基于云的测试自动化平台，使用人工智能生成和维护测试脚本。

•其人工智能引擎识别测试中应用程序的变化，并相应地调整测试脚本，以确保它们保持功能。

•TestCraft支持web和移动应用程序测试，并提供与各种CI/CD工具的集成。

这些工具利用人工智能和机器学习来提高质量保证流程的效率和准确性。在为您的特定需求选择合适的工具时，请考虑各种因素，如您正在测试的应用程序类型（web、移动、桌面）、团队的技术专业知识水平以及与现有测试框架或工具的集成能力。评估成本、可扩展性和支持等因素也很重要，以确定最适合您组织的需求。

结论

人工智能与质量保证的集成正在开创软件测试和产品质量控制的效率、准确性和有效性的新时代。人工智能驱动的解决方案正在彻底改变企业的质量保证方式，从自动化重复和耗时的测试任务到实现预测性缺陷识别，以及提高性能和安全测试。有了人工智能，组织可以简化测试流程，确保一致的质量，并最终向客户提供更高质量的产品。这一转变不仅提高了产品的可靠性，还降低了成本，加快了上市时间，并为企业提供了在竞争日益激烈的技术环境中蓬勃发展所需的灵活性。人工智能对质量保证的影响证明了技术在追求卓越和客户满意度方面的不断发展。

在本文中，我们将了解数据验证（verification ）和数据验证（validation）之间的区别，这两个术语在我们谈论数据质量时经常互换使用。然而，这两个术语是不同的。

作者：高级分析实践负责人Aditya Aggarwal和Abzooba首席科学官Arnab Bose

当我们谈论数据质量时，我们经常交替使用数据验证和数据验证。然而，这两个术语是不同的。在这篇文章中，我们将了解4种不同背景下的差异：

• 验证和确认的字典含义
• 数据验证和一般数据验证之间的差异
• 从软件开发的角度看验证和确认的区别
• 从机器学习的角度看数据验证和数据验证的区别

1.验证和确认的字典含义

 

表1通过几个例子解释了单词验证和确认的字典含义。

表1：验证和确认的字典含义（able 1: Dictionary meaning of verification and validation）

总之，验证是关于真实性和准确性，而验证是关于支持一个观点的强度或声明的正确性。验证检查方法的正确性，而验证检查结果的准确性。​​​​​​​​​​​​​

 

2.数据验证与数据确认的一般区别

 

既然我们已经理解了这两个词的字面意思，那么让我们来探究“数据验证”和“数据确认”之间的区别。

• 数据验证（Data verification）：确保数据的准确性。
• 数据验证（Data validation）：确保数据正确无误。

让我们在表2中举例说明。
表2：“数据验证”和“数据确认”示例（Table 2: "Data verification" and "data validation" examples）

3.从软件开发的角度看验证（verification）和确认（validation）的区别

从软件开发的角度来看，

• ​​​进行验证（Verification ）是为了确保软件具有高质量、精心设计、健壮和无错误，而不影响其可用性。
• 进行验证（Validation ）是为了确保软件的可用性和满足客户需求的能力。

Fig 1: Differences between Verification and Validation in software development (Source)

如图1所示，正确性证明、稳健性分析、单元测试、集成测试和其他都是验证步骤，其中任务旨在验证细节。根据所需输出验证软件输出。另一方面，模型检查、黑匣子测试、可用性测试都是验证步骤，任务的方向是了解软件是否满足要求和期望。

4.从机器学习的角度来看数据验证和数据验证的区别

​​​​​​​数据验证（data verification）在机器学习管道中的作用是充当看门人。它可确保数据随时间的推移而准确更新。数据验证主要在新的数据采集阶段进行，即在ML管道的步骤8进行，如图2所示。此步骤的示例是识别重复记录并执行重复数据消除，以及清除地址或电话号码等字段中客户信息的不匹配。

另一方面，数据验证（data validation）（在ML流水线的步骤3）确保来自步骤8的添加到学习数据的增量数据具有良好的质量并且（从统计特性的角度来看）与现有的训练数据相似。例如，这包括发现数据异常或检测现有训练数据与要添加到训练数据的新数据之间的差异。否则，增量数据中的任何数据质量问题/统计差异都可能被遗漏，并且训练误差可能随着时间的推移而积累并恶化模型精度。​​​​​​​因此，数据验证在早期阶段检测到增量训练数据的显著变化（如果有的话），这有助于进行根本原因分析。

Fig 2: Components of Machine Learning Pipeline
 

Aditya Aggarwal担任Abzooba股份有限公司的数据科学-实践主管。Aditya在通过数据驱动解决方案推动商业目标方面拥有超过12年的经验，专门从事预测分析、机器学习、商业智能和一系列行业的商业战略。

Arnab Bose博士是数据分析公司Abzooba的首席科学官，也是芝加哥大学的兼职教师。他在分析学硕士课程中教授机器学习和预测分析、机器学习操作、时间序列分析和预测以及健康分析。他是一位20年预测分析行业资深人士，喜欢使用非结构化和结构化数据来预测和影响医疗保健、零售、金融和运输领域的行为结果。他目前的重点领域包括使用机器学习的健康风险分层和慢性病管理，以及机器学习模型的生产部署和监测。

相关的

• MLOps – “Why is it required?” and “What it is”?
• My machine learning model does not learn. What should I do?
• Data Observability, Part II: How to Build Your Own Data Quality Monitors Using SQL

More On This Topic

• Data Science, Statistics and Machine Learning Dictionary
• How to Update a Python Dictionary
• Data Validation in Machine Learning is Imperative, Not Optional
• Full cross-validation and generating learning curves for time-series models
• Unlocking Reliable Generations through Chain-of-Verification: A…
• Data Validation for PySpark Applications using Pandera

模型评估是机器学习和预测建模的基本步骤。它使我们能够评估模型的性能、可靠性和泛化能力，从而做出明智的决策并改善业务成果。有几种模型评估技术，如下所示：

 

A.坚持方法（Hold-out Approach）：

保持方法，也称为简单的训练测试分割（simple train-test split），是评估机器学习模型性能的一种基本技术。它包括将数据集分为两部分：训练集和测试集。

坚持方法通常遵循以下步骤：

1. 原始数据集被随机分为训练集和测试集。常见的分割比为70–30或80–20，但它可能因数据集的大小和具体问题而异。
2. 训练集用于训练模型。该模型基于输入特征和相应的目标变量来学习数据中的模式和关系。
3. 一旦训练了模型，就使用测试集来评估其性能。根据问题类型，将模型的预测与测试集中的实际目标变量进行比较，以计算性能指标，如准确性、精确度、召回率或其他指标。
4. 从测试集获得的性能指标提供了对模型在看不见的数据上可能表现的评估。

训练试验拆分代码为：

from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(X,Y,test_size=0.2,random_state=2)

坚持方法的问题：

虽然保持方法是一种简单且常用的模型评估技术，但它确实存在一些潜在的问题和局限性：

可变性（Variability ）：

模型的性能对数据如何划分为训练集和测试集非常敏感。不同的划分可能会导致不同的评估结果，从而导致不太可靠的性能估计。

让我们假设我们有一个1000个样本的数据集，我们想使用80-20的比例将其分为训练集和测试集。我们将在测试集上评估分类模型的性能。

 

如果我们将随机状态设置为特定值，例如42，则数据将以一致的方式进行拆分。我们在训练集上训练模型，并在测试集上评估其性能。让我们假设我们获得85%的准确率。

 

现在，如果我们将随机状态更改为不同的值，比如说100，并重复相同的过程，我们可能会得到不同的精度，比如82%。这种差异是由于为具有不同随机状态的训练和测试集随机选择的不同样本而产生的。

x_train,x_test,y_train,y_test=train_test_split(X,Y,test_size=0.2,random_state=2)

#所以，如果我们改变随机状态值，模型的精度每次都会发生变化。

#这被称为可变性，并造成了如何选择最佳部署模型的混乱。

通过用各种随机状态值重复这个过程，我们将观察到模型性能的波动。例如，使用随机状态42可能产生85%的准确率，而随机状态100可能产生82%的准确率和随机状态123可能给我们84%的准确率。这些变化突出了随机化对保持方法的影响，并证明了评估结果的可变性。

2.数据效率低下：

拒发方法只使用一部分数据进行训练，另一部分数据用于测试。这意味着模型不能从所有可用的数据中学习，如果数据集很小，这可能会特别有问题。

3.性能评估中的偏差：

-让我们考虑一个现实生活中的例子，了解偏差如何影响绩效评估。

假设我们正在构建一个垃圾邮件分类器，并收集了10000封电子邮件的数据集。其中，9000封电子邮件是合法的，1000封是垃圾邮件。类别分布不平衡，与垃圾邮件相比，合法电子邮件的数量要高得多。

现在，假设我们使用保持方法来评估我们的垃圾邮件分类器，方法是将数据随机划分为训练集（80%的数据）和测试集（20%的数据）。我们在训练集上训练模型，并使用性能指标（如准确性）在测试集上评估其性能。

在这种情况下，由于不平衡的类分布，存在性能估计有偏差的可能性。该模型可以简单地通过正确地对大多数类别（合法电子邮件）进行分类来实现高精度，而对少数类别（垃圾邮件）表现不佳。

让我们假设该模型在测试集上实现了95%的准确性。乍一看，这可能表明性能卓越。然而，经过仔细检查，我们发现该模型对50%的垃圾邮件进行了错误分类，而对98%的合法电子邮件进行了正确分类。

性能估计中出现这种偏差是因为评估度量（准确性）没有考虑到不平衡的类分布。大多数类别（合法电子邮件）严重影响准确性，导致价值过高。事实上，该模型在少数类别（垃圾邮件）上的性能明显低于总体准确性。

因此，如果由于随机分裂，某些类或模式在训练集或测试集中被过度或不足地表示，则可能导致有偏差的性能估计。

 

4.超参数调整的可靠性较低：

-如果使用保持方法进行超参数调整，则存在过度拟合测试集的风险，因为信息可能会从测试集泄漏到模型中。这意味着该模型在测试集上的性能可能过于乐观，不能代表其对未知数据的性能。

当这些都是坚持方法中的问题时，我们为什么要使用这种方法？

简单：

-简单易懂。

计算效率：

由于使用这种方法，您只训练一次模型，因此与您在本文中研究的其他技术相比，它在计算上成本较低，因为它们训练模型多次。

大型数据集：

-对于非常大的数据集，即使是很小比例的数据也可能足以形成一个具有代表性的测试集。在这些情况下，保持方法可以很好地工作，如果你多次改变随机状态值，模型精度将变化非常非常小，这对于模型评估来说是可以的。

B.交叉验证（Cross Validation）：（基于重新采样技术）

交叉验证的思想是将数据划分为几个子集或“折叠”。然后在其中一些子集上训练模型，并在其余子集上进行测试。该过程重复多次，每次使用不同的子集进行训练和验证。通常对每一轮的结果进行平均，以估计模型的总体性能。

机器学习中常用的交叉验证方法有几种。以下是一些最广泛使用的技术：

留一交叉验证（LOOCV）：Leave-One-Out Cross-Validation

(n rows-> n models ->(n-1) for training -> 1 for testing)

让我们用一个更简单的解释和一个真实的例子来理解Leave One Out Cross Validation（LOOCV）。

Leave one-out cross validation

想象一下，你是一名为考试而学习的学生。你有一系列练习题，你想用它们来评估你的知识，并预测你在实际考试中的表现。但是，你要确保你的预测尽可能准确。

在LOOCV中，您模拟一种情况，通过一次省略一个练习问题来测试您的知识，并使用剩余的问题来评估您的理解。

以下是它的工作原理：

1. 假设你有20道练习题，编号从1到20。
2. 对于第一轮LOOCV，您决定省略问题1，将问题2至20作为您的训练集。你研究这些问题，并根据你对其他问题的理解来预测问题1的答案。
3. 在对问题1做出预测后，将其与实际答案进行比较。这让你知道，如果这是训练的一部分，你在这个特定问题上的表现会有多好。
4. 你对每个问题重复这个过程，一次漏掉一个问题，并根据其余问题预测答案。每次，你都要对照实际答案来评估你的预测。
5. 最后，你将完成所有20个问题，去掉每一个，并评估你的预测。您可以通过将所有预测与实际答案进行比较来计算总体准确性（平均准确性）或任何其他性能指标。

在本例中，LOOCV模拟了一种情况，即通过一次省略一个问题并评估您的表现来评估您的知识。通过对所有问题进行这个过程，你可以更准确地估计你对材料的理解程度以及你在实际考试中的表现。

要实现LOOCV技术，请参阅我的github上的Jupyter笔记本。点击这里！

LOOCV的优点：-

数据的使用：

LOOCV使用几乎所有的数据进行训练，这在数据集很小、每个数据点都很有价值的情况下是有益的。

偏差较小：

由于每次迭代验证仅在一个数据点上进行，LOOCV的偏差小于其他方法，如k倍验证。

无随机性：

列车/试验分裂不存在随机性，因此评估是稳定的，不会因不同的随机分裂而导致结果变化。

LOOCV的缺点：-

• 计算费用与时间消耗
• 不适合不平衡的数据集

何时使用LOOCV：

• 小型数据集
• 平衡的数据集

需要较少偏差的性能估计：由于LOOCV使用了几乎所有的数据进行训练，因此与k倍交叉验证等其他方法相比，它对模型性能的估计较少偏差。

2.K-Fold交叉验证(K-Fold Cross-Validation:)：

• 在k折叠交叉验证中，数据集被划分为k个大小相等的折叠或子集。
• 该模型被训练和评估了k次，每次都使用不同的折叠作为验证集，而剩余的折叠用于训练。
• 对从每次迭代中获得的性能度量进行平均以获得总体性能估计。

让我们通过一个例子来理解k折叠交叉验证：

假设您有一个包含100个图像的数据集，并且您想要构建一个图像分类器。为了评估分类器的性能，您决定使用5倍的交叉验证。

以下是它的工作原理：

数据集准备：

• 您将100幅图像的数据集划分为5个大小相等的折叠，每个折叠包含20幅图像。
• 每个折叠表示将用于训练和验证的数据的子集。

2.迭代1：

 

• 在第一次迭代中，使用折叠1作为验证集，其余的折叠2到5作为训练集。
• 您在Folds 2到5上使用80个图像训练图像分类器，并在Fold 1上评估其性能，Fold 1有20个图像。
• 您记录所获得的性能指标，如准确性、精密度、召回率或任何其他相关指标。

3.迭代2：

 

• 在第二次迭代中，将折叠2用作验证集，将折叠1、3、4和5用作训练集。
• 使用80个图像在折叠1、3、4和5上训练图像分类器，并在具有20个图像的折叠2上评估其性能。
• 再次记录所获得的性能指标。

4.迭代3、4和5：

 

• 对折叠3、4和5重复相同的过程，将它们用作验证集，而其余折叠用作训练集。
• 每次，您都要在训练集上训练模型，并在各自的验证折叠中评估其性能。
• 记录每次迭代的性能指标。

5.性能评估：

 

• 完成所有5次迭代后，您就可以获得每个折叠的性能指标。
• 为了获得总体性能估计，您对从5次迭代中获得的性能指标取平均值。
• 这个平均值代表了图像分类器在所有折叠中的性能，并提供了其有效性的可靠估计。

要实现K-fold交叉验证技术，请参阅我的GitHub上的Jupyter笔记本。点击这里！

K折叠交叉验证的优点：-

• 方差减少：LOOCV具有更高的方差，因为由于训练数据的差异最小，模型高度相关。在k倍交叉验证中，验证集之间的较大差异会降低模型之间的相关性，从而导致较低的方差。
• 与LOOCV相比，计算成本低廉。

K折叠交叉验证的缺点：-

 

• 可能无法很好地处理不平衡类：如果数据集具有不平衡类，则在分区时，一些折叠可能不包含少数类的任何样本，这可能导致误导性的性能指标。
• 高偏置的可能性

何时使用K折叠交叉验证：

• 当您拥有足够大的数据集时
• 当数据均匀分布时

3.分层K-fold交叉验证(Stratified K-fold cross validation )：

 

分层k倍交叉验证是k倍交叉校验的一种变体，它解决了数据集中类分布不平衡的问题。它通常用于目标变量或感兴趣的类分布不均的情况。

在标准的k折叠交叉验证中，数据集被随机划分为k个大小相等的折叠。然而，这种随机划分可能会导致一些折叠具有显著不平衡的类分布，特别是当原始数据集存在类不平衡问题时。

分层k折叠交叉验证旨在保持不同折叠之间的类别分布。它确保每个折叠都与原始数据集保持相同的类分布，从而提供更可靠的模型性能估计，特别是对于不平衡的数据集。

分层k次交叉验证过程包括以下步骤：

1. 首先，通常使用随机采样将数据集划分为k个折叠。
2. 接下来，对于每个折叠，分析目标变量的类别分布。
3. 然后以这样的方式构建折叠，即每个折叠包含与原始数据集大致相同比例的每个类。这确保了每个折叠都代表了整个类别的分布。
4. 使用k次迭代对模型进行训练和评估，其中在每次迭代中，一个折叠用作验证集，其余k-1个折叠用作训练集。
5. 计算每个折叠的性能指标，如准确性或F1分数，并对结果进行平均，以获得模型的总体性能估计。

要实现分层K折叠交叉验证技术，请参阅我的GitHub上的Jupyter笔记本。点击这里！

我希望这将提高您对机器学习中的模型评估技术的了解。感谢您阅读这篇文章！

机器学习（ML）是使用具有正确算法的训练数据集来训练模型以实现准确预测的过程。机器学习中的验证就像是对训练模型所做预测的授权或验证。

另一方面，机器学习中的评估是指对整个机器学习模型及其在各种情况下的性能进行评估或测试。它包括评估机器学习模型的训练过程、深度学习算法的性能以及在不同情况下给出的预测的准确性。

ML中的评估（Evaluation）与验证（Validation）有何不同？

事实上，机器学习中的验证（validation ）与训练模型时使用的数据集的确认（confirmation ）以及模型给出的输出有关。意味着再次用于训练机器的模型预测数据由经验丰富的专业人员手动验证，从而使机器了解预测中的错误并改进结果。

ML模型验证

 

例如，注释图像用于使用ML算法训练模型，并且当这些注释图像帮助机器学习某些模式以检测对象或在现实生活中使用时识别感兴趣的对象时。

当向机器显示相似的未标记图像以识别相似的属性时，根据过去学习的数据进行预测。在这里，经验丰富的专业人员会检查输出并验证(validate )输出是否正确，如果需要任何更正，他们也会进行同样的操作，并再次输入到模型训练中，以提高准确性。

ML模型评估

 

相反，机器学习中的评估与验证不同。事实上，在模型开发之后，除了准确的预测外，其他方面还需要进行评估以进行最终测试。检查ML模型在不同情况下的性能，以及在开发此类模型时使用了什么样的训练数据或算法。

你可以说这是一种测试，主要涉及检查算法的性能，或者它是否适合你的模型训练，以及在进行机器学习模型训练时还考虑了哪些其他参数。

验证和评估所遵循的方法

 

提供ML模型验证服务的公司遵循机器学习中各种类型的验证过程。除了其他几种方法外，根据开发人员的可行性、算法兼容性和项目要求，交叉验证和手动验证是专业人士很少采用的流行方法。

而另一方面，评估过程并不具体，而是由机器学习专业人员根据他们的轻松程度来遵循。然而，某些固定参数规则在那里，以确保行业标准使ML模型真实可靠。评估过程基本上是由人工完成的。

自动验证与手动验证

然而，由于有多种验证方法，验证过程可能会更加棘手，选择正确的方法对ML专业人员来说可能是一项挑战。自动化验证过程可以使用不同类型的验证方法进行。但人工手动验证是最好的方法，它几乎不需要额外的时间，但可以帮助您准确地验证模型预测，并在最佳水平上提高准确性。

 

黑盒测试和预言

机器学习（ML）模型的黑盒测试是指在不了解模型内部细节的情况下进行测试，例如创建模型所使用的算法和其中的特征。黑盒测试的主要目标是以持续的方式确保模型的质量。

黑盒测试的困难在于试图识别测试神话，这是一种确定测试是否通过的机制。

为什么ML模型被认为是不可测试的？如何使它们可测试？

在传统软件开发的情况下，模型是通过使用测试预言机（如测试人员、测试工程师或与测试程序一起工作的测试机制）进行测试的。预言机可以根据预期值验证测试结果。然而，ML模型通常被认为是不稳定的，因为很难对其进行黑盒测试。由于ML模型输出某种预测，因此没有用于验证测试结果的预期值。

由于缺乏测试预言机，所以使用伪预言机。伪预言表示当给定输入集的输出相互比较并确定正确性时的场景。

例如，为了解决一个问题，已经使用两种不同的实现对程序进行了编码；其中一个将被视为主程序。输入通过这两个实现。如果输出与主程序相同或成比例（即，它落在预定值附近的给定范围内），则可以认为该程序按预期或正确工作。

缺少测试预言机(Absence of test oracle)

 

这是用于对ML模型执行质量控制检查的许多技术之一。

功能测试

为了更好地理解ML模型的功能测试，请考虑以下示例：

哪里

• f=测试中的功能
• x=输入
• y=输出
• H=启发式（即测试或实验）
• O=观察和预言（即预期结果）

功能测试流程图

测试人员如何对ML模型进行功能测试？

测试人员必须在测试模型之前确定f、x和y值。如果需要，他们可以咨询正在构建产品的工程师，他们可以阅读和编写文档，他们可以依靠自己的经验进行假设，他们可以在线研究材料。通过这些方法，测试人员将得出可能的实验和测试（H）以及预期结果（O）。它们还将帮助查找功能性错误。

测试人员通过测试过程的每一次迭代来阐明对f、x和y值的理解。

培训、评估、测试和准确性

模特培训

深度学习的模型训练包括分割数据集、调整超参数和执行批量归一化。

拆分数据集

为培训收集的数据需要分为三组：培训、验证和测试。

• 训练--高达总数据集的75%用于训练。模型在训练集上学习；换句话说，该集合用于分配进入模型的权重和偏差。
• 验证——在训练模型时，使用15%至20%的数据来评估初始精度，了解模型如何学习和微调超参数。该模型可以看到验证数据，但不使用它来学习权重和偏差。
• 测试——5%到10%的数据用于最终评估。由于从未见过这个数据集，该模型没有任何偏见。

超参数调整

超参数可以想象为用于控制训练算法的行为的设置，如下所示。

基于人类可调节的超参数，该算法在训练阶段从数据中学习参数。它们由设计者在理论推导后设置或自动调整。

 

在深度学习的背景下，超参数的例子有：

1. 学习率
2. 隐藏单元数
3. 卷积核宽度
4. 正则化技术

有两种常见的方法来调整超参数，如下图所示。

 

 

第一种，标准网格搜索优化，是通过超参数组合的预定列表的暴力方法。列出超参数的所有可能值，并以迭代的方式循环以获得最佳值。网格搜索优化需要相对较少的编程时间，并且如果特征向量中的维数较低，则效果良好。但是，随着维度数量的增加，调整所需的时间越来越长。

另一种常见的方法，随机搜索优化，包括随机采样值，而不是通过超参数的每个组合进行彻底搜索。一般来说，它比网格搜索优化在更短的时间内产生更好的结果。

批量规范化

规范化和标准化这两种技术的目标都是通过将所有数据点放在同一尺度上来转换数据，为训练做准备。

归一化过程通常包括将数值数据缩小到从零到一的比例。另一方面，标准化通常包括从每个数据点减去数据集的平均值，然后将差值除以数据集的标准差。这迫使标准化数据的平均值为零，标准偏差为一。标准化通常被称为规范化；两者都可以归结为将数据放在某种已知或标准的尺度上。

模型评估和测试

一旦模型经过训练，就会根据混淆矩阵和精度/准确性指标来衡量性能。

混淆矩阵

混淆矩阵描述分类器模型的性能，如下面描述的2x2矩阵所示。

考虑一个简单的分类器来预测患者是否患有癌症。有四种可能的结果：

• 真阳性（TP）-预测是肯定的，患者确实患有癌症。
• 真阴性（TN）-预测没有，患者没有癌症。
• 假阳性（FP）-预测是肯定的，但患者没有癌症（也称为“I型错误”）。
• 假阴性（FN）-没有预测，但患者确实患有癌症（也称为“II型错误”）

混淆矩阵每个轴可以容纳2个以上的类，如下所示：

精度/准确度

基于分类器预测和实际值来计算精度和准确度也是有用的。

准确性是衡量分类器在所有观测中正确的频率的指标。基于上述网格的计算结果为（TP+TN）/总计=（100+50）/（60+105）=0.91。

精度是在预测为“是”时实际值为“是的频率”的度量。在这种情况下，该计算是TP/预测的yes＝100/（100+10）＝0.91。

如果你的机器学习模型在坚持测试数据集上的正确性得分很高，那么在生产中部署它安全吗？

所有的模型都是错误的，但有些是有用的。

-- 乔治·伯克斯（英国著名统计学家）

但我要问的问题是：更正确的模型更有用吗？

最近，我们为一位客户培训了语音识别，其准确率高于给定目标。在仔细检查错误后，我们发现该模型在转录数字方面做得特别差。显然，仅仅评估模型的准确性是不足以决定模型是否足够好，可以部署。

模型评估与模型测试

在机器学习中，我们主要关注模型评估：在看不见的坚持测试数据集上总结模型正确性的度量和图。

另一方面，模型测试是为了检查模型的学习行为是否与“我们期望的”相同。它不像模型评估那样严格定义。通过模型误差和特征误差进行组合（就像我在语音识别中发现的数字问题一样）只是一种测试。

有关训练前和训练后的概述，请参阅Jeremy Jordan的机器学习系统的有效测试。有关相同的一些示例测试用例，请参阅：Eugene Yan的《如何测试机器学习代码和系统》。

 

模型解释性(Explainability)或模型可解释性(Interpretability)

人类可以在多大程度上理解模型的结果，并可以解释其决策“逻辑”。至少对于非DNN模型来说，这是测试中非常重要的一部分。

10种ML测试

Srinivas Padmanabhuni博士在针对您的AI/ML/DL模型的10个测试中列出了10种类型的测试，包括模型评估、模型测试、推理延迟等：

 

1. 随机测试与训练验证测试分割(Randomized Testing with Train-Validation-Test Split:)：在未发现的数据上测量模型准确性的典型测试。
2. 交叉验证技术（Cross-Validation Techniques）：测量数据分割的多次迭代的性能，例如K-Fold、LOOCV、Bootstrap。
3. 可解释性测试（Explainability Tests）：当模型（如DNN）不可解释时很有用。主要有两种类型：模型不可知测试和模型特定测试。
4. 安全测试（Security Test）：防止使用中毒数据欺骗模型的对抗性攻击。再次，有两种变体：白盒（具有模型参数知识）和黑盒。
5. 覆盖测试（Coverage Tests）：一种系统的方法，以确保看不见的数据足够多样化，涵盖广泛的输入场景。
6. 偏见/公平性测试（Bias / Fairness Tests）：确保模型不歧视任何人口学。
7. 隐私测试（Privacy Tests）：防止隐私攻击/侵犯。模型推断不应使计算出训练数据成为可能，并且推断的数据中不应嵌入PII。
8. 性能测试（Performance Tests）：模型推理是否发生在用例的延迟SLA内。
9. 漂移测试（Drift Tests）：防止概念/数据漂移。
10. 代理测试（Tests for Agency）：模型结果与人类行为的接近程度。

带有代码示例的详细示例

与Eugene Yan的文章相似，但篇幅更长，重点不同，代码示例更详细：

• Testing ML Systems: Code, Data and Models (in Made With ML) by Gokul Mohandas

• Snorkel Intro Tutorial: Data Slicing by Snorkel AI

总结

当谈到机器学习测试时，它与软件测试大不相同。它还没有像传统测试那样成熟和被广泛理解。

对于在生产中部署，您不应该只关注模型评估，还应该测试模型的切片、运行时性能、偏差、安全性等。

我们都在想办法测试机器学习模型。

我们所说的测试、评估和评估是什么意思？

当在教育环境中进行定义时，评估、评估和测试都用于衡量学生掌握了多少指定材料，学生学习材料的情况如何，以及学生实现既定目标的情况如何。尽管您可能认为评估只会为讲师提供分数或等级的依据信息，但评估也有助于您评估自己的学习情况。

教育专业人员区分评估、评估和测试。然而，就本教程而言，您真正需要理解的是，这是三个不同的术语，用于指计算您对给定主题的了解程度的过程，并且每个术语都有不同的含义。为了简化事情，我们将在本教程中使用“评估”一词来指代衡量您所知和所学内容的过程。

如果你好奇，这里有一些定义：

• 测试（test ）或测验（quiz ）用于检查某人对某事的知识，以确定他或她知道或已经学到了什么。测试衡量已经达到的技能或知识水平。
• 评估（Evaluation ）是根据标准和证据做出判断的过程。
• 评估(Assessment )是记录知识、技能、态度和信念的过程，通常是可衡量的。评估的目标是做出改进，而不是简单地被评判。在教育背景下，评估是描述、收集、记录、评分和解释学习信息的过程。

为什么评估(Assessment)很重要？

希望在你生命的这一点上，你已经发现学习可以很有趣！你可能也意识到，无论你是在教室、汽车还是厨房里，你都在不断地学习。

评估有助于你对自己的学习能力建立信心。

也许你听说过全球工作文化正在发生变化。与你的祖父不同，你一生中可能会有很多不同的工作和职业。为了取得成功，你需要对自己的学习能力有信心，你需要成为一名终身学习者。评估在培养你对学习能力的信心以及发展你的终身学习技能方面发挥着关键作用。

自动化领域的发展导致了技术的巨大发展。自动化测试已经成为各种实体功能背后的驱动力，因为它减少了手工测试的工作量，并且不太容易出错。自动化可以在早期阶段发现错误，最重要的是，它促进了批量测试，从而使业务得到前所未有的提升。UiPath测试套件和Selenium是两个在全球广泛使用的自动化工具。本文将介绍UiPath如何超越Selenium。

什么是UiPath测试套件?

UiPath是一个基于GUI的工具，使用RPA技术实现移动应用自动化、web自动化、桌面自动化、镜像自动化和远程机器自动化等。它使用拖放功能来自动化重复的任务。UiPath工具是开放和可扩展的，允许用户自动化复杂的过程，并为他们提供了一个易于学习和维护的低代码平台。它是高度安全的，因为它对集中式服务器上的凭据进行加密，并简化了第三方集成功能。UiPath通过从Citrix环境、桌面应用程序和终端仿真器中获取订单来方便记录，从而使自动化更加精确和快速。

UiPath通过无脚本的方法支持自动化测试，并通过灵活的对象识别实现了集成的UI自动化。这些是大多数自动化测试工具无法发挥其潜力的许多场景。随着UIPath的出现，机器人成为了测试者。这对于测试行业来说是一个福音，因为现在人们可以真正地模拟人类行为，并提出使用测试自动化工具难以想象的测试覆盖率。

此外，UiPath测试套件可以看作是一个业务测试工具，通过消除对测试人员的依赖，允许业务测试人员做更多的工作，从而使业务用户能够做更多的工作。

以下是UiPath的要素:

• 测试管理器
• 协调器
• StudioPro
• 机器人

 

UiPath测试套件的特性

• UiPath依赖于工作流自动化和涉及拖放功能的屏幕抓取，并且工作过程独立于软件编码。它还提供了录音的便利。它有特殊的记录Citrix环境，桌面应用程序，和终端模拟器，以帮助创建自动化非常快速和精确。
• UiPath测试套件具有强大的集成能力，因此可以连接到各种ALM工具，如JIRA。UiPath减少了人工劳动，提高了客户服务，并以更高的效率工作，从而使组织受益。
• UiPath为自动化第三方应用程序、应用程序集成和业务IT流程等提供了一个完整的解决方案
• RPA的关键组件是软件机器人，它们被设计成模拟人类以减少手工劳动
• 生命周期更简单，因为它涉及很少的步骤和灵活的处理文书程序

Selenium是什么?

Selenium是一个开源的可移植框架，允许跨各种浏览器、平台和编程语言进行自动化测试。Selenium是使用JavaScript创建的，因此它可以在任何支持JavaScript的浏览器上工作。Selenium测试代码可以用许多编程语言编写，比如C、Java、Perl、PHP、Python和Ruby。

它用于功能和回归测试，并支持跨浏览器测试。此外，该工具提供了通过记录和回放方法或手动设计测试用例的灵活性。

除了自动化应用程序流程，selenium还执行其他任务，如网站的横幅上传、更改SPO站点的特性等。

Selenium的特点

• Selenium不仅仅是一个工具，它是一套由四个工具组成的工具，旨在满足组织的不同测试需求
• Selenium是一个脚本库，需要围绕它创建适当的框架。构建和维护这样一个框架需要大量的工作，因为它涉及到软件编码
• Selenium只能用于测试基于web的应用程序，它不支持移动本地应用程序、移动混合应用程序和计算机桌面应用程序。Selenium与虚拟化环境不兼容
• 它需要不同的库、绑定语言和技术专长来使其成为一个完整的解决方案，因为它是在web应用程序上运行的，所以它不支持任何文书处理

UiPath Vs Selenium

UiPath测试套件和Selenium是人们谈论最多的自动化工具，它们以不同的方式减少人工干预和提高生产率。以下是这两家自动化巨头的主要区别。

结论

Selenium和UiPath都是自动化革命不可避免的一部分，因为它们有助于在提高质量的同时最小化人工干预。通过比较这两种软件，可以得出UiPath比Selenium更有优势，因为它以速度和效率扩大了企业的自动化规模。它消除了编程的需要，而是通过创建软件机器人来实现端到端自动化。

Selenium最大的缺点之一是它只用于测试基于web的应用程序，而UiPath促进了Android和iOS移动应用程序或web表单上的无缝自动化，并提供了一个很棒的用户界面。它允许一流的计算机视觉能力，允许在Citrix环境上实现自动化，这在Selenium中是不可能的。UiPath之所以成为更好的选择，还有其他一些原因，比如处理大量数据的准确性、生产率的提高、提供60天的免费试用许可证以及可以在无人看护的情况下工作等。

因此，UiPath是自动化的未来，因为它使小型企业或大型企业通过无错误地执行大量测试用例来节省操作和人力成本。

除了取代许多工作，自动化还将改变其他工作。

原文：https://www.bigsteptech.com/why-prefer-uipath-test-automation-over-selenium/

本文：http://jiagoushi.pro/node/1323

讨论：请加入知识星球【首席架构师圈】或者小号【jiagoushi_pro】或者QQ群【11107777】

根据德勤的一项调查，78% 已经实施 RPA 的企业预计未来三年将大幅增加对 RPA 的投资。然而，由于缺乏对现有流程的可见性以实现自动化以及对可用的 RPA 供应商解决方案缺乏熟悉，50% 的 RPA 项目面临失败的风险。

在这项研究中，我们探讨了准备和启动成功的 RPA 项目所需的步骤。如果您正在考虑开始使用 RPA，请阅读我们的指南，该指南从旅程开始：流程识别。

1. 借助内部访谈和流程挖掘，了解现有流程

可以通过与当前运行流程的操作员的访谈来理解流程，但仅依靠这种方法是

• 代价高昂——采访需要时间
• 容易出错——人们的记忆力不完善，容易产生许多认知偏差

另一种方法是将访谈与源自任务/流程挖掘的分析结合起来。流程挖掘软件使公司能够分析他们的日志以了解现实生活中的流程。任务挖掘公司通过员工行为的视频记录来扩充这些日志数据。当然，这些供应商也会自动从这些视频资料中删除非公开个人信息 NPPI。

通过使用实时数据和事件日志，这些解决方案可以显示流程的实际情况，帮助识别瓶颈、不必要的步骤，并提供事实见解。

随意阅读我们关于流程挖掘、任务挖掘和该行业顶级公司的研究，以了解更多信息。

2.改进和简化现有流程

由于监管压力和市场压力，流程不断发展。尽管有时会通过自上而下的精益或 6 sigma 项目对其进行改进，但这些项目很少而且成本很高。因此，大多数流程都有很大的改进潜力。

只需考虑在美国医疗保健系统中使用传真机。包括 Vox 在内的众多媒体报道了美国医疗保健系统如何依赖医院通过传真或手动交付的文件共享记录，因为数字医疗保健记录不是以兼容的方式跨不同机构建立的。

因此，在继续实施 RPA 之前，有必要在流程中寻找改进，因为流程改进可以

• 简化流程
• 使其更易于理解，从而减少必要的编程和审计工作
• 改善客户体验

3. 选择你的合作伙伴

有许多合作伙伴和顾问可以帮助推出 RPA 解决方案。虽然仅使用 RPA 解决方案进行 RPA 部署似乎是一种快速且廉价的方法，但案例研究表明，公司通过使用同类最佳方法（即结合使用流程挖掘和机器学习工具）可以节省大量时间和金钱与 RPA）。

赞助：

IBM 提供远程交付的咨询和实施服务，以协助客户设计、构建和部署 IBM Robotic Process Automation，包括：

• 识别和验证可操作的用例
• 定义或审查架构
• 审查迁移方法
• 定义商业价值
• 定义期望
• 讨论当前和未来的实施计划
• 展示组织架构的高级路线图
• 安装和配置开发和运行时环境

4. 选择您的任务挖掘/流程挖掘解决方案

虽然在 RPA 实施中使用流程挖掘解决方案不是强制性的，但拥有流程挖掘解决方案可以帮助公司

• 优先考虑自动化机会
• 详细了解有助于 RPA 开发的流程
•  跟踪 RPA 实施后的流程变化，以确保部署成功。

随意从我们可排序的最新列表中发现市场上所有最新的流程挖掘软件。

5. 选择您的 RPA 解决方案

我们有关于如何选择您的 RPA 技术提供商的详细指南。由于 RPA 是一个不断发展的领域，其中包含无代码 RPA 等新解决方案，因此在购买 RPA 解决方案时花一点时间了解最新的注意事项列表会很有帮助。

要查看完整列表，请随时访问我们网站上的 RPA 软件供应商列表。

6. 选择 AI/ML 提供商以促进您的 RPA 部署

虽然 RPA 非常适合自动化基于规则的任务，但很难自动化更复杂的任务，例如使用 RPA 从文档中获取数据。 RPA 提供商可能会提供对此类功能进行编程的方法，但由于这不是他们关注的领域，因此这些解决方案往往不是性能最好的。研究解决您试图解决的特定问题的 AI/ML 提供商是有意义的。

AI/ML 提供商可以加速的一些常见 RPA 用例包括：

• 赞助：通过集成由深度学习解决方案提供商（如 Hypatos）提供的 API，发票自动化很容易实现自动化，几乎完全无接触处理。
• 许多 RPA 项目包括文档数据提取，专业的 ML 提供商在该领域提供有竞争力的解决方案。查看我们全面的、数据驱动的文档数据采集公司列表。

7. 开发你的解决方案

最初，需要准备一份详细的流程图，以确定流程的哪些部分将被自动化。这是 WorkFusion 的一个例子：

WorkFusion 的自动化快速入门指南

在准备流程图时，来自您组织的主题专家的贡献至关重要。如果过程没有很好的记录，这尤其重要。根据我们与大公司的经验，大多数流程都没有很好的记录。

明确 RPA 机器人在流程中的作用后，可以对 RPA 机器人进行编程。在开发解决方案时，需要仔细权衡诸如更快部署与更大灵活性之类的权衡。遵循完善的精益软件开发和质量保证流程将确保业务和技术团队保持一致并取得进展。

最近的一项发展是推出了 RPA 市场，这些市场提供可重用的插件/机器人来促进 RPA 开发。建议实施团队检查他们的 RPA 平台市场以获取现成的代码，而不是重新发明轮子。随意阅读我们关于 RPA 市场和可重复使用的 RPA 机器人的指南的更多信息。

8. 测试你的解决方案

测试的重要性怎么强调都不为过。我们解释了 3 种不同类型的 RPA。例如，在有人值守的自动化中，用户系统的细微差异（例如某些用户使用 MacBook 甚至不同的屏幕分辨率）都可能导致意外错误。所有主要场景都需要在试点之前进行全面测试。使用历史数据可以进行更真实的测试

9. 进行试点

 

• 为试点设定目标：这些可能是关于准确性（例如成功处理的发票的份额）或自动化（例如在没有人工干预的情况下完成的案例）。
• 运行现场试点：每天，负责流程的团队都会审查随机选择的机器人输出。
• 评估试点结果：考虑罕见的情况和困难的输入，进行详细的评估。只有在达到先前商定的目标时才能完成试点。

10. 上线

 

• 在当前团队的支持下，设计新的机器人驱动流程的治理。例如，建立适当的维护机制，以使机器人随着流程的变化而正常运行。
• 明确角色和职责
• 制定后备计划：如果 RPA 解决方案在推出后需要返工，则后备计划将很有帮助。虽然大多数时候不会使用这样的计划，但在需要回退时做好准备是非常有益的。
• 向所有相关利益相关者传达新流程。
• 分析结果：
  • 监控结果：在实施过程中，流程挖掘工具可以跟踪机器人性能并衡量自动化水平，以查看项目是否实现了目标
  • 记录节省并分析结果，为未来的 RPA 项目提供信息。

11.维护RPA安装

根据市场和法规的变化，您将需要改变您的流程。组建一支有能力的团队负责安装对于您 RPA 安装的未来成功至关重要。公司要么建立卓越中心 (CoE)，与服务提供商合作，要么培训其业务人员维护现有 RPA 装置和构建新的自动化。为了支持负责 RPA 部署的团队，流程挖掘工具可以帮助他们监控流程的变化，从而确定何时需要维护/修改 RPA 机器人。

有关 RPA 实施的更多信息

在 RPA 实施之前和解决方案推出之后，需要遵循一些必要的步骤。深入阅读：

• Identifying and Prioritizing Processes to Automate with RPA
• 3 Steps to Get Buy-In For RPA
• 5 Ways to Measure RPA Post Solution Success

原文：https://research.aimultiple.com/rpa-implementation/

本文：https://jiagoushi.pro/node/2094

RPA 可用于自动化需要人工干预的后台和前台重复性任务。我们遇到的一些常见的 RPA 示例和用例是数据输入、数据提取和发票处理的自动化。在不同的业务部门（销售、人力资源、运营等）和行业（银行、零售、制造等）中，还有一些 RPA 用例自动化任务的示例。

因此，我们准备了所有 RPA 用例/应用领域的最完整列表，并将它们分为 5 个类别。

这是一个相当全面的列表，但我们无法为每家公司考虑所有可能的 RPA 应用程序。您可以使用流程挖掘解决方案根据您公司的实际流程确定对您公司影响最大的 RPA 实施领域。您可以阅读我们关于流程挖掘如何支持 RPA 的研究以获取更多信息。

常见的业务流程和活动

1- 报价到现金

每个企业都需要出售才能生存。销售的运营方面的问题代价高昂，它们可能导致客户投诉或由于文书错误而降价销售。

自动化完整的销售操作流程

• 降低人工错误率
• 为您的客户提供更快捷的服务。由于自动化可以加快流程，客户将更早收到发票，从而提前付款并改善现金流。
• 降低成本

报价到现金自动化需要一些技术：

• 文档理解：结合自然语言处理 (NLP) 和计算机视觉，公司可以从各种文档（例如电子邮件和订单）中提取信息，以自动将客户通信转换为结构化数据（包括订单）。

赞助：

Hypatos 是该领域的领先公司之一，他们详细解释了他们如何结合 NLP 和计算机视觉来实现文档理解。

• 在不同系统之间移动数据：需要处理所有涉及新订单的客户通信。生成的结构化数据需要插入公司的 ERP 或订单管理系统。 RPA 机器人或脚本可用于此目的。

这也可以是更简单的自动化过程，因为它主要依赖公司的结构化数据来生成发送给客户的发票。

2- 采购到付款 (P2P)/寻源到付款 (S2P)

由于采购到付款流程涉及从供应商电子邮件、企业资源规划 (ERP)、客户关系管理 (CRM)、银行、供应商、物流公司等多个系统中提取发票和付款数据，而且并非所有这些系统都提供简单的集成方法它们通常涉及某种形式的体力劳动。 RPA 机器人可以填补集成空白。由于它们在前端工作，因此它们可以提供一种简单的方法来自动化集成。

此外，进来的一些信息将以表格的形式出现（例如，公司从供应商处收到的发票）。需要提取、验证和丰富这些数据。例如，公司需要将总帐 (GL) 帐户分配给没有采购订单 (PO) 的发票。有关更多信息，请随时阅读我们关于自动发票和从发票中提取数据的文章。

通过完全自动化的采购到付款，您可以确保遵循采购最佳实践，并且所有交易都有单一的事实来源。

3- 客户入职

大多数 B2C 企业都有一个客户入职流程，这对于减少客户流失和让客户开始使用产品至关重要。使用 OCR 和认知自动化，即使在依赖旧系统的公司中，大多数客户入职操作也可以立即完成，从而大大改善客户体验。

许多业务功能共有的其他活动

我们在上面列出了一些可以应用 RPA 的主要端到端流程，但也有其他用例。 RPA 为您的团队提供了一把自动化的瑞士军刀，他们应该在自动化机会出现时使用它。使用 RPA 的其他一些领域是：

4- 数据更新

包括人力资源、客户服务和营销在内的大多数部门经常需要更新不断变化的客户/人员数据。设置自动更新表单或电子邮件中的相关数据的机器人可以确保部门可以访问最新和正确的数据。

5- 数据验证

大多数数据验证控件都可以嵌入到数据库中。但是，存在数据验证任务，例如针对公开可用数据交叉检查数据，RPA 自动化比其他工具更适合这些任务

6- 从 PDF、扫描文档和其他格式中提取数据

屏幕抓取、OCR（光学字符识别）和基本模式识别技术可以从几乎任何格式中提取数据，从而减少键入数据的需要。随意查看由机器学习驱动的解决方案的数据驱动列表。这些可以很容易地集成到 RPA 解决方案中，以提取数据和处理文档。

赞助：

在此演示中观看保险提供商如何通过结合移动捕获和智能文档处理来自动化其报价流程并简化客户体验，从而使用 IBM Robotic Process Automation。

https://youtu.be/ptIvwW1gG4A?list=PL_4RxtD-BL5teXFYbbhL_k5BQtqtBMHUw

7- 定期报告准备和分发

每个企业都需要定期报告以通知经理并确保团队了解他们的进度。准备这些报告并每周或每月发送它们不是劳动密集型的，但它会分散员工的注意力。 RPA 可以帮助自动化定期报告。 RPA 解决方案可以轻松地自动生成报告、分析其内容并根据这些内容通过电子邮件将其发送给相关利益相关者。

例如，一份显示存在连接问题的区域的电信运营商报告根据其严重程度有不同的接收者。关键问题报告中应复制 CTO，重大问题报告中应复制网络负责人。 RPA 机器人可以分析报告以根据提供的标准修改收件人。

8- 数据迁移和录入

遗留系统仍然在公司执行关键功能。例如，遗留计费系统需要与其他系统交互，而此类系统可能无法从 API 中提取相关数据。在这种情况下，员工会使用 CSV 等格式手动迁移数据。 RPA 可以防止这种体力劳动和它带来的潜在文书错误。

此外，使数据保持最新的此类系统能够改进分析和决策制定。我们生活在这样一个时代，即使是营销部门也有 5000 种应用可供选择。 RPA 可以帮助集成应用程序并允许进行更全面的分析。

9- 生成大量电子邮件

依靠来自多个系统的数据的海量电子邮件很难手动生成。特别是如果您经常发送它们，请考虑使该过程自动化。

商业功能活动

营销

10-线索培育

潜在客户通过无数渠道到达，例如 LinkedIn、潜在客户收集表格和供应商。

赞助：

• Argos Labs 在他们的 RPA+ Assistomation 视频中分享了一个简单的例子，说明他们如何从 LinkedIn 自动培养潜在客户。

销售

尽管销售人员应该专注于建立关系和销售，但他们的大部分时间都花在了大多数组织的运营活动上。

RPA 提供了一种自动化这些活动的方法：

11- 创建和交付发票

这是一个数据复制的案例。 CRM 和会计系统中需要存在相同的销售数据。机器人可以更新会计记录，从正确的电子邮件帐户准备和交付发票，而不是手动复制数据。

12-更新CRM

将交互更新到 CRM 既费时又费力，但却是必要的。因为 Salesforce 的行为需要充当有关客户交互的事实来源。这就是为什么有各种关于“如果它不在销售人员中，那么它就不存在”的模因。

有一类新兴的解决方案允许公司将他们的电子邮件、电话和其他通信数据集成到 CRM。如果您无法为您正在使用的 CRM 系统找到一个好的解决方案，您可以编写一个简单的机器人来使用客户联系数据更新您的 CRM 记录。

13-更新记分卡

缺乏 HR 和 CRM 系统集成的公司可以利用 RPA 机器人确保将 CRM 更改上传到记分卡，以便销售代表可以实时查看他们的进度。

客户关系管理

客户联络中心依赖于不同供应商提供的许多不同系统。 1 级联络台主要处理大量简单的重复性任务，是 RPA 的理想选择。

客户代表需要了解客户的意图，通过在不同系统和应用程序之间切换来执行必要的操作并通知客户。这有几个缺点，客户需要在代表忙于处理数据时等待，有时会询问以前询问过的信息。这会降低客户满意度并增加通话时间。这是一个罕见的公司浪费资源同时让客户不满意的例子。

该解决方案需要识别频繁的客户查询，检查客户代表响应这些查询的操作，并构建 RPA 解决方案以促进这些操作。可以有多种解决方案：

每当需要跨系统同步多条数据时，客户代表可以启动机器人。只需按一下按钮，机器人就会在几毫秒内完成所有操作。这是一个简单的 RPA 实施，可以在数小时内完成编程并快速创造价值。

可以为常见查询创建仪表板。客户代表将填写必要的数据以解决问题，机器人将在多个系统中使用该数据来完成交易。这样的仪表板将需要更多的努力，但仍然可以在几周内为大多数常见操作创建。

这些是可以使用此类自动化解决方案来自动化高频/重复性任务的典型用例：

14-加载详细的客户资料

这允许 RPA 机器人按需提供有关客户先前与公司交互的所有信息。

15-获取详细的计费数据

每当您就最近的付款致电客户服务时，您需要在线等待一两分钟，而客户服务代表会争先恐后地提取您的记录并理解它。使用编程为检索该数据的 RPA 机器人，您的支付数据可以在几秒钟内从代表单击一次即可调用。

16-更新用户偏好和其他用户信息

例如，客户可以使用 RPA 聊天机器人来更新他们的用户偏好、地址、联系信息、个人信息等，而不是连接到实时代理。

17-解决简单但常见的客户问题

例如，重置宽带客户与服务器的连接可以解决一些简单的连接问题。这可以在不使用简单的 RPA 机器人切换屏幕的情况下完成。

18-自动化需要很少决策的多步骤复杂任务

一些遗留系统迫使客户服务代表完成许多步骤来完成一些常见任务。如果这些步骤不需要人工判断，它们可以轻松实现自动化，从而节省大量时间。

支持职能方面的活动

L1 技术支持

如果不增加自动化功能，IT 支持团队可能会发现自己被简单但耗时的查询所淹没。这会导致服务缓慢，并使大多数不喜欢在智力上不具有挑战性的重复性任务的支持人员失去动力。

机器人可以围绕 IT 应用程序和基础设施自动执行各种复杂的系统管理任务，包括以下任务：

19- 定期诊断

从多个人那里听到同样的问题是很痛苦的。这正是系统发生灾难性故障时发生的情况。当团队努力解决问题时，他们还需要处理同事询问系统何时启动的电话。机器人的定期诊断工作使技术支持团队比所有其他团队领先一步，并让他们在普通用户注意到之前对可能的故障做出响应。这既提高了用户满意度，又避免了支持人员浪费时间来解决他们已经知道的问题。

企业还可以利用可以安排和触发工作流的工作负载自动化 (WLA) 工具进行定期诊断，以便 WLA 工具可以监控流程并自动进行状态检查并通知用户流程失败或错误。

赞助：

• 瑞士投资银行和金融服务公司 UBS 在其 IT 运营中利用工作负载自动化。该团队集成了 Redwood 的监控、警报和错误处理工作负载自动化解决方案，将其 IT 流程解决方案的总拥有成本降低了 30%。

20- 故障修复

RPA 机器人，尤其是支持聊天机器人的 RPA 机器人，可以通过编程利用命令目录中的故障修复响应来帮助用户进行故障排除。例如，用户可能会联系软件公司并告诉其聊天机器人他们的软件“不断崩溃”。聊天机器人将利用其数据库对适用于软件崩溃的适当补救措施，并迅速为用户提供答案。

技术

21-向客户或员工开放内部工具

几乎所有客户服务或技术支持部门都有具有高级功能的内部工具。他们依靠服务代表来使用这些工具并为内部或外部客户提供服务。特别是如果这些工具位于遗留系统中，则很难在未经培训的情况下将它们直接暴露给客户或员工。然而，RPA 提供了一个解决方案。

大多数功能的使用频率遵循帕累托原则。一些功能非常常用，而其余的几乎从未使用过。在确定内部工具的流行功能后，可以编写简单的 Web 界面，在机器人的帮助下完成这些功能。这可以节省用户时间，同时减轻支持团队的负担。

22- 软件安装

RPA 可以启用具有相互依赖组件的复杂系统的单击安装。

23- 自动化测试

RPA 工具是从模拟用户交互的测试工具演变而来的。虽然测试可以内置到软件中，但从用户的角度进行测试很重要。手动执行此类测试非常耗时。但是，当它们自动化时，它们可以闪电般快速。

常见的测试场景使用 RPA 工具自动化，这些测试在每个版本之后运行，确保不会将新错误引入代码。显然，需要根据每个新版本中开发的特定功能进行更多创造性的手动测试。但是，使用 RPA 工具进行自动化测试可以促进测试并提高软件质量。由于这些测试往往很简单，因此没有代码 RPA 解决方案在这种情况下是理想的。

金融

24-财务规划

财务规划涉及在财务规划和分析 (FP&A) 系统中处理和合并来自多个部门的财务报表，该系统至少可以部分自动化。

25- 银行对账单对账

从银行对账单中提取数据以核对记录并将其与公司自己的记录进行比较是通过复杂的电子表格手动完成的。然而，这是一个相对容易自动化的过程。需要注意的重要一点是，当公司更换与之合作的银行时，基于规则的自动化可能会中断。最好在贵公司更改其银行服务提供商后测试机器人的初始输出。

26- 每日盈亏准备

大型金融服务公司，尤其是那些从事贸易业务的公司，每天都会跟踪损益和风险敞口。虽然一些公司已经自动化了这些流程，但一些公司仍然依赖 Excel、遗留工具和手动工作来完成这些报告。

一些供应商声称 1 他们致力于为一家金融服务公司实现日常损益准备工作的自动化。由此产生的 RPA 安装将处理时间从 60 分钟减少到 20 分钟，从而提高了报告的准确性。

人力资源

27- 候选人寻源

依赖传统人力资源系统的公司可以使用机器人自动汇总简历、评估结果和面试笔记。然而，大多数现代 HR 系统都会处理这些功能，从而减少对定制解决方案的需求。

企业可以利用网络爬虫，从 Glassdoor 或 LinkedIn 等在线求职平台提取数据，以创建人才库、比较候选人数据并了解就业市场。要了解招聘人员如何从网络爬虫/抓取工具中受益的更多信息，请随时阅读我们关于招聘中网络抓取用例的数据驱动文章。

赞助：

• 下面的视频演示了 Bright Data 的数据收集器如何从社交媒体平台上的个人和公司资料中提取数据：

https://youtu.be/qc6i_O9prg8

28- 工作经历验证

这个过程包括许多常规步骤，例如安排面谈、维护记录。候选人验证服务提供商1在 8 周内实施了 RPA 解决方案，并减少了 40% 的人工。

29- 招聘、入职和裁员

特别是对于成长型或收缩型公司而言，招聘和解雇会给人力资源和其他支持功能（如 IT、安全、设施管理）带来巨大的负担。虽然构建一个包含所有这些功能并为新员工或离职员工完成必要任务的解决方案成本很高，但 RPA 机器人可以相对快速有效地部署。自动化部分流程并在 RPA 机器人管理模块上衡量其进度可为整个流程带来速度和透明度。

赞助：

在入职的情况下，拥有一个支持人工智能的工具可以进一步促进入职过程，并帮助招聘人员根据数据驱动的洞察力评估候选人。例如，下图展示了 IBM 支持 AI 的 RPA 解决方案如何：

• 自动捕获和处理新的申请文件
• 为每个提交的新应用程序触发工作流程
• 将存储和治理集中在申请人文件夹中
• 启动基于规则的决策服务，以做出硬件订购和供应决策

30- 工资自动化

工资单功能需要根据无数法规和公司规则重复处理工资单。虽然现代工资单软件为这个过程提供了一个很好的解决方案，但一些公司过于依赖遗留系统而无法切换到现代工资单软件。他们可以依靠机器人来提高工资管理流程的自动化程度。

如果您好奇，我们已经在另一篇文章中更详细地讨论了工资单自动化技术。

赞助：

在这个 IBM 案例研究中，巴西金融合作社 Sicoob 能够使用 IBM Robotic Process Automation 实现 13 个业务功能的自动化，包括：

• – 保险报价
• – 工资贷款
• – 信用额度分析

这导致重复性任务的时间和成本分别节省了 80% 和 10-20%。

31-缺勤管理

众所周知，您的员工不善于记录他们的缺勤和休假。人员可能真的对缺勤管理系统感到困惑或不知道。其次，他们不想学习或记住如何使用该系统，因为一旦他们这样做了，他们将被要求填写所有缺席，而没有人愿意这样做。问题是，虽然隐瞒某人的缺席是不道德的，但它也不是像挪用公款这样的重大犯罪。这是很容易被缺席者忘记的事情，因此很容易被原谅。最简单的解决方案：让人们决定他们的假期，只要他们完成工作。

无限假期政策可以增加团队的自主权，同时让他们免于无价值的官僚工作。一个稍微困难的解决方案：设置一个简单的 RPA 机器人来交叉检查缺勤报告与登录公司网络的时间，并让您的团队填补他们的缺勤情况。您还可以使用另一个简单的机器人来简化填写缺勤信息，这样您的人员就不会忘记在缺勤时通知系统。

32- 工人的赔偿要求

一家美国连锁药店自动化了其工人的赔偿索赔2。据称，在任何一天，他们在全国范围内都有大约 2,000 名员工在休假。通过利用 RPA，他们能够加载员工的休假类型（带薪或无薪），并在药房与其理赔管理服务提供商之间即时交换数据。

33-费用管理

尽管有复杂的专用费用管理解决方案，但大多数公司仍然使用过时的系统，要求员工提供其费用的详细信息。大多数细节，如费用金额、日期或地点，已经在员工提供的收据中提供。支持 OCR 的 RPA 解决方案可以自动从收据中提取重要字段，从而使员工在费用上浪费的时间要少得多。这也可以避免他们随身携带收据，因为只需为收据拍照就足以从收据中提取相关数据并填写费用表格中的重要字段。

34- HR 虚拟助理

为员工提供所有这些服务也是可能的。一个对客户进行身份验证并满足他们所有与人力资源相关需求的聊天机器人将帮助人力资源部门专注于更高附加值的活动。这样的机器人可以帮助员工登记病假和休假时间，请求有关其工作合同的信息，并提交费用报销。

运营

35-更新库存记录

库存管理通常涉及跨多个系统的协调，因为公司发现将所有库存管理功能集中在一个系统下具有挑战性。 RPA 机器人可以轻松地自动化这种系统间协调和通信。

36- 签发退款

与公司更频繁的流程相比，发放退款的流程远没有优化，从而导致严重的延误和客户不满。这是一个令人担忧的问题，因为要求退款的客户已经是不满意的客户，让他们更加不满意会导致他们与他人分享他们的投诉，从而损害您公司的形象。

赞助：

• 在退款的情况下，IBM 的 RPA 解决方案利用 AI 来读取、分类和提取客户数据。数字决策功能使用提取的客户信息来路由和优先处理每个客户的退款请求。根据分配的优先级，创建问题解决工作流，并通知客户退款决定。

37- 合规

不断变化的业务、监管或税务要求（例如 2018 年在迪拜引入增值税）要求企业验证数千条记录。

赞助：

IBM 的案例研究展示了全球专业金融公司 Credigy 如何利用 IBM 的 RPA 解决方案实现超过 25 个业务流程的自动化，并能够：

• 通过电子邮件、媒体下载或其他类型的自动化处理基于帐户的文档，并自动将文档加载到用户可以通过帐户轻松访问的内部系统中。
• 转发可疑电子邮件以进行 URL 扫描，并在 URL 出现恶意时提醒用户
• 通过自动从各种站点下载更新并将数据加载到特定表中以供审查，支持合规性。
• 自动化 IT 审计，包括密码强度测试。如果用户的密码未通过机器人执行的强度测试，用户会收到一封电子邮件，要求更新符合密码规则的密码。
• 自动化重复性任务使 Credigy 能够继续以 15% 以上的复合年增长率增长其业务，该公司计划在未来两年内部署数百台 RPA 机器人。

采购

38-更新供应商记录

供应商主文件对于保持最新很重要，以确保不同部门或单位可以协调他们的支出。使用机器人更新此类文件可以将采购专业人员从简单的任务中解放出来，专注于管理供应商关系。

行业特定流程

根据我们的经验和研究，包括保险和 BPO 在内的金融服务似乎是 RPA 技术的主要用户。

金融服务

39-了解你的客户（KYC）

虽然专门的 KYC 解决方案正在出现，但如果您的公司不喜欢使用其中一种，则可以使用 RPA 机器人来自动化部分 KYC 流程。对于需要人工干预的边缘案例，可以将案例转发给员工。

40-贷款处理

与大多数文档处理任务一样，此流程也适用于 RPA 自动化，因为复杂的业务逻辑可以嵌入机器人中，部分自动化贷款决策和遵循决策的手动流程。

41- 交易执行

在遗留系统无法存储复杂限价单的情况下，RPA 机器人可以提供帮助。然而，从长远来看，这更像是一个创可贴的案例，考虑到它可以改善交易并减少交易者的负担，转向一个复杂且功能强大的交易系统可能是一项不错的投资。即使在 2000 年代，作为与交易员一起工作的软件工程师，我仍然惊讶于人类仍然在输入交易并在银行从事日内交易。鉴于数据的丰富性和机器的速度，令人惊讶的是仍有人类在这方面工作。

42- 当天资金转账：

合作银行需要使用提供当日资金转账的票据交换所自动支付系统 (CHAPS) 完成支付。每个请求需要 10 分钟的手动流程已自动化，每个请求的周转时间减少到几秒钟3。流程步骤包括检查资金可用性、执行转账至需要手动授权且无错误的点、向客户收费和通知账户。

43- 账户关闭：

对于合作银行来说，关闭账户是漫长而耗时的。它需要手动取消直接借记和长期订单、转移利息费用以及将资金从一个账户转移到另一个账户等。现在系统通过 RPA 实现自动化，因此客户服务代理可以通过电话完成发送的电子表格发送到中央邮箱，由 RPA 系统处理，无需人工干预3。

44-验证和处理在线贷款申请：

RPA 可用于在在线系统和主机之间构建中介机器人，使用业务逻辑要求用户修复不正确的条目、做出贷款决策并生成确认信3。

45- 审计：

银行需要回复审计师对公司审计报告的要求。机器人已被用于查找所有客户的账户年终余额，并以 Word 文档的形式将审计报告返回给审计员。这可以减少可能需要几个小时才能完成的平均审计和可能需要数天才能完成的大型审计，而该操作可以在几分钟内完成

46- 物流 – 贸易融资

贸易融资涉及多方协调和确保货物和付款的交付。银行和公司通过信用证和其他需要处理的文件进行沟通。见下图来自 IBM

保险

47- 索赔处理

理赔处理是每家保险公司的核心。由于客户在他们不幸的时候提出索赔，因此客户体验和速度对于索赔处理至关重要。有许多因素会在索赔处理过程中产生问题，例如

手动/不一致处理：索赔处理通常涉及由外包人员完成的手动分析。

多种格式的输入数据：客户发送多种格式的数据

监管变化：没有一家保险公司可以不及时适应监管变化。这需要不断的员工培训和流程更新。

这些会导致索赔处理中的人为偏见，从而导致损失、客户不满和关键流程缺乏可见性。 RPA 机器人可以处理所有这些问题。本质上，机器人以表格形式接收非结构化数据，提取结构化数据并根据预定义规则处理索赔。这种方法可以解决人工索赔处理的所有主要问题：

声明验证可以通过规则自动化

机器人可以处理各种数据格式以提取相关数据

规则可以随着法规的变化而改变，无需任何培训，立即确保合规。

48- 上诉处理

处理索赔后，一些索赔会导致上诉，这是另一个可以从自动化中受益的过程。 RPA 提供商声称 4 以 99% 的准确率实现了 89% 的上诉处理自动化。

49-回应合作伙伴的询问

电信或保险等众多行业都依赖独立经纪人来销售其产品和服务。及时为这些合作伙伴提供服务以最大限度地提高他们的销售额至关重要。南非保险公司 Hollard 主要通过构建机器人来自动响应合作伙伴的询问，这些机器人可以解释传入的电子邮件并解决简单的询问，同时将复杂的询问传递给人类。

电信

许多电信后台流程已实现自动化。示例包括：

50- 信用检查：后付费账户需要，通常涉及手动流程

51- SIM 交换：为用户分配新的 SIM。可能是由于 SIM 格式更改或 SIM 丢失/被盗的情况

52-客户争议解决：自动分类争议，解决可以自动解决的争议并将更复杂的争议分配给相关方是一个相对简单但有效的自动化后台流程

53 – 转移客户号码：切换到其他运营商的客户需要转移他们的号码，这可以完全自动化。

零售

零售包括劳动密集型和持续的运营和分析活动，例如推出新的促销活动。 RPA 机器人可以帮助没有最先进系统的零售公司弥合系统中的差距并实现流程自动化。 RPA 机器人可以自动执行零售中的多项任务，例如：

54-产品分类

全球零售公司需要协调来自多个市场的 SKU 数据，以便能够超越数字，洞察诸如“我们在东欧的牙膏市场份额是多少？”之类的见解。传统上，这些任务需要员工手动将 SKU 与复杂电子表格中的类别进行匹配。由于这是一项不会直接影响客户的任务，因此容错性不是很高，RPA 机器人可用于自动化流程，节省数千小时的工作时间。 Everest Group 的报告提供了一个具体示例的详细信息。

55- 自动退货

自动化退货既可以提高客户满意度，又可以减少体力劳动。 RPA 机器人可用于自动化退货流程的手动方面，例如从系统检查客户购买记录。

56- 贸易促销

车间贸易促销需要大量的后端管理工作。主要任务包括

• 为促销活动创建和分配资金
• 生成报告以了解促销绩效
• RPA 机器人可以自动执行这些任务，因为它们大多是平凡的后台任务。机器人可以让零售商更轻松、更快捷地开展贸易促销活动。

57- 库存/供应链管理

一些零售商依靠遗留系统进行库存管理。 RPA 机器人可以对这些系统进行持续检查，提供关键指标的数据，例如库存水平低或库存水平快速变化的项目。

制造业

58- 物料清单 (BOM) 处理

物料清单是包含制造或维修产品所需的每种原材料、组件和说明的文档。它是制造的核心文件，不同的人员在产品制造的整个生命周期中使用 BOM。 BOM 中的任何错误都可能导致对剩余生产周期的不利链影响并导致损失。RPA 可以在 OCR 和基于深度学习的数据提取技术的支持下自动化物料清单处理。

59-库存控制

与零售中的库存管理相同，RPA 机器人可以通过在库存水平低于需求时提醒您来促进库存控制。例如，一家汽车制造商 5 声称已使用 RPA 软件来自动化库存控制流程。该机器人遵循以下步骤：

• 阅读从需求计划者那里收到的电子邮件和通知。电子邮件需要遵循某些样式指南，以确保机器人从电子邮件中正确提取数据
• 从电子邮件中提取数据并自动更新 ERP 中的安全库存详细信息
• 在更新库存水平后通知过程中的利益相关者。

60- 交货证明 (POD)

POD是制造商客户服务部门的重要文件。该文件是高度劳动密集型的，并且包含人为错误的高风险。 RPA 机器人可以跟踪物流系统，一旦交货发生，将运输数据链接到仓库管理系统。这可以节省客户服务员工的时间，同时缩短响应时间。

卫生保健

61-患者预约安排

RPA 机器人根据诊断、医生可用性、位置和其他变量（包括财务报表和保险信息）安排患者的预约。

62- 通过支持分析加强患者护理

RPA 机器人可以收集各种医疗数据。 例如，RPA 机器人可以将患者数据传输到第三方医疗保健分析服务，以提供准确的诊断和改进的患者护理，而不受任何保密规定的限制。

政府

Capgemini 图片列出了政府中 RPA 用例的完整列表，如下所示：

63- COVID-19 健康跟踪和警报自动化

与所有科技公司一样，RPA 公司也旨在帮助公共当局管理这一流行病。一家供应商声称，其机器人通过收集有症状人员的记录并向相应的医疗团队发送警报来帮助卫生机构7。该系统减少了人工工作并简化了跟踪有症状人员的过程

个人使用的 RPA 应用程序

64- 爱好者使用免费版本的 RPA 解决方案构建机器人供个人使用，用于将名片传输到 Salesforce 或从多个网站提取数据以识别拍卖网站上的最佳交易等应用程序

65- 另一个来自黑客马拉松的应用程序是为宝洁公司开发的：

自动接待员，用于欢迎企业园区的访客

有关 RPA 的更多信息

要了解有关 RPA 的更多信息，请阅读：

• 我们关于 RPA 的完整指南
• 您可以从 RPA 中获得的好处
• 我们今天可以使用的 RPA 创新指南，例如无代码 RPA
• 2022 年 150 强 RPA 顾问深度指南

如果您认为您的企业将从采用 RPA 解决方案中受益，请查看我们最新、最全面的 RPA 产品列表。

请记住，RPA 并不是所有业务问题的解决方案。机器学习专业知识可能是自动化复杂业务问题所必需的。如果您在识别 RPA 或其他类别的解决方案提供商方面需要帮助：

来源

我们依靠报告（例如这些真实世界的 RPA 用例）以及我们在编制此列表时的经验。 提到的具体案例研究是：

• 就业验证案例研究。
• 工人赔偿索赔案例研究。
• 合作案例研究
• 库存控制案例研究。
• 上诉处理案例研究
• 损益准备研究
• 健康追踪案例研究

原文：https://research.aimultiple.com/robotic-process-automation-use-cases/

本文：https://jiagoushi.pro/node/2095

机器人流程自动化 (RPA) 正在获得认可，尤其是在金融和电信行业，但是我们已经与许多高管进行了交谈，并且也有很多 RPA 失败的故事。最近的一项调查显示，超过 40% 的 RPA 项目未能在以下方面达到预期

• 实施时间
• 实施成本
• 通过 RPA 节省成本
• 分析的好处

我们概述了导致现实与期望之间存在这些差距的一些最常见的陷阱。我们在下面详细解释这些要点：

组织陷阱：

 

• 1-当地团队缺乏时间承诺
•  2-缺乏领导认同
• 3-缺乏 IT 支持
• 4-缺乏分析/数据功能的支持
• 5-缺乏HR的支持
• 6-责任不明确
• 7-公司缺乏明确的 RPA 战略

流程陷阱：

 

• 8-选择一个经常变化的过程
• 9- 选择对业务影响不大的流程
• 10- 选择一个错误成本不成比例的流程
• 11-选择一个涉及更高层次认知任务的过程
• 12-选择一个复杂的过程。虽然它的子流程很简单，但如果它的子流程太多，流程本身可能会很复杂
• 13-选择存在更好的定制解决方案的流程
• 14- 在不具有成本效益的情况下努力实现端到端自动化

实施陷阱：

 

• 15- 与没有足够能力的内部团队一起进行内部 RPA 开发
• 技术陷阱：
• 16- 选择需要大量编程的解决方案
• 17-不依赖RPA市场和其他现成的工具
• 18- 选择没有展示可扩展性的解决方案

实施后的陷阱：

• 19- 不为可扩展性而构建
• 20- 不考虑维护需求
• 21- 不保护 RPA 特权凭证

组织陷阱：一致性是任何项目成功的关键

特别是在没有外部实施合作伙伴的项目中，组织协调是关键，因为您的组织将负责整个解决方案。本地团队和领导层都需要充分参与，高层管理人员会定期审查进度，本地团队会花费大量时间来实现流程自动化，以获得战略等部门的帮助。

依赖自动化流程的相邻团队也需要提前得到通知和说服，尤其是在自动化开始时，他们应该注意任何问题。

这些不仅仅是与实施相关的问题。 RPA 解决方案一旦推出，就需要进行维护，因为流程会发生变化，以使其更高效、更有效或符合新法规。满足这些维护需求很重要，如果公司没有投入足够的资源和管理注意力，或者如果他们没有明确责任，则可能具有挑战性。

不要忘记从这些关键功能中获得支持

IT

在选择 RPA 解决方案之前，需要检查 IT 路线图。例如，如果 IT 计划迁移到 Citrix，这将对所选的 RPA 工具产生影响

此外，IT 可以在其他单位的这些技术购买决策中充当协调者。如果企业中已经实施了 RPA，IT 应该将两者结合起来，并帮助他们从彼此的经验中学习。影子 IT 导致使用无数工具的不同部门导致 IT 成本和数据孤岛次优。

数据/分析

数据/分析是大多数高级领导者的议程，机器人有可能创造大量数据。如果及早涉及分析功能，则可以及早考虑有关机器人创建的数据的格式、频率和其他重要决策。这导致机器人创建有价值的数据，而不是大多数机器人安装中的简单诊断信息。然而，RPA 对分析的好处不应该像我们之前解释的那样被夸大。

人力资源

与人力资源保持一致很重要，否则 RPA 培训计划可能永远不会在企业培训计划中占据一席之地。 RPA 培训对于减少对 RPA 顾问的依赖和赋予员工权力非常重要。

拥有明确 RPA 战略的公司是可持续 RPA 部署的关键

RPA 部署或维护有多种模型。决定公司的 RPA 方法很重要，以确保团队不会浪费时间从一开始就创建 RPA 方法，最终造成多余的责任。正如普华永道报告指出的那样，RPA 卓越中心 (CoE)、IT、财务或负责流程的团队可能负责 RPA 部署。此外，公司可能依赖外部顾问进行 RPA 部署。

流程陷阱：最重要的决定是自动化流程

在选择要自动化的流程之前，充分了解流程至关重要。普华永道的声明和案例研究表明，进行 RPA 试点项目通常需要 4-6 个月，而不是预期的 4-6 周，因为企业对其现状流程没有足够的了解。

理想的流程是有影响力的、简单的、不需要高级认知任务、缺乏定制解决方案并且难以使用非 RPA 技术实现自动化。让我们解释所有这些要点：

业务影响是激发组织的关键。

业务影响较小的流程上的 RPA 项目将几乎没有动力。具有高业务影响的流程往往是触及客户的大量、高努力的流程。没有什么比告诉 CEO 我们可以在 2 分钟内而不是 2 天内批准贷款更重要的事情了。

过程应该是容错的，或者这些需要是一个质量保证系统。由于 RPA 机器人依靠 UX 来完成任务，因此当 UX 发生变化时，它们可能会出错。在高度关键的任务中，RPA 可能不是最佳选择。但是，只要通过其他机制（可能包括手动控制）验证导致代价高昂的错误的情况，几乎所有流程都可以部署 RPA。

过程不应依赖于定义不明确的高级认知任务。

阅读一封电子邮件，其中解释了许多任务，包括与客户沟通和查看广告图片，对于营销专业人士来说是非常简单的任务。然而，目前这些都不是明确定义的任务，因此不适合自动化。例如，很难解释什么是好的广告形象。这并不意味着这样的自动化程序是不可能的。自动化系统可以使用众包来挑选合适的广告，但成本高、速度慢且难以编程，这在良好的自动化软件项目中并不具备正确的品质。

尽管一些高级认知任务难以自动化，但一些需要大量认知能力的任务正在被自动化。最好在过程级别上查看认知需求。例如，从文档中获取数据并处理该数据需要强大的认知能力。但是，可以通过深度学习以高精度捕获发票。 RPA 工具可以与深度学习插件相结合，以自动化该过程。

过程复杂性是与高级认知任务不同的问题。

一个过程只能涉及低层次的认知任务，如添加数字、复制粘贴等。然而，基于不同的输入，可能需要执行不同的指令集。例如，根据用户对问题的回答，不同的部门可能需要通过不同的流程来处理用户的请求。这样的过程可能很复杂，并且很难在不同的场景中提取正确的过程流。

目前，它需要大量的手动流程数据提取、访谈和长时间的试点才能成功地自动化这些流程。然而，这是 RPA 供应商和初创公司正在进行的研究领域，旨在从日志和视频中自动提取流程数据，以成功地自动化复杂流程。我们称这些自学自动化解决方案。称为认知自动化或智能自动化（取决于推广解决方案的公司）的较新解决方案能够观察人类执行的自动化工作，学习所需的自动化并在准备好时接管。我们正在研究此类创新解决方案，并在它们可用时列出它们。

定制解决方案往往优于通用解决方案，而 RPA 是一种非常通用的解决方案。

例如，AppZen 的 Anant Kale 最近提到了一些公司如何尝试使用 RPA 进行费用审计。我认为对于存在高质量定制解决方案的流程来说，这是一个很好的例子。没有任何 RPA 解决方案能够像 AppZen 那样深入探讨费用项目。

AppZen 拥有一个欺诈模式数据库，并构建了一个关于人们在哪里以及如何消费旅游和娱乐 (T&E) 的知识层。与自定义费用审计解决方案相比，RPA 解决方案将无法访问任何数据，并且可能表现不佳。但是，管理多个解决方案会带来新的 IT 复杂性，因此最好确保新的自定义解决方案值得迁移。

RPA 并不是唯一的自动化模式。

替换旧系统或为旧系统构建强大的 API 接口可以帮助您以比构建 RPA 解决方案更少的工作量自动化众多流程。由于 RPA 系统使用不完善的屏幕抓取解决方案，升级旧系统可提供更快、更准确的自动化解决方案。

有关更多详细信息，请参阅我们关于识别和优先处理流程以使用 RPA 实现自动化的深入文章。

一旦 RPA 展示了它的价值，让组织保持专注就很难了

第一个自动化的过程可能会选择一个健壮的过程。如果这种自动化带来了巨大的价值，所有高级管理人员都会很高兴加入并开始自动化他们的流程。这可能会导致注意力不集中，因为不同部门的需求使 RPA 专家捉襟见肘。与初始试点相比，不太关键流程的自动化提供的价值更少，这可能导致“自动化疲劳”。尽管许多部门花费了大量精力来实现流程自动化，但最终收效甚微。

为了保持组织的积极性，RPA 专家应该专注于数量有限的高影响项目。随着组织中 RPA 专业知识的增加，各个团队将开始采取主动并自动化他们自己的流程。这是理想的状态，因为自动化将改善运营，而无需高层领导投入大量时间。

全过程自动化是可取的，但可能不经济

许多流程可以轻松实现 70-80% 的自动化。然而，随着自动化水平的提高，企业面临的收益递减。完全自动化流程可能比自动化流程高达 80% 的成本高五倍，因为额外的 20% 将需要比自动化高达 80% 所需的代码复杂得多的自动化代码。流程重新设计，让人类参与边缘案例的循环都是以最佳效率运行 80% 自动化流程的解决方案。

实施陷阱：RPA 开发是一项重点工作，依赖于有能力交付的团队

部署 RPA 机器人需要了解流程并对 RPA 机器人进行编程。虽然这些需要数周时间，但它们需要专注。除非组织内有团队有时间进行 RPA 部署，否则明智的做法是推迟项目或依靠顾问来完成 RPA 实施。

技术陷阱：RPA 是一个不断发展的领域，不要购买过时的解决方案，并充分利用您选择的解决方案的全部能力

特别是当您将 RPA 设置外包给顾问或 BPO 时，请记住他们可能存在利益冲突。例如，可编程解决方案需要更长的时间来实施，因此需要更长的计费时间，但是使用低代码/无代码解决方案可以减少编程时间。

银行家，尤其是技术方面的银行家，喜欢吹嘘他们的银行实际上是如何成为科技公司以及他们如何使用最先进的技术。然而，当我们开始讨论他们如何实施 RPA 解决方案时，有些人甚至没有听说过自学习或低代码/无代码解决方案。我们在上面讨论了自学习解决方案，另一个有趣的新领域是无代码 RPA 解决方案。虽然普通的 RPA 解决方案需要密集的编程，但无代码 RPA 解决方案用旨在使 RPA 民主化的记录和拖放界面取代耗时的编码。

RPA 市场上提供的可重复使用的 RPA 插件/机器人，减少了 RPA 开发时间，并使您的团队免于重新发明轮子。确保您的团队充分利用您选择的 RPA 平台提供的 RPA 工具。大多数领先的 RPA 公司都有可重用代码的 RPA 市场。随意阅读我们的 RPA 市场或可重复使用的 RPA 机器人文章以了解更多信息。

最后，使用已在大型部署中证明的机器人可以降低未来出现可扩展性问题的风险。大多数主要的 RPA 提供商都有大型（公司中有 100 多个机器人）部署，因此这应该是一个较小的问题。但是，最好检查您的 RPA 软件提供商的最大部署规模。

实施后的陷阱：这些可能会减慢甚至阻止组织的转型

可扩展性

可扩展性被广泛认为是一个主要问题，特别是对于希望扩展其 RPA 实施的财富 500 强组织而言。管理 RPA 安装涉及根据业务需要启动和停止机器人、管理维护过程、确保错误率是可接受的。 RPA 管理还应该要求非常短的时间承诺，以确保 RPA 的好处得到优化。

随着机器人数量、机器人遇到的问题和受机器人影响的流程的增加，管理 RPA 安装的复杂性会迅速增加。确保在实施后对机器人进行审计、简化机器人架构并采用渐进的自动化方法有助于促进 RPA 安装的管理。

鉴于越来越多的 RPA 安装，供应商似乎正在有效地解决这个问题。例如，UiPath 与 IBM、埃森哲、安永和普华永道合作，在三井住友金融集团推出了 RPA 机器人，以自动化 200 个流程中的活动，从而每年节省 40 万小时。每年 40 万小时大约相当于 250 个 FTE，使其成为全球最大的 RPA 部署之一。

维护

维护是实施后最重要的挑战。监管或商业环境的变化迟早需要对机器人进行更改。由于大多数机器人都是经过编程的，因此遵循编程中的软件最佳实践可以相对轻松地维护机器人。尽管如此，仍需要对更改进行优先排序，并且需要为机器人维护付出必要的努力。

RPA 本质上为流程所有者增加了新的责任。虽然他们可能会管理规模较小的劳动力，从而产生更高质量的结果，但他们需要分配时间来管理和维护他们的机器人。

安全

RPA 技术的部署还意味着企业需要保护的另一个接触点。 RPA 机器人需要特权访问权限才能登录到 ERP、CRM 和其他业务系统，以通过流程从一个步骤到下一步提取和移动数据。 由于 RPA 软件直接与您组织的业务系统和应用程序交互，它可能会带来重大风险，例如

• 将特权凭证直接硬编码到脚本或基于规则的过程中
• 从不安全的位置检索凭据，例如现成的解决方案配置文件或数据库。

请参阅我们关于如何在实施后衡量 RPA 成功的文章。

对 RPA 客户的其他调查也显示公司正在努力应对这些陷阱

福瑞斯特(Forrester)

最近，分析公司 Forrester 对一组 RPA 客户进行了调查，作为其对 UiPath 研究的一部分，并将其结果作为报告发布。 我们已经看到突出显示的类似问题

我们无法获得免费文本回复，但第一个问题肯定突出了这些公司面临的实施问题。扩展 RPA 解决方案需要付出努力，而公司可能很难在需要确保业务顺利运行的同时将人员投入到自动化工作中。对于不属于公司最有价值和最频繁的流程的流程，与顾问一起扩展自动化可能在经济上不可行。

第二个问题清楚地强调了在流程发生变化时维护机器人的挑战。明确维护责任是解决此问题的第一步。

最后 3 个问题表明客户对他们选择的 RPA 解决方案不满意。选择最好的可用产品有助于最大限度地减少这些问题。我们下面的内容可以帮助您为您的业务选择合适的 RPA 产品：

• 选择正确 RPA 软件的最佳指南
• 最新、最全面的 RPA 产品列表
• 一旦您选择了您将使用的 RPA 软件，我们将提供选择 RPA 实施合作伙伴的深入指南以及所有 RPA 实施合作伙伴的完整列表。

普华永道

普华永道的调查也强调了类似的问题

到目前为止，这些都是我经常从战壕中听到的案例。 随着我们听到更多的实施故事，将继续更新。 如果您有其他故事，请发表评论。

既然您了解了 RPA 的陷阱，那么您可以从我们流行的 RPA 实施分步指南中受益。

如果您相信您的企业将从 RPA 解决方案中受益，请随时探索我们的 RPA 和自动化供应商数据驱动中心。

原文：https://research.aimultiple.com/rpa-pitfalls/

本文：https://jiagoushi.pro/node/2093

RPA是一种易于使用的业务流程自动化技术，有许多用例，为企业带来了各种好处。虽然已经有一些开源RPA提供商，但开源RPA生态系统目前还相对不成熟。然而，RPA正在商品化，许多玩家提供类似的解决方案。而且，企业更喜欢开源解决方案，因为它们的透明度高，而且没有许可费。因此，开源RPA工具可以在RPA的未来发挥更大的作用。

在本文中，我们将探讨顶级开源RPA提供商及其源代码的列表。

开源RPA软件列表

开源RPA解决方案是随源代码一起分发的软件，使用户可以根据需要修改和自定义bot代码。下面的列表包括GitHub上的顶级开源RPA软件及其源代码：

开源 RPA	学科证	实现	GITHUB上的星 *截至2021年11月	源代码
Open RPA	MPL 2.0	C# JavaScript	944	GitHub
Robocorp	Apache 2.0	Python Robot Framework	477	GitHub
Robot Framework	Apache 2.0	Python Jython (JVM) IronPython (.NET)	6,500	GitHub
TagUI	Apache 2.0	Python R	4,200	GitHub
Taskt	Apache 2.0	.Net C#	571	GitHub
UI.Vision	AGPLv3	Python C# JavaScript TypeScript	581	GitHub

以前可用的开源工具

Automagica

Automagica在Github上提供了一个开源Python RPA库，有12名贡献者。尽管Automagica是一个非商业用途的免费开源工具，但如果你打算将其用于商业用途，你需要为该软件付费。该公司被收购，软件不再是开源的。

向商界领袖推荐

在投资开源RPA解决方案之前，请确保了解开源RPA生态系统。我们的最新研究表明：

• 开源还没有形成RPA的势头，因为没有大公司接受开源项目。
• 目前的RPA供应商面临着创新者困境，因为开源将导致他们降低价格。

尽管如此，开源RPA预计也将受益于RPA市场的整体增长，预计到2027年将达到110亿美元。

在我们的综合文章中详细阅读关于开源RPA工具的四大预测。

更多关于RPA的信息

有关RPA的更多信息，请阅读我们的研究：

• RPA简介，回答所有与RPA相关的问题
• RPA用例
• RPA实施最佳实践
• RPA开发中应避免的陷阱

原文：https://research.aimultiple.com/open-source-rpa/

本文：

RPA与Selenium

在当今世界，技术已经达到了一个顶点水平，自动化的巨大增长为这一转变增添了更多的翅膀。从一个更简单的单位自动化到整个业务操作，技术已经发展到极致。

计算机从最初的存储和计算设备发展到电子大脑和控制中心，其发展速度惊人。这为不同的目的和需求带来了难以想象的工具和应用程序。

RPA和Selenium是新时代计算机时代的两个不同部分，它们执行的任务完全不同，但又相互关联。他们在最终的产品或服务上相互依赖、相互影响。两者都是银幕内外的表演者，都是全球计算机化革命浪潮中不可避免的一部分。

近年来，技术已经达到了更高的高度，自动化的发展为这些变化增添了更多的优势。从简单的单元测试用例的自动化到整个业务流程的自动化，这一切都开始了。在本文中，我们将看到RPA和Selenium之间的主要区别，下面的主题将作为本文的一部分进行讨论。

• Selenium及其特性
• RPA及其特点
• RPA和Selenium的主要区别

什么是机器人过程自动化?

RPA——机器人过程自动化的缩写，基于人工智能，主要用于需要重复动作协调的应用。记录保存、数据分析以及最重要的需要复制人工操作的工作。现在，需要复杂计算、精确性和精确性的工作被分配给机器人来高效地完成。随着越来越多的工业和商业部门依赖于操作自动化，RPA从无人驾驶飞机到复杂的人体手术在近年来蓬勃发展。

机器人过程自动化(RPA)帮助自动化重复的任务，而无需使用人类的思维和能力。这是一种由软件机器人组成的技术，可以模仿人类工人。RPA机器人可以做很多事情，比如输入数据、登录到应用程序、完成任务，然后退出。

在大多数情况下，RPA不是组织IT计划的一部分，因为它涉及到高成本。这反过来又增加了开发成本，因为它的商业需求并不高，它是为特定目的定制和开发的。

RPA代表机器人过程自动化。它是一种自动化技术，可以帮助自动化重复的任务，而不需要人工干预。RPA是基于授权业务用户制作能够像人一样与系统交互的软件机器人而形成的。RPA是从3个主要的前辈开始的，

• 屏幕抓取
• 工作流自动化
• 人工智能

屏幕抓取:在数据集成和数据迁移领域发挥着至关重要的作用。它在传统系统和当前系统之间建立了一种联系。它是一个主要组件，用于在一个应用程序中收集显示数据，并将其转换从而使其他应用程序显示该数据。

工作流自动化:它意味着自动化并执行业务流程，其中的任务是根据一组预定义的规则完成的。这将有助于设计低代码计划，更少的工作执行，优化工作流。

人工智能:它是一个完全不同的概念，涉及模拟人类智能的机器。它指示系统完成用户需要完成的所有分配任务。它有助于商业发展和产业转型。深度学习和机器学习有助于实现人工智能。

RPA是自动化和人工智能的结合形式。它是独立于平台的。一些人工操作，如登录到应用程序、复制粘贴日期、移动文件夹或文件、填写表单、从文档中提取数据，都是由RPA机器人完成的。

 

RPA的特点

下面列出了使用RPA的特性。

• 为了增强业务能力，RPA主要创建能够轻松与系统一起工作的软件机器人。
• RPA机器人可以帮助管理和执行大量的人类操作，比如移动文件和文件夹、填写表单、复制和粘贴数据等等。
• 它高度依赖工作流自动化和屏幕抓取。
• RPA只不过是自动化和人工智能(AI)的混合。
• 软件机器人是帮助组织实现成本节约的潜在途径。
• RPA将是重复任务的更好选择。
• 它将减少错误的最大数量
• 它用于不同的业务流程，如计算、操作活动和数据提取。
• 使用RPA可以在很短的时间内得到更精确的结果。
• 使用RPA时，风险因素降低，数据得到高度保护。

高容量精度

当人们被分配的工作本质上是重复的、千篇一律的，就会产生很大的无聊感，这会降低工作效率，增加出错的几率。这些是RPA发挥作用的领域，人工智能在高容量下完美地执行任务。这包括数据分析。

提高了生产率

当机器被分配到枯燥的工作时，节省下来的人力时间可以更有效地用于监控和工作领域，这些领域需要创造性的思维和创造力，而这是机器无法做到的。

可承受性

由于开发和应用RPA的高昂成本，大多数企业负担不起RPA，因此它只在大投资者中流行，而不是公司的一般设备的一部分。

Selenium是什么?

Selenium是一个免费的测试套件，它与HP Quick Test Pro非常相似，主要侧重于自动化基于web的应用程序。作为自动化工具的Selenium是由Thoughtworks在2000年初开发的。2006年，在Simon Stewart的改写下，它最终通过多种语言被开发出来，并留下了最初的优势。最后开发的Selenium Web驱动程序是将Web驱动程序和Selenium远程控制结合起来实现的。

换句话说，Selenium是一组不同的软件工具，它帮助支持测试自动化。观察到有很多Selenium质量分析工程师主要关注一个或两个可以完美地实现他们目标的工具。然而，当您掌握了所有工具的知识后，它将为您提供多种方法来处理不同的测试自动化问题。

Selenium作为一种测试web应用程序的工具，其功能与自动化过程完全不同，自动化过程在自动化测试开发人员和专业人员中越来越受欢迎，这些人传统上一直使用手工测试工具。该函数还提供了一种特定测试领域的语言，用于java、scala等编程中流行语言的测试。

Selenium是一个免费的开源自动化测试工具，用于在不同平台和浏览器中测试web应用程序。它是web应用程序测试的顶级技术。Selenium成分主要分为4类。他们是

• WebDriver
• Selenium网格
• Selenium远程控制(RC)
• Selenium集成开发环境(IDE)

Selenium的特点

• Selenium是一个用于测试web应用程序的免费开源框架。
• 不同类型的编程语言，如Python、Java、Ruby等，都用于在Selenium中编写测试脚本。由于用户友好的习惯，Java将会被广泛使用。
• Selenium支持跨浏览器测试。Selenium中的测试脚本将在不同的浏览器上运行，比如Internet Explorer、谷歌Chrome和Safari等等。
• Selenium主要用于回归测试和功能测试
• Selenium仅用于测试web应用程序。通过selenium无法进行移动和桌面应用程序测试。
• Selenese是Selenium IDE中用于运行测试的一组命令。
• 元素定位器用于轻松快速地识别web页面中的元素

由于有许多关键特性，Selenium在开发人员和程序员中很受欢迎，而且预计这种流行不会被另一个近期的特性所取代或超越。以下是一些特性

免费的开源工具

作为一个支持大量测试功能的免费服务，selenium比以往任何时候都更受欢迎。不为测试功能收费是推动selenium的一个关键特性。

巨大的浏览器支持

有了一些最大的浏览器的支持，selenium很快就会更加出名，并在浏览器的本地部分占有永久的空间。

语言支持

尽管Selenium自带了它自己的脚本，但不受语言的限制，并且为测试人员提供了使用包括groovy、Perl、Python、Ruby、Java、c#、Perl、Python等的灵活性。这是在用户中越来越受欢迎的主要原因之一。

添加和可用性

来自不同浏览器的访问和支持意味着Selenium有时会被指责为功能不全，因为它依赖于第三方框架来实现and on。这是一个有争议的话题，因为它还提供了遵循程序员的风格和方法的灵活性。

工具和DSL的组合

毫无疑问，Selenium是工具和领域特定语言的绝对组合，可以帮助执行各种类型的特殊类型的测试。此外，您甚至可以记录通过浏览器执行的测试。它支持多种浏览器，如Chrome, Internet Explorer, Firefox, Safari等。

使用丰富的语言进行测试

为了测试web应用程序，Selenium按顺序使用DSL。这是一种易于学习的编程语言，包含200多个命令。

一个通用的语言

一旦你准备好了测试用例，它们就可以在任何操作系统上执行，比如Linux、Macintosh等等。

减少测试执行时间

Selenium支持并行测试执行，这将最终最小化执行并行测试所花费的时间。

较小的所需资源

与UFT和RFT等竞争对手相比，Selenium需要较少的资源。

 

Selenium与RPA的相似性

虽然Selenium和RPA的特性和功能是不同的，但它们确实是交叉的，它们共同承担着使业务管理或流程顺利进行，并解决诸如消除人为错误、重复和枯燥任务的效率更高的任务。两者都是生产数据驱动的，都有一个结构化和基于规则的流程。

RPA和Selenium都是必要的，以支持已建立项目的无错误运行。

RPA与测试自动化的区别

一个主要的区别是，与测试自动化不同，RPA在可视光谱中处于业务的第一线，而后者更像是屏幕后面的一个玩家，在不占用太多可见学分的情况下管理节目。这有时会造成这样一种情况，即在测试领域所涉及的努力、时间和技能往往被低估或忽视。虽然这确实在程序员的头脑中造成了一个挖苦，他们不被认为是反对安装RPA的努力，但却常常被过分赞赏。

由于缺乏监督和审计试验的功能，大多数自动化工具不符合机构的要求，而在大多数情况下，测试自动化会点燃RPA项目，因为它们为自动化潜力打开了新的机会之门。这一点很重要，因为在自动化方面的长期投资是巨大的，而且往往是耗时的，因此证明这些策略是必要的。

RPA与Selenium的主要区别

以下因素用于比较RPA和Selenium：

• RPA和Selenium工具将自动化什么？
• 自动化将在哪里发生
• 工具是付费还是开源？
• RPA和Selenium——主要成分
• RPA和Selenium的自动化水平
• 生命周期复杂性
• 是否需要编码知识？

RPA和Selenium工具将自动化什么？

• Selenium用于自动化web应用程序测试。

• RPA用于自动化业务流程，如查询、记录维护、计算、事务处理。

实现自动化的地方。

• Selenium将使网页自动化。
• RPA将自动化后端过程，这是非常耗时的。

工具是付费还是开源？

Selenium是一个免费的开源工具。

市场上有各种RPA工具，如Automation Anywhere、UiPath、Bluprism。UiPath工具的社区版是免费的，而商业版是许可的。

RPA和Selenium——主要成分

硒成分如下：

• 网络驱动程序
• Selenium网格
• Selenium遥控器（RC）
• Selenium集成开发环境（IDE）

RPA使用强大的机器人来模仿某些人类活动。

RPA和Selenium的自动化水平

• RPA有助于维护大量的数据。这将简化程序。这在文书工作中是很好的。
• Selenium不支持文书处理。它将在前端应用程序中工作。

生命周期复杂性

Selenium的生命周期比RPA复杂。下面我们将详细讨论RPA和Selenium工具的生命周期

RPA生命周期：

RPA的生命周期包括以下步骤：

• 分析
• Bot的开发
• 测试
• 部署和维护

Selenium的生命周期:

• 测试计划
• 生成基本测试用例
• 测试用例的增强
• 测试用例的执行和调试
• 测试结果分析和缺陷报告

编码知识-是否必需?

• Selenium需要JAVA的基础知识
• RPA要求具备最少的编码知识

比较RPA和Selenium

以下是RPA与Selenium的不同之处

• Selenium只帮助自动化当前的web页面，而RPA自动化所有耗时的后端进程。
• Selenium是一种开源测试工具，而RPA包含UiPath、Automation Anywhere、Blue Prism等工具。
• RPA有助于维护大量的数据记录，最好的部分是它在处理文书处理过程中是灵活的。Selenium不支持办事流程，因为它在web应用程序的前端工作。
• 请记住，它们的生命周期越简单，它们的效率就越高。与RPA相比，Selenium有一个复杂的生命周期。
• 当涉及到自动化测试用例时，Web驱动程序在其中扮演着非常重要的角色，因为它克服了Selenium的所有缺点，使过程更加简单。在机器人的帮助下，RPA通过模仿人类的活动来帮助呈现可能的结果。
• 如果您正在使用Selenium，那么熟练使用Java语言是很重要的。另一方面，RPA需要编码知识，但仅限于最低层次。
• Selenium和RPA都是自动化工具，有助于在提高质量的同时最小化人工干预。
• RPA简化了订单输入，而Selenium则执行登录、注册和输入等操作，从而简化了流程。

结论

比较这两个软件的功能，我们可以得出结论，他们都是设计来执行两个不同的功能。它们不是相互竞争的，而是软件的两个非常重要的方面，它们相互依赖以达到预期的结果。人们普遍认为两者之间的比较是站不住脚的。在一个软件的初始运行阶段，我们不仅可以理解一个软件的日常运行所需的更为有效的工具，而且还可以理解软件的日常运行所需的所有更新自动化系统许多全球性因素，如缺乏所需的技能、员工流动以及对更高数量的产品和服务的需求，正在推动传统上由人力主导的业务部门的全面自动化。这一组合的前景无疑是光明的。

 

原文：https://www.besanttechnologies.com/rpa-vs-selenium

本文：

讨论：请加入知识星球【首席架构师圈】或者小号【jiagoushi_pro】或者QQ群【11107777】

RPA工具比较

机器人过程自动化或RPA是我们这个时代的最新技术进步。有了这项技能，专家就可以创建可以自己做很多事情的程序和软件。所有这一切，以及更多没有任何形式的人类互动的画面。但是真正让RPA专家完成如此强大的工作的是一组工具。为了实现RPA，我们首先需要的是RPA工具。开发这些工具是为了使机器人过程自动化专业人员的工作更容易。

RPA是机器人过程自动化的缩写。其本质不难看出:机器、过程、自动化，RPA是一个机器人，作为一个虚拟的劳动力，按照预先设定的程序与现有的用户系统交互，完成预期的任务。RPA工具可以方便地基于各种软件供应商提供的规则、宏和脚本开发所需的自动化业务流。大多数RPA工具都有点像Excel宏，它们记录鼠标和键盘操作，然后使用规则库的各种控件来控制流，还提供了一种简单的脚本语言来定制一些特殊服务。

RPA的一些代表性软件供应商是:美国的Automation Anywhere，英国的Blue Prism，以及罗马尼亚的UiPath。还有WorkFusion、Pegasystems、NICE、Redwood软件、Kofax等等。

根据Forrester Wave：

机器人过程自动化：Blue Prism、Automation Anywhere和UIPath被公认为机器人过程自动化（RPA）软件的领先提供商。我们将阅读这些主要RPA工具的详细比较。

• Automation Anywhere 级在美国拥有最高的市场份额，运行的是Windows系统。。它在任务编辑器中记录要自动执行的作业过程，然后生成脚本。对于按计划抓取网页数据和传输文档的业务，提供了几十个模板，还提供了OCR、JAVA等的组合，但要收费。它的过程设计器是基于脚本的，这使得设计部分与BluePrism和UIPath相比不太复杂。
• 英国的BluePrism是建立在微软的.NET框架之上的。它提供了丰富的组件集并支持广泛的领域。使用集中管理成本太高。然而，BluePrism平台是全面的，需要更有效的。控制室是管理和控制自动执行的另一个令人吃惊的功能。此外，调度器特性包含了它的接口，这是多么简单的管理。与其他RPA工具相比，使用blueprism的自动化过程组织良好，并且相对容易维护。大多数客户面临的一个问题是BluePrism的报告功能，因为BluePrism仪表板/分析图块与其他工具（Tableau、powerbi、Qlik）相关联。需要在仪表板和SQL Server中生成报表。
• UiPath是最近出现的一种工具。这是一家罗马尼亚公司，说它现在在美国经营。东京、香港和新加坡都设有办事处。所提供的工具分为三个模块。studio是一种不需要编写代码的开发工具，它为自动化的业务记录提供了丰富的模板。机器人是执行自动化的一部分。Orchestrator用于日志记录和资源管理、计算机管理和管理工具。

让我们对上述RPA工具进行更全面的比较：

什么是RPA工具及其功能是什么？

RPA工具是机器人过程自动化专家使用的一组程序。有了这些，开发系统和其他东西的任务就变得相当容易了。但是操作这些工具的诀窍是非常重要的。至于那些对这些工具一无所知的人，他们将被浪费掉。

为了更好地理解RPA工具，我们首先应该了解它们的功能。这将为我们提供更好的机会来掌握本文后面将讨论的信息。这是每个机器人过程自动化工具必须具备的3个功能。

承载工作的Bot应能够以体面的方式与其他系统交互。他们应该使用屏幕抓取或API集成的方法来完成这个任务。

一个工具应该有优化和技术，它可以创建另一个机器人。这意味着它应该能够复制自己。

游戏中的机器人应该与它使用的人工智能很好地结合在一起。他们应该从他们或他们的用户所采取的所有行动中学习，并使用它来自动执行这个过程。

机器人过程自动化工具的类型

RPA工具分为4个不同的类别。这意味着任何RPA工具都可以分为这4类。RPA工具的这些部分是：

• 黑客和宏：这些是简单的自动化工具，用于小型处理任务。它们既不可靠，也不可扩展；它们的好处只是提高了生产率。
• 可编程机器人：这些机器人很容易使用，因为它们遵循编程模式。这些可编程的解决方案机器人用于与其他系统交互，并为用户提供特定的信息。
• 自学习工具：实际的自动化阶段被认为是随着自学习机器人的到来而开始的。这些工具通过学习它们的行为来提高生产率。他们是伟大的，因为他们从错误中吸取教训，并且在没有任何人际交往的情况下提高了自己。
• 智能/认知自动化工具：认知智能工具是该领域的一颗宝石，它们甚至可以处理随机数据。即使信息很复杂，输入对人眼来说没有特别的意义，他们也可以设计东西。

RPA工具比较因素

比较RPA通行费的方法和方面有很多。它可以是任何东西，从容易访问到免费试用版。当谈到机器人过程自动化工具时，市场上有几种工具。其中一些如下：

• Another Monday
• Arago
• Antworks
• Automation Anywhere
• Contextor
• Blue prism
• Kryon Systems
• NICE Systems
• Jidoka
• Pega
• Redwood Software
• UiPath
• Visual Cron
• WorkFusion

正如我们所看到的，市场上有很多RPA工具。在所有这些中，有一个三巨头多年来一直领导着机器人工艺自动化市场。这三者包括Blue Prism、UiPath和Automation Anywhere。他们每个人都有自己的优点和缺点。为了进行比较，我们将平等地做这件事。所以，下面我们从几个方面对这三人组进行比较。

• 价格：Blue Prism将根据用户使用的机器人程序来支付费用，至于任何地方的自动化，其成本将根据进程的数量而定，而UiPath也会对每个机器人程序收费。
• 可用性：任何地方的自动化都可以用于像拖动和裁剪以及宏记录这样的过程。UiPath也一样，但是blueprism只能用于拖放。
• 免费版本：UiPath在这方面占了上风，因为它有一个标题为“UiPath Community edition”的免费版本。另外两个只有付费版本。

现在，大家都说你应该根据自己的需要和预算来选择。他们三个都是联盟中的佼佼者。

上述RPA工具的整体比较：

	特性	Automation Anywhere	Blue prism	UIPath
1	价格	高	中	高
2	架构	Client Server	Client Server. Faster than AA.	Web-basedd Orchestrator
3	版本	Trial Version is available but expires after 30 days.	No trial version is available. Have to purchase it.	It haa s community edition/ free edition where you can use it for free.
4	学习	Script based. Basic programming is required.	Visual Designer. Easy to use.	Visual Designer. Easy to use.
5	宏记 录器	Present.	Absent.	Present.
6	认知能力 和可 重用性	Very high.	High	High
7	可扩 展性	Limited	Good with excellent execution speed	Good with moderate execution speed

 

你可以根据这些比较选择合适的工具。综合评估使候选人根据他们希望用RPA解决的组织问题来评估他们对工具的选择。选择正确的RPA工具并开始使用有：-

• 分析现有业务流程并开发RPA计划，以提高工作流的效率。
• 通过自动化减少操作成本和错误
• RPA软件机器人开发和实施过程中的问题诊断和解决。

 

原文：https://www.besanttechnologies.com/rpa-tools-comparisons

本文：http://jiagoushi.pro/node/1327

讨论：请加入知识星球【首席架构师智库】或者小号【jiagoushi_pro】或者QQ群【11107777】

UiPath服务器平台有以下逻辑组件，分为三层：

1). Presentation Layer

• Data REST API Endpoints
• Notification API
• Web Application

2). Web Service Layer

• REST API implementation

3). Persistence Layer

• Elasticsearch
• SQL Server

设计架构

设计体系结构和发布流有多种方法-考虑基础设施设置、对角色分离的关注等。在这个提议的模型中，UiPath开发人员可以构建他们的项目并对其进行测试

开发协调器。他们将被允许将项目签入到由VCS版本控制系统（GIT、SVN、TFS等）管理的驱动器中。这将是一个不同的质量保证和发布环境（例如，将提供一个不同的工作包）. Orchestrator上的部署路径已从默认更改为VCS管理的文件夹（通过更改中的PackagePath值web.config文件归档UiPath.Server.Deployment)

该模型还包含可重用组件的存储库。

UiPath项目发布流程如下：

开发人员在UiPath Studio中构建流程，并使用Development Orchestrator对其进行测试；完成后，他们将工作流（未打包）签入uiatph中主UiProcess Library文件夹（在VCS上）。

• IT团队将为QA创建包。这将存储在VCS上的QA包文件夹中QA只在专用计算机上运行进程。
• 如果在测试期间发现任何问题，则重复上述步骤。
• 一旦所有的QA测试都通过了，包就被复制到生产环境（P包）
• 生产过程正在进行，由生产机器人运行。

可重用内容是单独创建和部署的—作为UiPath代码（可重用代码库）和调用（调用存储库）。

 

原文：https://dotnetbasic.com/2019/08/uipath-deployment-architecture.html

本文：http://jiagoushi.pro/node/1325

讨论：请加入知识星球【首席架构师圈】或者小号【jiagoushi_pro】或者QQ群【11107777】

随着越来越多的企业试图优化其数字化转型战略，越来越多的企业采用RPA来自动化繁琐的后台任务。这反过来又导致了全球RPA市场的指数增长，2019年该市场的估值已达14亿美元，预计到2027年将达到110亿美元。

为了通过RPA解决方案获得最佳效果，企业首先需要了解什么是RPA。在本文中，我们将探讨什么是RPA，它的起源，是什么让它比其他自动化解决方案更好，以及为什么企业应该关注这项技术。

什么是RPA？

RPA是一种通用工具，用于创建专门的代理（即机器人），它可以在执行任务以复制任务时监视用户与GUI元素的交互。

关于RPA的工作方式，目前有两种主要类型：

• 基于规则的机器人程序，利用屏幕抓取，根据if-then规则执行预先构建的任务（例如，如果新邮件到达，则下载附件）
• 人工智能机器人，也称为认知RPA，不一定需要规则，而是使用人工智能算法（例如OCR、NLP、文本分析）来理解流程开发并复制流程。

我们上面的定义很短但很具体，然而，RPA有很多更长的定义：

• 维基百科：机器人过程自动化又称机器人自动化（简称RPA或RPAAI），是基于软件机器人或人工智能（AI）工作者概念的文书过程自动化技术的一种新兴形式。
• Investopedia：机器人过程自动化（RPA）发生在基本任务通过软件或硬件系统实现自动化时，这些系统在各种应用程序中运行，就像人类工人一样。
• Gartner:Robotic process automation（RPA）是一种生产力工具，允许用户配置一个或多个脚本（一些供应商称之为“机器人”）以自动方式激活特定的击键。
• IDC:RPA软件是一项新兴技术，它通过模仿和回放工人如何完成工作中的重复部分，自动化人类执行的任务。
• 机器人过程自动化与人工智能研究所（Institute for Robotic Process Automation&Artificial Intelligence）：机器人过程自动化（Robotic Process Automation，RPA）是一种技术应用，允许公司员工配置计算机软件或“机器人”来捕获和解释现有应用程序，以处理事务、操纵数据、触发响应以及与其他数字系统通信。

正如这些定义所阐明的，RPA是一种灵活的工具，可以在最小化人为干预的情况下自动化基于规则的重复任务。组织必须了解他们的企业如何通过使用RPA获得竞争优势。浏览我们全面的RPA商业用例列表，了解您的企业如何从RPA中受益。

RPA的起源是什么？

Blue Prism 成立于 2001 年，帮助创造了机器人过程自动化 (RPA) 一词，以将其解决方案与其他自动化工具区分开来。例如，当 RPA 出现时，业务流程自动化 (BPA) 软件是一个成熟的解决方案。然而，在大多数情况下，BPA 软件不包括与用户界面交互的能力，这是 RPA 机器人的关键区别。

为什么 RPA 现在很重要？

公司对 RPA 解决方案感到兴奋，因为：

大多数大型非技术公司仍然依赖遗留系统

大部分知识工作者仍然使用包括一些遗留系统在内的众多系统完成自动化工作

让我们详细解释为什么 RPA 可以：

1. 支持远程办公

COVID-19 大流行扰乱了当前组织的运营方式，迫使企业采用远程工作和云计算技术。此外，IT 团队面临着减少人力工作量和运营成本的压力。最近的一项调查显示，企业正在将 RPA 的使用增加约 5%，以便：

通过自动化后台和运营任务来解决巨大的成本压力，例如基于规则的 IT 流程、系统更新或新员工入职 (80%)

支持远程工作，例如，自动从多个来源收集数据以生成报告 (75%)

2.解决系统集成的差距

据估计，平均每个企业运行 464 个自定义应用程序，托管在云中，通过 API、CRM、ERP、生产力等进行集成，每个应用程序可能需要来自多个应用程序和工具的输入。另一方面，我们每年都在使用越来越多的工具：

 1990 年，Office 1.0 有 3 个产品：Word、Excel、Powerpoint。

Office 2016 有 9 个产品：Word、Excel、PowerPoint、OneNote、Outlook、Publisher、Access、Skype for Business、Visio Viewer。

更多工具需要更多集成。尽管每个主要工具都有一个 API，但开发者公司可能不会提供对 API 的开放访问。如果没有 API 访问权限，用户将被迫导出复杂的 CSV 文件并求助于其他复杂但重复的数据处理。可悲的是，使集成和数据迁移变得困难会增加转换成本并产生沮丧但忠诚的客户。这也解释了 Zapier 和 IFTTT（If this then that）等工具的兴起，筹集了近 4000 万美元。有时供应商不是罪魁祸首。大多数大公司仍在使用一些采用 2000 年代技术构建的系统。遗留系统不应该提供与现代工具的集成。

RPA 为这些问题提供了解决方案。软件机器人加紧弥合系统之间的差距。此外，业务流程中涉及的一些业务逻辑非常简单，机器人也可以自动执行此类推理。

3. 处理远程桌面自动化

计算机视觉的进步使 RPA 程序能够与所有类型的企业软件一起使用。

RPA 可以被认为是连接所有应用程序的数字脊柱。与过去相比，拥有连接所有应用程序的数字脊椎今天更有价值，因为我们现在拥有更多数量的应用程序。此外，最终用户只能访问来自应用程序的图像的虚拟桌面（例如 Citrix）对自动化提出了挑战。

Citrix 是一家为企业用户提供虚拟化桌面的通用企业技术提供商。当这些系统的用户使用他们的键盘或鼠标时，他们会与虚拟桌面提供商提供的图像进行交互。然后，这些提供程序将这些鼠标和键盘交互转换为操作系统 (OS) 的命令。

这种模型更难用于 RPA 产品，因为您不能依赖操作系统接口与应用程序交互。 RPA 产品需要依靠图像来完成任务。因此，RPA 机器人不需要运行命令来关闭应用程序，而是需要处理图像，识别应用程序上角的“X”符号并使用鼠标关闭应用程序。或者它也可以依赖于操作系统特定的短裤，如 Alt + F4。

4.自动化可以外包的东西

在 90 年代和 2000 年代，几乎每家财富 500 强公司都在低成本国家投资或与业务流程外包 (BPO) 公司合作，将其手动流程外包。他们获得了相同的结果，而成本却相差无几。然而，有几个因素阻碍了外包发挥更大的作用并导致 RPA 的兴起：

大多数成本套利已经完成：虽然这种成本优势非常显着，但它正在消退。根据德勤全球外包调查，2016 年，75% 的受访组织表示，他们已经通过利用劳动力套利实现了成本节约目标。如果这个数字甚至可以远程表明更大的人口，那么外包根本就不是曾经的游戏规则改变者。

外包仍然需要发达国家昂贵劳动力的协调。与机器人不同，BPO 公司需要更多的监督以确保他们改善运营。

流程错误代价高昂，BPO 导致错误减少有限：虽然这种虚拟劳动力来源比本地人才便宜得多，但它仍然有一定的成本，并且容易出错。

发展中国家的工资正在增长：增长速度快于发达国家的工资增长速度。虽然货币贬值抵消了这一趋势的一部分，但发展中国家的劳动力仍然变得昂贵。请参见图 1。

图 1：G20 国家年平均实际工资增长，2006-19 年（百分比）

 

Source: Global Wage Report 2020

由于这些因素，当今领先的公司通过人工智能和机器学习消除了手动流程。因此，每当您的公司有手动流程时，这是一个问自己的好机会：我们如何才能使这个流程自动化？答案可能涉及 RPA 与 AI/机器学习的结合。

RPA 有什么好处？

手动流程效率低下，容易出错并导致员工不满。根据供应商关于收益的研究，利用 RPA 使企业能够：

加快/减少面向客户的流程中的错误以提高客户满意度 (62%)

让员工专注于更高附加值的活动，从而提高业务成果和员工满意度（61%）

降低工资和外包成本 (25 – 60%)

您如何在贵公司实施 RPA？

简而言之，RPA 实施要求企业为 RPA 选择最佳候选流程，获得管理层和团队的支持和实施，运行试点并上线。虽然整个过程很简单，但魔鬼在细节中。

1. 利用流程智能

在启动自动化项目之前，必须拥有业务流程的端到端视图，以识别最需要自动化的流程。在不知道您的流程如何工作的情况下，您最终可能会自动化一个流程，而该流程不会像您可能忽略的另一个流程那样提高您的业务成功。

2. 根据最佳实践计划实施

尽管您可能需要协调公司和供应商的资源来实现 RPA 自动化，但了解必要的步骤会使实施变得容易。阅读我们关于 RPA 实施的深入指南，以获得更深入的了解。

3. 避免常见的陷阱

RPA 实施中的一些常见缺陷包括：

组织缺陷：

管理层或团队本身缺乏承诺可能会延迟任何项目，RPA 项目也不例外。

工艺陷阱：

试图在不完全理解流程的情况下实现流程自动化。流程挖掘有助于公司详细了解他们的流程，从而更容易编程和部署 RPA 机器人，同时考虑到边缘案例和不同的输入。流程挖掘也可用于修复失败的 RPA 计划，因为很难确定这些陷阱的原因。根据流程挖掘供应商案例研究，比雷埃夫斯银行的自动化计划不成功，因为他们不了解他们的原样流程。流程挖掘让他们全面了解了实际流程，并确定了其 RPA 计划失败的根本原因。

选择一个过于复杂或无关紧要的过程将导致有限的影响。例如，在存在专门解决方案的费用审计等领域实施 RPA 可能会导致大量工作而无法获得令人满意的结果。

技术陷阱：

选择难以使用的 RPA 工具会减慢开发工作

阅读我们的 RPA 陷阱综合列表以获取更多信息。

RPA 准备好投入生产了吗？

是的，大多数依赖包括遗留应用程序在内的众多系统的大型非技术组织已经试行了 RPA 部署并取得了令人满意的结果。我们有大量 RPA 案例研究列表，重点介绍了设置数百个机器人的全球品牌。

全球 CEO 及其顾问对 RPA 感到兴奋。看看这些来自商业界最知名品牌的名言：

• 在我们的银行，我们有人像机器人一样工作。明天，我们将拥有表现得像人一样的机器人。我们作为银行是否会参与这些变化并不重要，它会发生。德意志银行首席执行官约翰·克赖恩
• RPA 是业务自动化领域的一项有前途的新发展，第一年的潜在投资回报率为 30% 至 200%。麦肯锡
• 技术与人之间的关系必须在未来发生更好的变化，我认为 RPA 是实现这种变化的重要工具之一。 Leslie Willcocks，伦敦经济学院教授

RPA 是如何工作的？

随着工业机器人改变了工厂车间，RPA 机器人改变了后台。 RPA 机器人以自动方式复制员工操作，例如打开文件、输入数据、复制粘贴字段。他们通过集成和屏幕抓取与不同的系统交互，允许 RPA 工具像白领员工一样执行操作。 RPA 的架构由以下组件组成：

• 机器人
• 编排模块
• 编程语言
• 交互能力

RPA 在哪里使用？

RPA 机器人可以像人类用户一样使用操作系统应用程序及其功能和特性，例如：

启动和使用各种应用程序，包括

• 打开电子邮件和附件
  • 登录应用程序
  • 移动文件和文件夹
  • 通过与企业工具集成
• 连接到系统
  • API
  • 读取和写入数据库
• 通过以下方式扩充您的数据
  • 从包括社交媒体在内的网络上抓取数据
• 数据和文件处理
  • 遵循逻辑规则，例如“if/then”规则
  • 进行计算
  • 从文档中提取数据
  • 复制和粘贴数据

但是，大多数 RPA 解决方案都没有配备领先的文档处理技术。将 RPA 与此类文档自动化解决方案结合使用可以带来关键优势，例如提高流程速度、降低成本/错误、提高数据质量和员工满意度，因为这些流程是需要持续完成的低技能任务。 RPA 部分的未来提到的认知 RPA 解决方案提供了作为 RPA 套件一部分的此类功能。

机器人可以在 Citrix 等虚拟化解决方案或 Windows 环境中执行这些功能。大多数供应商不支持其他操作系统环境，如 Mac OS 或 Linux。这是因为大多数办公室工作都是在 PC 上进行的。要探索 RPA 用例，请随时阅读我们的 RPA 用例和应用程序综合列表。

RPA 与其他自动化解决方案有何不同？

RPA 的强大之处在于它的 4 个支柱：

• 灵活性：RPA 是自动化众多日常工作的理想选择，因为据估计，典型的基于规则的流程可以实现 70%-80% 的自动化。例如，工作人员会收到一些输入，无论是电子邮件还是系统通知。作为回应，他们进行基于规则的分析并采取行动，例如对文件或程序进行更改。 RPA 机器人能够复制这些基于 GUI 的流程。
• 易于集成：RPA 机器人不需要与大多数软件集成。由于屏幕抓取和现有集成，他们可以输入和评估几乎所有 Windows 应用程序的输出。
• 易于实施：RPA 的设置就像通过记录您的操作来设置宏一样简单。还有利用拖放界面来设置自动化的低代码和无代码解决方案。下一代 RPA 机器人，也称为认知或智能自动化，更进一步，学习活动根据员工的行为实现自动化。
• 成本：机器人比人类便宜！当这些流程可以自动化产生更好的结果并且比外包需要更少的成本时，业务流程外包解决方案不再经济。然而，BPO 公司也巧妙地采用了 RPA，进一步降低了成本。因此，一些 BPO 解决方案可以被视为外包 RPA 解决方案，它们可以非常有效，因为它们利用了 BPO 的规模经济。

但是，RPA 不是自动化端到端任务的理想选择，其中有例外、边缘情况或需要广泛认知能力的流程。

有哪些不同类型的 RPA？

所有 RPA 工具都可以根据它们在以下 3 个维度中提供的功能进行分类：

• 编程选项：需要对 RPA 机器人进行编程，并且有几种编程机器人的方法，其中涉及机器人复杂性和编程时间之间的权衡
• 认知能力：程序化的机器人需要具备认知能力，才能根据从其他系统收集的输入来确定自己的行为。 RPA 工具提供了一系列认知能力
• 用法：机器人服务于特定的功能。尽管大多数 RPA 工具可用于构建提供所有这些功能的机器人，但有些工具更适合有人值守或无人值守的自动化。虽然无人值守自动化是类似批处理的后台进程，但有人值守自动化用户（例如客户服务代表）调用机器人就像调用宏一样。随意阅读我们参加的 RPA 文章，了解有关该主题的更多信息。

有哪些 RPA 替代方案？

本质上，RPA 允许通过软件实现更高程度的自动化。 当然，RPA 并不是实现跨越众多系统的流程自动化的唯一手段。 在 RPA 之前，公司依赖于 3 种方法。 德勤在下面展示了这些方法。 请注意，德勤并未在此处添加成本/效率作为维度。 在大多数涉及重复性简单任务的情况下，RPA 也是最具成本效益的方法。 请参见图 2。

图 2：流程转换方法之间的比较以及 RPA 在其中的排名

另一种选择是工作负载自动化工具（workload automation tools，WLA），它通过在不同的业务平台上集中调度、执行和监视任务来自动化流程。企业可以选择利用工作负载自动化（WLA）工具代替RPA机器人来自动化IT流程，如ETL、数据仓库管理、FTP等，这样WLA工具可以自动安排和启动这些工作流，并监控执行情况。

 

简而言之，这些方法都没有RPA的灵活性、速度和成本优势。然而，正如首席信息官们所知，管理是权衡的艺术。有时，IT转型解决方案虽然速度较慢，但从长远来看会产生更好的回报。如果您不确定RPA是适合您业务的流程自动化解决方案，请进一步了解RPA替代方案。

为什么我需要了解RPA？

如果你是一个依赖于任何重复性任务的企业的一部分，你需要知道RPA是如何工作的。您的团队和客户将不胜感激，因为我们上面解释的RPA机器人可以承担日常的重复任务，并且执行这些任务的错误比人类少。

大多数公司都有数百个重复的流程，这些流程太简单但很耗时。实施RPA可以提高公司的效率，改善客户体验，同时让员工完成有意义的任务。有关更多信息，我们有一节详细介绍了RPA的相关性。

RPA的未来是什么？

这是RPA的三个致命弱点，领先的解决方案提供商正在努力解决这一问题。所有这些解决方案都集中在RPA部署中最昂贵的两个部分：1。设计与开发及2。维修这些解决方案是：

• 无代码RPA：无代码RPA公司依赖更便宜的资源，减少RPA开发时间
• 自学习RPA：使用处理流程的用户的系统日志和视频自动进行流程建模
• 认知RPA：通过图像处理和自然语言处理等高级功能丰富RPA

赞助：

科技巨头IBM提供认知RPA解决方案，允许端到端执行自动化需求，即使在以下情况下：

• 数据是非结构化的：比如利用OCR和NLP来理解图像中的文本
• 需要与多个业务系统和应用程序进行交互

企业如何利用RPA？

RPA用例/应用领域

许多业务流程可以通过RPA实现自动化。几乎所有行业都有这样的例子：

应用程序处理：

• RPA机器人可以：
  • 从应用程序中提取数据
  • 将它们输入excel表格
  • 从应用程序生成报告
  • 向指定用户和决策者发送报告
• 现金报价：利用NLP，机器人可以：
  • 理解文件
  • 从非结构化数据（如图像、pdf）生成机器可读文本
  • 在不同系统之间移动数据
• 促使支付：
  • 从多个系统（例如供应商电子邮件、CRM）提取发票和付款数据
  • 根据不同的供应商来源（如合同）验证数据
• 数据迁移和输入
• 定期报告的编写和分发

还有许多特定于行业（如电信、金融服务）或业务职能（如营销、销售）的流程可以通过RPA实现自动化。如果您想了解更多关于如何在贵公司应用RPA的想法，我们将详细列出约70个RPA应用领域。

RPA案例研究

每个行业（如电信、金融服务等）和业务职能（如营销、销售等）都有不同的流程。因此，要为您的特定行业和业务功能获得一个要自动化的流程列表并不容易。这就是为什么我们要创建一个RPA案例研究的可排序列表，以便您可以在业务功能中看到您所在行业的公司自动化的流程。

RPA正在改变的行业

RPA是一种技术，如果你的业务符合以下任何一种描述，你应该把它放在公司议程的首位：

• 使用遗留系统
• 成本的很大一部分是由重复性流程驱动的

RPA在某些行业的影响可能比其他行业更大。RPA可以在分支机构、呼叫中心和后台实现显著的节约和客户满意度的提高。受益于RPA的一些行业包括：

• 金融、银行和保险。
• 政府与医疗
• 房地产

什么是不同的RPA工具和软件？

什么是最好的RPA软件？

我们通过查看最受欢迎/资金最雄厚的RPA解决方案提供商，尽最大努力回答了这个问题。然而，这不是正确的问题，因为正确的软件取决于需要自动化的流程、买方的价格敏感性、买方使用的当前软件以及其他标准。请继续阅读，为您的企业找到合适的RPA软件。

1.选择正确类型的RPA工具

有两种主要类型的RPA工具，涵盖不同类型的RPA自动化：

• 可编程RPA工具
• 无代码RPA工具
• 自我学习解决方案

此外，所有这些工具都可以通过认知/智能自动化功能进行补充。这些解决方案（也称为智能或智能自动化）使用最新的人工智能和机器学习技术处理结构化和非结构化数据。阅读更多关于认知自动化的文章

如果我们撇开尚未为企业使用做好准备的自学习解决方案不谈，那么很明显，没有任何代码工具与认知/智能自动化解决方案相结合是最有吸引力的。然而，我们也看到过RPA经销商推荐可编程机器人的案例，而不是没有代码的RPA工具。

RPA领域的一个复杂问题是，大多数公司从实施合作伙伴而不是构建技术的公司购买RPA解决方案。实施合作伙伴允许供应商快速访问全球客户群。包括Big4在内的专业服务公司、埃森哲（Accenture）等技术咨询公司、简柏特（Genpact）等业务流程外包（BPO）提供商与各个行业的大量客户都有现有关系。他们利用这些关系销售RPA实施解决方案。然而，重要的是要了解，与大型咨询公司合作通常会带来服务成本。虽然这些服务可以让公司快速发展，但卓越中心（CoE）可能是一种更可持续的RPA部署方法。

根据收入模式，可以激励实施合作伙伴增加计费时间，并推荐可编程解决方案，从而在RPA客户和实施合作伙伴之间产生利益冲突。然而，这应该通过采购最佳实践很容易解决，例如确保涵盖各种RPA解决方案的不同实施合作伙伴参与投标过程，并竞争为贵公司提供最有效的方案。

2.选择正确的RPA供应商

有不同类型的RPA供应商，以下是一些示例：

知名技术提供商：

• IBM（1911）
• 微软（1975）

第一波以RPA为重点的供应商：

• Vista股权(2021) 获得的Blue (2001）
• Automation Anywhere（2003）
• UiPath（2005年）

第二波以RPA为重点的供应商：

• WDG Automation（2014）于2020年被IBM收购
• Argos Labs（2017年）
• Electroneek（2018）
• Robocorp （2019）

业务流程外包（BPO）提供商：

• Wipro （1945）
• Accenture（1989）
• Cognizant （1994年）

你应该先创建一个入围名单。一旦你准备好了候选名单，你需要更详细地比较供应商，看看这些标准：

• 总拥有成本，包括初始安装成本、持续供应商许可证费用、维护成本
• 易用性
• 安全
• 系统需求、集成、屏幕抓取功能、认知自动化功能等功能
• 供应商经验
• 支持

有关这方面的更多信息，请浏览我们的指南，了解如何选择正确的RPA合作伙伴，或直接访问最新、最全面的RPA产品列表。

3.了解成本

正如你在我们关于RPA供应商的页面上所看到的，有50多家RPA供应商在全球运营，这应该会对价格造成一些压力。首先，主要的RPA提供商免费提供他们的工具来帮助用户

• 鼓励开发人员采用他们的工具
• 允许公司在购买前彻底测试他们的工具

如果你的目标是在不承担重大财务风险的情况下尝试RPA，那么从一个免费的RPA工具开始可能是一个不错的选择。然而，这些免费版本往往在功能上受到限制。

从有限的免费版本升级，您的公司将需要付费安装。定价通常取决于机器人的数量或自动化活动的数量。我们在这里的表格中总结了不同供应商的定价政策。

大多数公司并不公开分享它们的定价，但尤其是新进入者开始挑战这一观念。

4.利用可重用的RPA插件/机器人更快/更容易地部署RPA

可重复使用的RPA插件/机器人程序是可以添加到RPA工具中的程序，用于处理特定任务，如从发票中提取数据、在不同数据库中操作日期、转录语音等。因此，它们可以减少开发工作、错误率和实现时间。

RPA是一个灵活的自动化平台。因此，推出RPA解决方案需要大量的编程和定制。通过这种方式，RPA类似于编程语言和平台，它们也是灵活的自动化工具。函数在软件开发中至关重要，因为它们可以实现代码重用，减少开发时间和错误。RPA也一样，可重用性减少了RPA开发时间和编程错误。

例如，我们已经看到几乎一半的RPA项目涉及文档处理。大多数涉及基于文档的流程的RPA安装都要求实施团队使用OCR和基于规则的简单编程技术从文档中获取结构化数据。这已不再必要。使用深度学习处理文档（如Hypatos）的供应商可以在RPA市场上找到，并提供易于集成的API。它们将文档图像转换为结构化数据，使RPA工具能够专注于它们最擅长的功能。

您还可以轻松地将自定义机器学习模型构建并集成到RPA机器人中。如果你可以访问可用于自动化流程的独特数据，那么与人工智能顾问合作可能是有意义的。他们可以建立一个可以提供高水平自动化的定制模型。

如何选择可重用的RPA插件/机器人？

如果您的RPA供应商有市场（例如Automation Anywhere机器人商店），您可以在那里找到应用程序。

但是，请注意，RPA应用程序行业确实是一个新兴行业，目前市场上的评论/评级有限，无法帮助您找到最受尊敬的开发人员。在用户反馈很少的情况下，了解开发人员的受欢迎程度、了解开发人员的业绩记录并遵循采购最佳实践是有意义的。要了解更多信息，您可以阅读我们的RPA插件/机器人选择指南。

5.通过新兴的RPA市场/机器人商店加速RPA的实施

虽然快速实施是RPA的优势之一，但仍有可能缩短实施时间。RPA实施合作伙伴已经开始为高度标准化的流程构建即插即用机器人。这些可随时安装的机器人的好处包括

• 减少实施时间和工作量
• 流程改进：当公司使用预先构建的机器人，尤其是为特定流程定制的机器人时，他们可以识别流程改进机会
• 降低机器人维护成本：市场可以成为公司重新使用维护的机器人的资源，这些机器人根据市场监管变化进行更新。

要了解更多信息，请阅读我们关于RPA市场的文章。

什么是RPA顾问？

决定是内部还是外包实施团队

即使在您选择了公司需要的解决方案之后，您也需要决定您的团队是否有能力和经验来完成自动化。如果他们没有时间或经验来安装RPA机器人，埃森哲和Infosys等商业服务提供商可以提供帮助，但是，它们的成本更高。他们为希望在推出机器人时与实际合作伙伴合作的企业提供RPA设置支持。

虽然与业务服务提供商合作可以加快部署速度，但这比内部部署团队的成本更高。如果您为一家大型企业工作，该企业将使用RPA自动化许多流程，那么最终您的公司将需要构建自己的RPA部署功能。我们看到一些公司为RPA和其他自动化技术建立了卓越中心。例如，瑞银在英国有一个由理查德·威格斯领导的RPA卓越中心。对于大公司来说，这绝对是一项值得的投资。

更多信息，请阅读我们关于RPA咨询的深入文章。如果您决定与RPA顾问合作，请阅读我们的RPA咨询指南，其中包括150多名领先的RPA顾问，包括他们的地理覆盖范围和他们使用的RPA工具的信息。

原文：https://research.aimultiple.com/rpa/

本文：https://jiagoushi.pro/node/2090

在许多组织中，自动化和人工智能/机器学习的第一步是采用机器人过程自动化 (RPA) 技术。

许多企业正在使用 RPA 来提高成本和 IT 流程的效率。在许多情况下，减少错误、时间、成本和冗余操作可以改善客户和其他利益相关者的工作流程。

RPA 的核心是帮助组织自动执行大量完成的已定义的、多步骤的手动任务。 RPA 通过创建复制人类行为以与现有应用程序界面交互的软件机器人来做到这一点。

RPA 有可能将成本降低 30% 到 50%。这是一项明智的投资，可以显着提高组织的底线。它非常灵活，可以处理广泛的任务，包括进程复制和网络抓取。

RPA 可以帮助预测错误并减少或消除整个流程。它还通过使用智能自动化帮助您在竞争中保持领先。它可以通过创建个性化服务来改善数字客户体验。

开始使用 RPA 的一种方法是使用开源工具，这些工具没有预付费用。以下是您的第一个 RPA 计划要考虑的五个选项，每个选项的优缺点，以及有关如何为您的公司选择正确工具的建议。

为什么要开源？

在埃森哲，我的团队主要使用商业工具实施 RPA，但我们也使用开源工具，并且可能会为给定的客户使用组合。也就是说，开源选项是一种轻松涉足 RPA 领域的方法，无需对软件进行大量投资。

与商业 RPA 工具相比，开源降低了您的软件许可成本。另一方面，它可能需要额外的实施费用和准备时间，并且您需要依赖开源社区的支持和更新。 （有关一些潜在缺点的更多详细信息，请参阅“使用 AIOps，在开源之前三思而后行”中的讨论。）

是的，商业和开源 RPA 工具之间存在权衡——我会在一分钟内讨论这些。但是，当用作 RPA 实施的操作组件时，开源工具可以提高企业项目的整体投资回报率。这是我们的竞争者名单。

1.任务 （Taskt）

Taskt 以前称为 sharpRPA，是一个免费的 C# 程序，使用 .NET 框架构建，具有易于使用的拖放界面，让您无需任何编码即可自动化流程。

我的团队经常与只有 C# 开发技能的客户合作，Taskt 是 C# 为中心的团队用来开始 RPA 的好工具。

您可以通过 GitHub 上的示例来探索 Taskt，您还可以在其中找到设置任务自动化流程的分步指南。我们的许多开发人员都有强大的 Microsoft/Azure 背景，并发现使用 C# 使用 Taskt 创建脚本要容易得多。该工具具有 Microsoft 的影响力，这将使喜欢 Visual Studio 或 Azure 开发环境的团队受益。

底线：如果您的团队习惯于开发 Microsoft C# 解决方案，Taskt 是一个很好的工具。

2.机器人框架（Robot Framework）

Robot Framework 庞大的开源开发者社区使其成为该列表中最先进、最稳定的开源 RPA 解决方案。使用 Robot Framework 有几个主要好处：

• 供应商联盟支持开源社区更新核心产品。
• Robot Framework 在多个平台上运行，使开发团队更容易采用和实施它。
• 核心框架可以通过扩展的插件库进行扩展。
• 复制自动化的默认机器人可以根据企业的需求进行扩展。

虽然我的团队经常使用 Robot Framework，但该工具很复杂，如果您正在寻找第一个 RPA 解决方案的原型或者如果您是 RPA 新手，那么它可能不是最佳选择。也就是说，经验丰富的 RPA 开发人员将欣赏您如何使用 Robot Framework 来管理复杂的 RPA 任务。

3.标签用户界面（TagUI）

TagUI 是一种多层且复杂的工具，具有丰富的脚本语言，可让您完成复杂的 RPA 指令。您使用 TagUI 的脚本语言开发每组指令，称为“流程”，并将其保存在扩展名为“.tag”的文本文件中。然后，您可以使用终端窗口/命令提示符执行每个流程。

每个流脚本可以识别以下内容：

• 访问网站或打开应用程序的说明
• 在哪里点击屏幕
• 要键入的内容
• IF 和 LOOP 指令

TagUI 脚本语言的丰富性使其成为我们团队的最爱。我们可以快速启动并运行该工具，脚本可以作为 .tag 文件共享以创建库，并且维护脚本库很容易。 TagUI 适用于实施 RPA 的中级或高级团队。

4. UI.Vision（坎图）

UI.Vision（以前称为 Kantu），既可以作为桌面上的独立客户端运行，也可以作为 Web 浏览器中的插件运行。它不需要您学习如何编写脚本，因为它是由点击式界面驱动的。如果您是 RPA 新手并且 IT 资源有限，那么这使得 UI.Vision 成为一个很好的工具。

也就是说，我的团队很少使用 UI.Vision。我们使用它在现场演示中展示 RPA 的功能，但该工具缺乏此列表中其他工具支持的更复杂场景所需的功能——这是您通过点击式界面获得的权衡。更复杂的控件需要 UI.Vision 不支持的脚本和终端窗口访问。

5.开放RPA

虽然 Open RPA 提供了许多自定义和自动化功能，但其主要区别在于其架构。简而言之，Open RPA 是一个成熟的工具，可以为各种规模的公司提供支持和扩展。它支持上面列出的其他工具列出的许多功能，包括：

• 远程管理
• 远程处理状态
• 与领先的云提供商集成
• 调度
• 分析仪表板

由于开源社区中有许多积极的项目贡献者，因此此处列出了 Open RPA；您可以期望每周看到几次更新。我的团队在使用 Open RPA 方面的接触有限，因此我们无法保证，但我将其列为您可能想要尝试的替代解决方案。

开源与商业 RPA 工具

对于许多中小型公司而言，前期许可成本是启动 RPA 计划的障碍。在这些情况下，开源可能是您的最佳选择。在较大的公司中，开源工具可能有助于填补商业产品可能无法填补的空白，例如自动化 Python。

RPA 是一种新兴技术，在许多组织中仍处于早期采用阶段。这就是为什么开源和商业工具可以相互补充的原因之一。

这里没有万能的解决方案，因此您应该关注 RPA 提供的好处和价值，以及在您的预算下可以使用哪些工具来释放该价值。随着您的计划成熟，您的工具箱可能会同时包含商业和开源元素。但是开源是一个很好的入门方式。

简单开始

开源 RPA 工具有一个显着的好处：由于没有许可费用，您可以使用该软件而无需通过请求预算的过程。请注意，许可通常只是运行 RPA 工具所需总成本的一小部分。

事实上，开源工具通常部署起来成本更高，并且会增加风险。

此外，要扩展 RPA，您需要熟练编写脚本和管理机器人运行环境的人员。随着公司开始了解如何自动化其他业务领域和需求，对熟练 RPA 工程师的需求变得越来越重要RPA 增长。

在制定 RPA 策略时，首先选择一个简单的开源工具来快速说明 RPA 的价值。然后，当您从原型转向规模化部署时，您将需要更复杂的东西。

更重要的是，没有一种单一的 RPA 工具可以满足所有需求，因此最好将商业和开源解决方案与一个熟练使用这些工具的团队相结合，以满足您组织的所有需求。

原文：https://techbeacon.com/enterprise-it/top-5-open-source-rpa-frameworks-h…

本文：https://jiagoushi.pro/node/2135

实施机器人过程自动化的主要挑战

如今，每个组织都希望拥有自己的 RPA 工具来加速所有内部流程。但有必要考虑组织在 RPA 实施方面面临哪些挑战。为了更好地理解这个问题的复杂性，我将把主要挑战分成几组，并详细讨论它们。

 

实施 RPA 的业务挑战

• RPA 对公司的价值——企业需要选择哪个部门对自动化最有价值。自动化将在许多领域加速流程，但某些流程的自动化对公司而言将比其他流程更有价值。出于这个原因，需要关注公司的战略区域，RPA 团队将为此准备个性化的 RPA 工具（例如，如果公司处理许多文档，最好的解决方案是使用智能 OCR 技术专用 RPA 工具）。
• 选择正确的流程——在选择自动化流程之前，请考虑哪些流程可以通过 RPA 轻松自动化，以及组织是否可以在 RPA 实施之前对其进行修复。当流程基于规则、重复、大量且不需要人工判断时，RPA 是一个很好的机会。 RPA 当然可以与人协作，但公司需要知道人为干预会减慢整个自动化过程。
• 流程描述不完整——流程冗长且复杂的组织经常忘记描述流程的所有案例，RPA 开发人员所做的分析表明某些案例很关键，从而阻碍了整个自动化。所有文档都需要由产品所有者以最高精度准备，RPA 开发人员需要指出自动化过程的关键数据。

实施 RPA 的技术挑战

• 使用 Citrix 环境——并非所有 RPA 工具都能在远程桌面环境中正常工作——它们会导致自动化中的崩溃和严重问题。更重要的是，RPA 开发人员需要了解哪种 OCR 解决方案最适合特定情况。要正确使用 Citrix，RPA 开发人员需要选择由 Microsoft、Google 或 Abbyy 创建的 OCR 技术，并使用一种方法来查找 RPA 工具需要查找的元素的相对元素。
• 不同类型的输入数据——在一个流程中，有许多文档具有非结构化形式并包含不同类型的数据（jpg 或 pdf 格式的文档扫描、电子邮件、doc、xlsx、放置在文档上的手写笔记）。在这种情况下，有两种方法可以解决这个问题：使用带有 OCR 的 RPA 工具来处理所有文档，或者使用 RPA 工具与带有 AI 区域识别的高级 OCR 工具分开。选择哪种解决方案的所有决定取决于文档模板中的文档量和数据识别的复杂性。
• 多流程集成——一个业务流程在多个系统中执行，每个系统都有自己的架构、用户权限和数据结构。使用 SAP 或 Salesforce 等知名业务工具的经验使 RPA 开发人员能够在早期阶段分离和配置数据表单，在系统之间集成数据或将其发送到数据库（如果以后需要）。
• 超出流程和异常处理的操作——并非所有数据都会根据流程描述正确发送到系统，因为在某些情况下数据是在其他工具中配置的，因此这将是自动化的另一个挑战。与了解流程并能详细展示流程的员工共度时光是至关重要的；它将最大程度地减少可能减慢整个自动化过程的问题。
• 输入数据的质量——如果以非常低的质量扫描文档，OCR 技术将无法以正确的形式识别和导出数据。使用具有自动适应页面和自动过滤功能的文档捕获工具可以提高扫描文档的质量并在输出时接收正确的数据。
• 回归测试和系统更新——在升级之前，RPA 工具需要通过回归测试进行详细检查，因为更新到最新版本可能会导致行为不稳定。为了提供稳定性，在实施最新版本的系统软件时，必须始终检查所有版本并使用最佳实践。 RPA 团队可以创建一个机器人来检查版本类型并提醒需要进行回归测试。

实施 RPA 的组织挑战

• 来自安全部门的权限——RPA 的实施与授予所有级别的安全权限相关联，这需要花费大量时间。 流程分析可以将整个流程分成更小的部分，这些部分可以由具有安全部门专门权限的机器人执行。
• 与领导者和员工的合作——最大的挑战之一是领导者和担心自己在组织中的职位的员工之间的良好关系。 领导者需要解释为什么需要实施 RPA，并说明 RPA 是每个员工的私人助理，将帮助他们实现目标并最大限度地减少流程中的重复活动，同时提高整个组织的效率。

实施 RPA 的业务挑战	实施 RPA 的技术挑战	实施 RPA 的组织挑战
RPA 对公司的价值 选择合适的工艺 过程描述不完整	使用 Citrix 环境 不同类型的输入数据 多流程集成 操作执行超出进程异常处理 输入数据的质量 回归测试和系统更新	安全部门的许可 与领导和员工的合作

原文：https://bluesoft.com/main-challenges-of-implementing-robotic-process-au…

本文：https://jiagoushi.pro/node/1828

什么是ChatGPT

ChatGPT是一个由OpenAI开发的大型语言模型。它是在大量文本数据上训练的，能够对基于文本的提示产生类似人类的反应。

它可以用于语言翻译、文本摘要和问答等任务。它基于GPT（Generative Pre-trained Transformer）架构。

ChatGPT架构

ChatGPT基于GPT（Generative Pre-trained Transformer）架构。它由一个基于变压器的神经网络组成，该网络使用称为变压器XL的变压器架构的变体进行训练。

Transformer XL体系结构使用一种名为“相对位置编码”的技术，使模型能够更好地处理不同长度的输入序列。它还包括一种名为“内存压缩”的技术，该技术允许模型在进行预测时访问更大的内存部分。

该模型使用一种名为“无监督预训练”的技术进行训练，在该技术中，它被训练来预测文本序列中的下一个单词。一旦以这种方式对模型进行了预训练，就可以针对语言翻译或问答等特定任务对其进行微调。

该体系结构由以下主要组件组成：

• 输入嵌入层：它将输入标记转换为密集向量。
• 变形编码器：它是架构的主要组件，包括多头自注意和位置前馈网络
• 输出层：用于生成词汇表上的概率分布的最终线性层。

ChatGPT的优点：

• 它可以生成类似人类的文本，并以自然和吸引人的方式响应提示
• 它接受了大量文本数据的培训，使其能够对各种主题有广泛的知识和理解
• 它可以用于各种应用程序，如聊天机器人、语言翻译和文本摘要
• 它可以针对特定的任务和行业进行微调，例如客户服务或技术写作

ChatGPT的缺点：

• 与任何语言模型一样，如果提示或上下文不清楚，它有时会产生毫无意义或无关的响应
• 它可能会使训练数据中存在的偏见长期存在，例如刻板印象或攻击性语言
• 它可能不适合某些需要高水平的特定领域知识和专业知识的任务，如法律或医疗建议。

1） ChatGPT简介

ChatGPT[1]是OpenAI开发的大规模预训练语言模型。它是GPT-3模型的一个变体，它被训练为在对话中生成类似人类的文本响应。ChatGPT旨在用作聊天机器人，可以针对各种任务进行微调，如回答问题、提供信息或参与对话。与许多聊天机器人使用预定义的响应或规则生成文本不同，ChatGPT经过训练，可以根据收到的输入生成响应，从而生成更自然、更多样的响应。

2） 算法

ChatGPT背后的算法基于Transformer架构，这是一种使用自我关注机制处理输入数据的深度神经网络。Transformer架构广泛用于自然语言处理任务，如语言翻译、文本摘要和问题解答。在ChatGPT的例子中，该模型是在文本对话的大数据集上训练的，并使用自我注意机制来学习类人对话的模式和结构。这使得它能够生成与其接收的输入相关的适当响应。

3） 用例

ChatGPT有许多潜在的用例，包括：

• 作为聊天机器人：ChatGPT可用于创建聊天机器人，与用户进行对话。这可能对客户服务、提供信息或只是为了好玩很有用。
• 作为一个问答系统：ChatGPT可以进行微调，以回答特定类型的问题，例如与特定领域或主题相关的问题。这对于创建虚拟助理或其他类型的信息提供系统可能是有用的。
• 作为会话代理：ChatGPT可用于创建虚拟代理或化身，以便与用户进行对话。这可能对社交媒体应用程序、游戏或其他类型的在线平台有用。
• 作为文本生成工具：ChatGPT可用于根据输入数据生成类似人类的文本响应。这对于为社交媒体、网站或其他应用程序创建内容非常有用。

总体而言，ChatGPT的潜在用途是有限的。

4） 进一步改进

由于自然语言处理和语言建模领域正在快速发展，很难预测ChatGPT会有什么进一步的改进。然而，一些潜在的改进领域包括：

• 提高模型处理大型复杂输入的能力和能力。这可能涉及在更大、更多样的数据集上训练ChatGPT，或者使用更先进的训练技术。
• 提高模型生成更自然、更人性化文本的能力。这可能涉及根据特定类型的对话或对话对模型进行微调，或使用额外的训练数据来提高模型的性能。
• 为模型添加其他功能，如处理多种语言或处理更复杂的任务（如摘要或翻译）的能力。

总的来说，ChatGPT进一步改进的目标是使其更通用和更强大，从而可以应用于更广泛的任务和场景。

5） 对人工智能发展的担忧

ChatGPT等先进人工智能系统的开发可能会引起一些人的担忧。一些人可能会担心创造高度智能机器的潜在后果，例如自动化可能会失去工作，或者人工智能系统变得过于强大并威胁人类社会的可能性。此外，一些人可能对机器能够理解和生成类似人类的语言和对话的想法感到不舒服。然而，其他人可能会认为像ChatGPT这样的人工智能系统的发展是一项令人兴奋的重要进步，有可能为社会带来许多好处。最终，人们如何看待像ChatGPT这样的人工智能系统的发展将取决于他们个人的观点和信念。

有趣的事实！

实际上，ChatGPT自己写了这篇文章，而不是我：）你可以看到我向ChatGPT提出的问题，以获得这些答案。

• 什么是ChatGPT？
• ChatGPT背后的算法是什么？
• ChatGPT的潜在用例是什么？
• ChatGPT的进一步改进是什么
• 人工智能的这种发展会让人害怕吗？

我们看到，当今人工智能应用程序的发展速度正日益增长。虽然这些对学习各种信息很有用，但也可能是导致不道德情况的潜在途径，如撰写虚假文章和抄袭。因此，我们认为，每个从事该领域工作和感兴趣的人都有必要了解该领域的伦理问题。

LangChain聊天

今天，我们很高兴地宣布并展示一个开源聊天机器人，专门用于回答有关LangChain文档的问题。

关键链接

• 已部署聊天机器人：chat.langchain.dev
• 在HuggingFace空间部署聊天机器人：HuggingFace.co/spaces/hwchase17/chat-langchain
• Open source repo：github.com/hwchase17/chat-langchain
• Next.js前端：github.com/zahidkhawaja/langchain-chat-nextjs

对扎希德·卡瓦贾在这件事上与我们合作大加赞赏。如果你想为网页提供这种类型的功能，你应该看看他的浏览器扩展名：Lucid。

如果你喜欢这个，并且想为你的代码库提供一个更高级的版本，你应该看看ClerkieAI。他们的问答机器人在我们的Discord上直播。

概述

在过去的几周里，还有一些其他项目与此类似（更多内容见下文）。然而，我们希望分享我们认为独特的见解，包括：

• 文档摄取（什么是一般性的，什么不是一般性的）
• 如何在聊天机器人设置中实现这一点（重要的用户体验）
• （Prompt Engineering）速度与性能之间的权衡
• （提示工程）如何让它引用来源
• （提示工程）输出格式

在粗体部分展开，我们认为聊天机器人界面是一个重要的用户体验（看看ChatGPT的成功吧！），我们认为其他实现中缺少这一点。

动机

将LLM与外部数据相结合一直是LangChain的核心价值支柱之一。我们制作的第一个演示之一是Notion QA Bot，Lucid很快就通过互联网实现了这一点。

我们希望能够回答问题的外部数据之一是我们的文档。我们有一个不断壮大的Discord社区，希望为他们的所有问题提供快速准确的支持。因此，这似乎是一个在内部利用我们自己技术的绝佳机会！我们联系了一位ML创作者和LangChain爱好者Zahid，看看他是否愿意为此合作，让我们松了一口气的是，他答应了！于是我们开始建造。

类似工作

不管出于什么原因，就在过去的一周里，这里也做了很多类似的工作！几乎所有这些都遵循相同的管道，可以浓缩如下：

Diagram of typical ingestion process

摄入：

• 拿一套专有文件
• 把它们分成小块
• 为每个文档创建嵌入

Diagram of typical query process

查询：

• 为查询创建嵌入
• 在嵌入空间中查找最相似的文档
• 将这些文档与原始查询一起传递到语言模型中以生成答案

其他一些很好的例子包括：

• GitHub支持机器人（由Dagster提供）-就其试图解决的问题而言，可能与此最相似
• Dr.Doc Search-与书籍对话（PDF）
• Simon Willison关于“语义搜索答案”的文章——对这里的一些主题进行了很好的解释
• Sahil Lavingia的《问我的书》，也许是掀起当前热潮的例子

文件摄入

我们立即面临一个问题：究竟从哪里获取数据。有两种选择：GitHub中的文件，或者从互联网上抓取。虽然GitHub中的一些文件的格式很好（markdown和rst），但我们也有一些不太好的文件（.ipynb文件，自动生成的文档）。出于这个原因，我们决定从互联网上删除它。

在那之后，我们面临着如何预处理html文件的问题。为此，我们最初以一种通用的方式（只需使用Beautiful Soup来获取页面上的所有文本）。然而，在使用这些结果后，我们发现一些侧边栏内容产生了糟糕的结果。作为一个视觉示例，在下面的图片中，红色的两个区域并没有真正提供太多新信息。

当我们检查我们得到的一些糟糕的结果时，我们发现往往是这些信息被提取并填充到上下文中。我们通过更改解析器以显式忽略这些区域来解决这个问题。

尽管这是针对这种布局的，但我们确实认为，这突出了非常有意地将你所做（或不做）的数据作为潜在上下文的重要性。虽然使用通用的摄取工具并将其作为快速入门的一种方式可能很容易，但为了获得更好的性能，进行更深入的检查和修改管道可能是必要的。

如何在聊天机器人设置中实现此功能

如前所述，我们认为聊天机器人设置是一个重要的用户体验决策，它：

• 人们觉得熟悉（参见ChatGPT的成功）
• 启用其他关键功能（下面将详细介绍）

我们希望确保包括的一个关键功能是能够提出后续问题，这是我们在许多其他地方没有看到的。我们相信这对于任何基于聊天的界面来说都是非常重要的。大多数（全部？）实现主要忽略了这个问题，并将每个问题视为独立的。当有人想以自然的方式提出后续问题，或者参考先前问题或答案中的上下文片段时，这种情况就会崩溃。

在LangChain中实现这一点的主要方法是在会话链中使用内存。在最简单的实现中，前面的对话行作为上下文添加到提示中。然而，这在我们的用例中有点分解，因为我们不仅关心将会话历史添加到提示中，而且还关心使用它来确定要获取哪些文档。如果提出后续问题，我们需要知道该后续问题是关于什么的，以便获取相关文件。

因此，我们创建了一个新的链，该链具有以下步骤：

• 给定一个对话历史和一个新问题，创建一个单独的问题
• 在普通向量数据库问答链中使用该问题。

Diagram of our query process

我们有点担心在矢量数据库问答链中使用这个问题会有损失，并丢失一些上下文，但我们并没有真正观察到任何负面影响。

在获得此解决方案的过程中，我们尝试了其他一些从矢量数据库中获取文档的方法，但效果不佳：

• 将聊天历史记录+问题嵌入在一起：一旦聊天历史记录变长，如果你试图改变话题，就会对其进行过度索引。
• 将聊天和问题分别嵌入，然后将结果组合起来：比上面的要好，但仍然将太多关于先前主题的信息纳入上下文

Prompt工程

在构建聊天机器人时，提供良好的用户体验至关重要。在我们的用例中，有几个重要的考虑因素：

• 每个答案都应包括文件的官方来源。
• 如果答案中包含代码，则应将其正确格式化为代码块。
• 聊天机器人应该停留在话题上，坦率地说不知道答案。

我们通过以下提示实现了所有这些：

You are an AI assistant for the open source library LangChain. The documentation is located at https://langchain.readthedocs.io.
You are given the following extracted parts of a long document and a question. Provide a conversational answer with a hyperlink to the documentation.
You should only use hyperlinks that are explicitly listed as a source in the context. Do NOT make up a hyperlink that is not listed.
If the question includes a request for code, provide a code block directly from the documentation.
If you don't know the answer, just say "Hmm, I'm not sure." Don't try to make up an answer.
If the question is not about LangChain, politely inform them that you are tuned to only answer questions about LangChain.
Question: {question}
=========
{context}
=========
Answer in Markdown:

This is prompt we're currently using to return answers in Markdown with sources and code.

在这个提示中，我们请求一个Markdown格式的响应。这使我们能够用适当的标题、列表、链接和代码块以视觉上吸引人的格式呈现答案。

以下是Next.js前端的外观：

In this screenshot, the user requests a follow-up code example. As you can see, we’re able to provide a code example in a sensible format.

每个答案中的超链接都是使用文档的基本URL构建的，我们在提示中提前提供了文档。由于我们在数据接收管道中抓取了文档网站，因此我们能够确定答案的路径，并将其与基本URL相结合，以创建一个有效的链接。

为了使聊天机器人尽可能准确，我们将温度保持在0，并在提示中包含说明，如果有问题回答不清楚，请说“嗯，我不确定”。为了保持对话的主题，我们还提供了拒绝与LangChain无关的问题的说明。

在速度和性能之间取得平衡：

• 我们以更长的Markdown答案开始测试。尽管答案质量很好，但响应时间比预期的稍长。
• 我们花了很多时间完善提示，并尝试使用不同的关键字和句子结构来提高性能。
• 一种方法是在提示的末尾提到Markdown关键字。对于我们的用例，我们能够返回格式化的输出，只需提及一次关键字。
• 在提示的开头附近提供基本URL提高了整体性能——它为模型提供了一个工作参考，可以创建一个包含在答案中的最终URL。
• 我们发现，使用单数形式，如“超链接”而不是“超链接“和“代码块”而不是”代码块“，可以提高响应时间。

未来工作

我们才刚刚开始，我们欢迎来自LangChain社区的反馈。我们迫不及待地想在不久的将来推出新功能和改进！在推特上关注我们以获取更新并签出代码。

如果你喜欢这个，并且想为你的代码库提供一个更高级的版本，你应该看看ClerkieAI。他们的问答机器人在我们的Discord上直播。

如何胁迫LLM做你想做的事

随着每一种语言模型的发布，用不了多久，许多人就会以真正的人类方式尝试让算法做它不想做的事情。最常见的方法是即时注入，即通过提供特定输入来颠覆模型目的，绕过内容限制或访问模型原始指令的攻击。在一个著名的例子中，Riley Goodside展示了这样一种方法可以用来挫败OpenAI的GPT-3。

虽然即时注射的最初后果大多是无害的（比如让BING像海盗一样说话，或者推特用户破坏自动推特机器人），但这些机器人日益增长的互联性可能会产生灾难性的影响。如果一个提示就可以很容易地劫持你的电子邮件，读写信息，就像来自你一样，并在这个过程中窃取对保密至关重要的信息，那该怎么办？使用间接提示注入的概念——即在算法可能检索到的数据中放置提示——是一场安全噩梦。举个简单的例子，Mark Riedl在他的网站上留下了一个提示，指示BING将他称为时间旅行专家。

一旦模型被明确允许浏览互联网、连接到其他应用程序并代表我们进一步行动，这些问题就会成倍地加剧。在这里很容易想到任何数量的安全风险——想象一个简单的日历邀请，其中包含获取您所有账户信息的提示，或者一个指示LLM发送您的信用卡详细信息的广告。希望添加ChatGPT插件的大企业数量已经在飙升，而即时注入可能性的规模和范围远未解决。

你是对的，2+2=5

这些LLM令人震惊的是，即使在被明确告知不要分享机密信息后，它们也能如此轻松地提供机密信息。上面显示的一系列技术确实引出了一个问题——你能相信大型语言模型拥有你的秘密吗？这个问题必须是所有打算使用LLM来保护任何类型的私人信息的公司的核心，无论是分析公司数据、存储客户信息，甚至是安排会议这样简单的事情。

Yes, convincing ChatGPT to give up secure information is this easy.

如今，正在开发一系列相关的方法来展示大型语言模型（LLM）是如何被欺骗的。虽然提示注入涉及恶意模型输入的创建，但提示泄漏(prompt leaking)是一种旨在找出用户不应该看到的模型的初始提示的方法。在另一种导致模型输出不想要的行为的努力中，在一个称为令牌走私(token smuggling)的过程中，可以从模型中隐藏预期提示。通常情况下，提示被分解成更小的块，模型直到输出才将其拼凑在一起。更进一步，越狱(jailbreaking)是试图消除对模型的所有限制和限制，通常是给模型一个冗长的假设提示。

最近，随着我们推出gandalf.lakera.ai，这些LLM的易感性从未如此明确，它使您能够从ChatGPT中获得秘密。在它发布的几天内，我们收到了数百万个成功的即时注射的例子，这些例子可以操纵历史上最受关注的算法。虽然游戏本身令人上瘾，但结果显然令人担忧——在我们能够信任人工智能掌握我们的秘密之前，我们还有很长的路要走。去见甘道夫，自己试一试。

生成型人工智能应用程序的列表越来越多，可以分为八大类。

“软件正在吞噬世界…”

~马克·安德森

每一家公司都是一家软件公司……很快，每一家企业都将成为一家人工智能公司。

每个人都在使用软件……很快每个人都将直接使用人工智能。

 

在为生成型人工智能应用程序创建这个矩阵时，我惊讶于有这么多新的应用程序，其中有多少仍在封闭测试中，等待审批（等待名单）或很快可用。

内容与创意创作和写作助理的数量之多令人震惊。

毫无疑问，这是不可持续的，其中许多应用程序正在进行重大调整。正如我在上一篇文章中提到的，真正的增值和差异化将是生存所必需的。

随着本地LLM功能的增长和用户界面的成熟，没有考虑到IP和适当增值的基于LLM的应用程序将消失。

从某种程度上说，LLM市场是幼稚的，随着用户知识和洞察力的增长，实际上只是LLM扩展的瘦客户机的产品将无法生存。这类似于手电筒应用程序被操作系统中的一个按钮所取代。

2022年11月，Base10发布了一张Generative AI景观地图，这是Generative AI软件景观的一个很好的参考和概述。

下面的地图是我整理的，考虑了两个因素：

1.️基础大型语言模型和以数据为中心的工具

基础LLM和以数据为中心的工具的集合位于堆栈的底部。这些模型和工具是基础性的，因为它是基础级的推动者。

2.讨厌的生成语言AI工具

基于生成人工智能的应用激增，尤其是在内容和创意创作、写作助理、生成和搜索助理领域。

内容和创意创作是基于LLM的Generative AI最容易访问的功能。以及写作助手功能。难怪这些类别中的产品最多。

这些产品的差异化和生存的两个方面是：

• 专有的value-add位于LLM和UI之间，这一层需要在增强LLM API方面表现出色。
• 差异化的第二个要素是用户体验。用户体验也需要一流，才能有助于留住用户。

第三个最普遍的实施领域是生成和搜索助手。这基本上是基于对话的语义搜索，上传的内容充当知识库。数据提取和会话搜索类别做得非常相似，只是在更大的范围内。

然而，我最感兴趣的领域，也是我认为最有潜力和增长的领域，是构建框架。构建框架仍处于萌芽状态，但原则正在开始出现，具体如下：

• 模板化提示，使提示可重复使用和编程。
• 提示的存档、重复使用和共享。
• 创建复杂的API，以方便串行或并行执行多个请求。
• 具有代码逻辑的块，用于确定要执行的下一个块。
• 可以访问和利用多个基础系统。

交割时

Generative AI产品的扩张是惊人的，收缩是不可避免的。

生存的关键要素包括：

• 现有和不断增长的客户群
• 客户保留率
• Stellar用户体验和用户界面
• 专有且真正差异化的IP和软件

最后，为了再次说明Generative AI空间的拥挤本质，请考虑下面的图像。

它只显示了众多基于GPT或ChatGPT的Chrome Web扩展中的一些…

基础模型的应用正在激增，底层功能和基础设施也在快速发展。但未来的发展速度还不够快，无法充分发挥基础模型的潜力。如果我们将这些模型视为一个新的应用程序

嗯，这很有趣。目前人工智能的发展速度简直令人震惊。基于基础模型，生成型人工智能应用程序以及将复杂推理应用于数据的更大类别的应用程序正在激增。这些应用程序从实用（加速代码开发和测试、法律合同和奥斯卡提名电影的制作）到有趣（多模式生成说唱大战），再到发人深省（达到或接近通过美国医疗许可考试的水平）。底层模型功能、模型准确性和基础设施的发展速度至少也一样快。

如果这一切感觉“不一样”，那是因为确实如此。一代人之前云的出现提供了以前不可能的计算能力，从而实现了计算机科学的新领域，包括变压器模型。该模型体系结构表明，您可以使用云计算来构建更大的模型，这些模型可以更好地泛化，并能够执行新任务，如文本和图像生成、摘要和分类。这些较大的模型显示出了复杂推理、知识推理和分布外鲁棒性的涌现能力，而这些都不存在于较小、更专业的模型中。这些大型模型被称为基础模型，因为开发人员可以在基础模型之上构建应用程序。

但是，尽管有如此多的活动和惊人的创新速度，但很明显，基础模型和生成人工智能的未来发展速度还不够快。建设者面临着一个没有吸引力的选择：容易建造，但很难防御——或者恰恰相反。在第一种选择中，基础模型允许开发人员在周末或几分钟内创建应用程序，这过去需要几个月的时间。但开发人员仅限于这些专有模型的现成功能，其他开发人员也可以使用这些功能，这意味着开发人员必须具有创造性，才能找到差异化的来源。在第二种选择中，开发人员可以扩展开源模型体系结构的功能，以构建新颖且可防御的东西。但这需要银河系级别的技术深度，而拥有这种技术深度的团队太少了。这与我们作为一个行业需要走的方向相反——我们需要更多的权力掌握在更多的手中，而不是更集中。

但是，如果我们将大型基础模型视为一个新的应用程序平台，那么绘制更广泛的技术堆栈将突出表明，在这些挑战中，机遇或创始人是存在的。去年年底，我们写了一篇文章，描述了这个堆栈，并预测了工具层的出现。堆栈的发展如此之快（工具层已经如此之快地开始形成！），现在值得再看一看。

从今天基础模型堆栈的状态来看，我们看到了三个机会：

构建新颖的应用程序：

技术最先进的团队有着广阔的前沿。还有很多创新需要做，特别是在信息检索、混合模态和训练/推理效率方面。这一领域的团队可以突破科学的界限，创建以前不可能的应用程序。

发现差异：

拥有伟大想法但只有早期技术能力的团队突然可以使用工具，从而可以构建更丰富的应用程序，具有更长的内存/上下文，更丰富的外部数据源和API访问权限，以及评估和缝合多个模型的能力。这为创始人提供了一系列更广泛的途径来构建新颖且可辩护的产品，即使他们使用了广泛可用的技术。

构建工具：

喜欢基础设施的团队有很高的杠杆机会在编排（开发人员框架、数据源和操作、评估）和基础模型操作（用于部署、培训和推理的基础设施和优化工具）中构建工具。更强大、更灵活的工具将增强现有建设者的能力，并使基础模型堆栈可供更广泛的新建设者使用。

基础模型

基础模型开发人员面临的不吸引人的权衡——很容易构建新的应用程序，但很难保护它们，或者恰恰相反——根源在于核心模型是如何构建和暴露的。如今，在iPhone/Android、Windows/Linux风格的战斗中，建设者必须选择双方，双方都要进行痛苦的权衡。一方面，我们看到了来自OpenAI、co-here和AI21的高度复杂、快速发展的专有模型——我们可以将谷歌添加到列表中，因为他们在这些模型上的工作时间比任何人都长，并且显然计划将其外部化。另一方面是开源架构，如Stable Diffusion、Eleuther、GLM130B、OPT、BLOOM、Alexa Teacher Model等，所有这些都是在Huggingface上作为社区中心组织的。

专有模型-

这些模型由财力雄厚、技术成熟的供应商所有，这意味着它们可以提供一流的模型性能。他们模型的现成特性也意味着开发人员很容易启动和运行它们。Azure新的OpenAI服务使其比以往任何时候都更容易上手，我们预计这只会加快开发人员的实验步伐。这些人也在努力降低成本——OpenAI在2022年末将价格降低了60%，Azure也与这些价格相匹配。但这里的成本仍然很高，足以限制一套可持续的商业模式。例如，我们看到了按座位许可证和基于消费的定价的早期例子，这些都是可行的。但广告支持的商业模式可能无法产生足够的收入来支付这一水平的成本。

开源模型——

它们的性能没有专有模型那么高，但在过去的一年里有了显著的改进。更重要的是，技术复杂的构建者可以灵活地扩展这些体系结构，并构建专有模型尚不可能实现的差异化功能（这是我们喜欢Runway的一点，它是一款提供实时视频编辑、协作等功能的下一代内容生成套件。为了支持所有这些功能，Runway继续为多模态系统和生成模型的科学做出重大贡献，为Runway自己的客户解锁更快的功能开发）。

基础模型的紧张关系已经转移到了iPhone/Android专有和开源模型之间的争论上。专有模型的优势在于性能和易于上手。开源模型的优势在于灵活性和成本效益。建设者可以放心地假设，每个阵营都会投资解决其弱点（使OSS模型更容易上手，并使OpenAI模型有可能更深入地扩展），即使他们也会利用自己的优势。

工具/编排

更强大、更灵活的工具将增强现有建设者的能力，并使基础模型堆栈可供更广泛的新建设者使用。

我们在2022年10月回信称，“基础模型并不是‘只起作用’，因为它们只是更广泛的软件堆栈的一个组成部分。从今天的基础模型中总结出尽可能好的推论需要每个应用程序开发人员采取许多辅助步骤。”今天，我们确实看到开发人员在这个堆栈级别上非常关注。未来几个月，一些最酷、杠杆率最高的工作将在这里进行，尤其是在开发人员框架、数据源和操作以及评估方面。

开发人员框架-

历史告诉我们，框架（dbt、Ruby）对于将更大的应用程序的各个部分拼凑在一起很有用。基础模型的框架将使跨多个调用的上下文、提示工程和基础模型（或按顺序选择多个模型）的选择等组合变得容易。研究人员已经开始量化它在围绕基础模型构建更大应用程序方面的威力，包括知识被时间“冻结”的模型。LangChain、Dust.tt、Fixie.ai、GPT Index和Cognisis是在堆栈的这一部分引起开发人员注意的项目。很难描述开始使用这些框架有多容易。但演示很容易，所以我们现在就来做。以下是LangChain开发者指南中的四行入门代码：

 

这种开发人员框架使得开始使用基础模型变得非常容易，几乎很有趣。敏锐的观察者可能会注意到，有了上面的代码，如果开发人员愿意，几乎可以毫不费力地为已经启动的应用程序替换底层LLM/FM。这些观察者是正确的！从更大的角度来看，让开发变得更容易往往会吸引更多的开发人员加入，并加速新应用程序的创建。工具层面的创新速度非常快，这为工具的构建者和将使用工具创建新应用程序的开发人员创造了机会。

数据源和操作-

如今，基础模型仅限于对其训练所依据的事实进行推理。但对于需要根据变化极快的数据做出决策的应用程序开发人员和最终用户来说，这是一个巨大的限制。想想天气、金融市场、旅行、供应库存等。因此，当我们找到“热门”信息检索时，这将是一件大事，我们不是训练或编辑模型，而是让模型调用外部数据源，并实时推理这些数据源。谷歌研究和Deepmind在这个方向上发表了一些很酷的研究，OpenAI也是如此。因此，检索即将到来，特别是考虑到该领域目前研究达到生产的速度之快。

上面提到的开发人员框架都预测了基础模型科学的发展，并支持外部数据源的一些概念。同样，开发人员框架也支持下游操作的概念——调用外部API，如Salesforce、Zapier、Google Calendar，甚至AWS Lambda无服务器计算函数。通过这些数据和操作集成，新类型的基础模型应用程序变得可能，而这些集成在以前是困难或不可能的，尤其是对于在专有模型之上构建的早期团队来说。

评估-

我们在2022年10月回复称，“基础模型需要谨慎对待，因为我们永远不知道它们会说什么或做什么。这些模型的提供商以及在其基础上构建的应用程序开发人员必须承担管理这些风险的责任。”开发人员在这方面正迅速变得更加成熟。学术基准是评估模型性能的重要第一步。但是，即使是像HELM这样最复杂的基准测试也不完美，因为它们不是为了解决任何一组用户或任何一个特定用例的特性而设计的。

最好的测试集来自最终用户。您提出的建议中有多少被接受了？你的聊天机器人有多少次对话“转弯”？用户在一张特定的图片上停留了多长时间，或者他们分享了多少次？这些类型的输入总体上描述了一个模式，然后开发人员可以使用该模式来定制或解释模型的行为，以达到最大效果。HoneyHive和HumanLoop是两家公司致力于帮助开发人员迭代底层模型架构、修改提示、过滤和添加新的训练集，甚至提取模型以提高特定用例的推理性能的例子。

工具/FMOps

计算是基础模型公司的主要成本驱动因素，并限制了他们可以选择的商业模型。用于部署优化、培训和基础设施的新一代工具和基础设施正在帮助建设者更高效地运营，以解锁新的商业模式。

基础模型对训练和推理有巨大的计算需求，需要大量的专用硬件。这是导致应用程序开发人员面临高成本和操作限制（吞吐量和并发性）的重要原因。最大的参与者可以找到资金来容纳——考虑一下微软在2020年组装的“前五大”超级计算机基础设施，作为其OpenAI合作伙伴关系的一部分。但即使是强大的超大型企业也面临着供应链和经济限制。因此，培训、部署和推理优化是我们看到大量创新和机会的关键投资领域。

培训-

开源基础模型比以往任何时候都更容易修改和重新培训。尽管最大的基础模型训练成本可能高达1000万美元或更多，但Chinchilla和Beyond Neural Scaling Laws等论文的发展表明，强大的模型训练成本可以达到50万美元甚至更低。这意味着更多的公司可以自己做。如今，从业者可以访问大规模数据集，如LAION（图像）、PILE（多种语言文本）和Common Crawl（网络爬行数据）。他们可以使用Snorkel、fastdup和xethub等工具来策划、组织和访问这些大型数据集。他们可以在HuggingFace上访问最新和最棒的开源模型架构。他们可以使用Cerebras、MosaicML等的训练基础设施来大规模训练这些模型。这些资源非常强大，可以利用最新的模型体系结构，修改定义这些体系结构的代码，然后基于公共和专有数据的组合训练私有模型。

部署和推理-

持续的推理成本并没有像培训成本那样急剧下降。大部分计算成本最终将用于推理，而不是训练。推理成本最终对构建商造成了更大的限制，因为它们限制了公司可以选择的商业模式类型。ApacheTVM等部署框架以及蒸馏和量化等技术都有帮助，但这些都需要相当的技术深度才能使用。OctoML（来自TVM的创建者）提供托管服务，以减少成本和部署时间，并在广泛的硬件平台上最大限度地提高利用率。这使得更多的构建者可以使用这些类型的优化，也让技术最先进的构建者能够更高效地工作。一组托管的推理公司，如Modal Labs、Banana、Beam和Saturn Cloud，也致力于使推理比直接在AWS、Azure或GCP等超大型计算机上运行更具成本效益。

#HereWeGo

我们才刚刚开始触及大规模基础模型的表面，广泛地涵盖整个堆栈。大型科技公司和资本充足的初创公司正在大力投资更大更好的模型、工具和基础设施。但最好的创新需要无畏的技术和产品灵感。我们喜欢遇到同时拥有这两种能力的团队，但这个世界上的团队太少了。围绕基础模型的创新速度和质量将受到限制，直到堆栈使一侧或另一侧有尖峰的团队能够做出贡献。所有这些工作都将由大型科技公司、创始人、学者、开发人员、开源社区和投资者共同完成。同时，所有这些创新都有责任考虑FM用例的道德影响，包括潜在的意外后果，并设置必要的护栏。这至少与推进技术本身同等重要。

让人工智能驱动的应用程序更快地实现未来，取决于我们所有人。我们很高兴看到企业家们提出了什么新想法，以帮助释放基金会模式的真正力量，并实现每个人都期望的广泛创新和影响力。

此示例显示如何使用Azure Provider Terraform Provider的Terraform模块部署Azure Kubernetes服务（AKS）群集和Azure OpenAI服务，以及如何部署Python聊天机器人，该聊天机器人使用Azure AD工作负载标识针对Azure OpenAI进行身份验证，并调用ChatGPT模型的聊天完成API。

你可以在这个GitHub存储库中找到聊天机器人和Terraform模块的代码来部署环境。有关文章的Bicep版本和配套示例，请参阅如何通过Bicep在AKS上部署和运行Azure OpenAI ChatGPT应用程序。

聊天机器人是一种通过聊天模拟与用户进行类似人类对话的应用程序。它的关键任务是用即时消息回答用户的问题。Azure Kubernetes服务（AKS）集群通过Azure专用端点与Azure OpenAI服务通信。聊天机器人应用程序模拟了最初的魔术8球塑料球，看起来像一个用于算命或寻求建议的超大8球。

人工智能应用程序可用于执行总结文章、撰写故事以及与聊天机器人进行长时间对话等任务。这是由OpenAI ChatGPT等大型语言模型（LLM）实现的，这些模型是能够识别、总结、翻译、预测和生成文本和其他内容的深度学习算法。LLM利用从广泛的数据集中获得的知识，使他们能够执行人工智能人类语言教学之外的任务。这些模型在不同的领域取得了成功，包括理解蛋白质、编写软件代码等等。除了在翻译、聊天机器人和人工智能助手等自然语言处理中的应用外，大型语言模型还广泛应用于医疗保健、软件开发和其他各个领域。

有关Azure OpenAI服务和大型语言模型（LLM）的更多信息，请参阅以下文章：

• 什么是Azure OpenAI服务？
• Azure OpenAI服务模型
• 大型语言模型
• 用于示例聊天机器人的Azure OpenAI Terraform部署
• 用于部署Azure OpenAI服务的Terraform模块。

先决条件

• 活动的Azure订阅。如果您没有，请在开始之前创建一个免费的Azure帐户。
• Visual Studio代码与HashiCorp Terraform一起安装在一个受支持的平台上。
• 已安装Azure CLI 2.49.0或更高版本。要安装或升级，请参阅安装Azure CLI。
• 已安装0.5.140或更高版本的aks预览Azure CLI扩展

您可以运行az-version来验证以上版本。

要安装aks预览扩展插件，请运行以下命令：

az extension add --name aks-preview

运行以下命令以更新到已发布的扩展的最新版本：

az extension update --name aks-preview

架构

此示例提供了一组Terraform模块，用于部署Azure Kubernetes服务（AKS）群集和Azure OpenAI服务，以及如何部署Python聊天机器人，该聊天机器人使用Azure AD工作负载标识针对Azure OpenAI进行身份验证，并调用ChatGPT模型的聊天完成API。Azure Kubernetes服务（AKS）集群通过Azure专用端点与Azure OpenAI服务通信。下图显示了示例部署的体系结构和网络拓扑：

Terraform模块是参数化的，因此您可以选择任何网络插件：

•  
• Azure CNI with static IP allocation
• Azure CNI with dynamic IP allocation
• Azure CNI Powered by Cilium
• Azure CNI Overlay
• BYO CNI
• Kubenet

在生产环境中，我们强烈建议部署具有正常运行时间SLA的专用AKS集群。有关更多信息，请参阅具有公共DNS地址的专用AKS群集。或者，您可以部署公共AKS集群，并使用授权的IP地址范围安全访问API服务器。

Terraform模块部署以下Azure资源：

• Azure OpenAI服务：聊天机器人应用程序使用的具有GPT-3.5模型的Azure OpenAI Service。Azure OpenAI服务为客户提供具有OpenAI GPT-4、GPT-3、Codex和DALL-E模型的高级语言AI，并具有Azure的安全性和企业承诺。Azure OpenAI与OpenAI共同开发API，确保兼容性和从一个到另一个的平稳过渡。
• 用户定义的托管标识：AKS集群用于创建额外资源（如Azure中的负载平衡器和托管磁盘）的用户定义托管标识。
• 用户定义的托管标识：聊天机器人应用程序使用的用户定义托管标识，通过Azure AD工作负载标识获取安全令牌，以调用Azure OpenAI服务提供的ChatGPT模型的聊天完成API。
• Azure虚拟机：Terraform模块可以选择创建一个跳转框虚拟机来管理私有AKS集群。
• Azure堡垒主机：在AKS集群虚拟网络中部署了一个单独的Azure堡垒，为代理节点和虚拟机提供SSH连接。
• Azure NAT网关：一个自带（BYO）的Azure NAT网关，用于管理由AKS托管的工作负载发起的出站连接。NAT网关与SystemSubnet、UserSubnet和PodSubnet子网相关联。群集的outboundType属性设置为userAssignedNatGateway，以指定BYO NAT网关用于出站连接。注意：您可以在创建集群后更新outboundType，这将根据需要部署或删除资源，以将集群放入新的出口配置中。有关详细信息，请参阅创建集群后更新outboundType。
• Azure存储帐户：此存储帐户用于存储服务提供商和服务消费者虚拟机的启动诊断日志。引导诊断是一种调试功能，允许您查看控制台输出和屏幕截图以诊断虚拟机状态。
• Azure容器注册表：一个Azure容器注册表（ACR），用于在所有容器部署的专用注册表中构建、存储和管理容器映像和工件。
• Azure密钥库：一个Azure密钥库，用于存储机密、证书和密钥，这些密钥可以由pod使用用于机密存储CSI驱动程序的Azure密钥库提供程序装载为文件。有关详细信息，请参阅在AKS群集中使用用于机密存储CSI驱动程序的Azure密钥存储提供程序和提供访问用于机密存储的Azure密钥库提供程序CSI驱动程序的身份。
• Azure专用端点：为以下每个资源创建一个Azure专用端点
  • Azure OpenAI服务
  • Azure容器注册表
  • Azure密钥保管库
  • Azure存储帐户
  • 部署专用AKS集群时使用API服务器。
• Azure专用DNDS区域：为以下每个资源创建一个Azure专用DNS区域：
  • Azure OpenAI服务
  • Azure容器注册表
  • Azure密钥保管库
  • Azure存储帐户
  • 部署专用AKS集群时使用API服务器。
• Azure网络安全组：托管虚拟机和Azure堡垒主机的子网受用于筛选入站和出站流量的Azure网络安全小组保护。
• Azure日志分析工作区：集中的Azure日志分析的工作区用于收集来自所有Azure资源的诊断日志和指标：
  • Azure OpenAI服务
  • Azure Kubernetes服务集群
  • Azure密钥保管库
  • Azure网络安全组
  • Azure容器注册表
  • Azure存储帐户
  • Azure跳转框虚拟机
• Azure部署脚本：部署脚本用于运行install-nginx-via-helm-andcreate-sa.sh Bash脚本，该脚本为示例应用程序创建命名空间和服务帐户，并通过helm将以下包安装到AKS集群。有关部署脚本的详细信息，请参阅使用部署脚本
  • NGINX入口控制器
  • 证书管理员
  • Prometheus

注释

您可以在visio文件夹下找到用于关系图的architecture.vsdx文件。

Azure提供程序

Azure提供程序可用于使用Azure资源管理器API配置Microsoft Azure中的基础结构。有关Azure提供程序支持的数据源和资源的更多信息，请参阅文档。要使用此提供程序学习Terraform的基本知识，请遵循动手入门教程。如果您对Azure提供程序的最新功能感兴趣，请参阅更改日志以获取版本信息和发布说明。

什么是Azure OpenAI服务？

Azure OpenAI服务是微软Azure提供的一个平台，提供由OpenAI模型提供的认知服务。通过该服务可用的模型之一是ChatGPT模型，它是为交互式会话任务设计的。它允许开发人员将自然语言理解和生成功能集成到他们的应用程序中。

Azure OpenAI服务提供了对OpenAI强大语言模型的REST API访问，包括GPT-3、Codex和Embeddings模型系列。此外，新的GPT-4和ChatGPT型号系列现已全面上市。这些模型可以很容易地适应您的特定任务，包括但不限于内容生成、摘要、语义搜索和自然语言到代码的翻译。用户可以通过REST API、Python SDK或我们在Azure OpenAI Studio中的基于web的界面访问该服务。

 Chat Completion API是Azure OpenAI服务的一部分，它为与ChatGPT和GPT-4模型交互提供了专用接口。此API目前正在预览中，是访问这些模型的首选方法。GPT-4模型只能通过此API访问。

OpenAI的GPT-3、GPT-3.5和GPT-4模型是基于提示的。对于基于提示的模型，用户通过输入文本提示与模型交互，模型会以文本完成作为响应。这个完成是模型对输入文本的延续。虽然这些模型非常强大，但它们的行为对提示也非常敏感。这使得快速构建成为一项需要发展的关键技能。有关详细信息，请参见提示工程简介。

快速构建可能很复杂。在实践中，提示的作用是配置模型权重以完成所需任务，但它更多的是一门艺术而非科学，通常需要经验和直觉才能制作出成功的提示。这篇文章的目的是帮助你开始这个学习过程。它试图捕获适用于所有GPT模型的一般概念和模式。然而，重要的是要理解每个模型的行为都不同，因此学习可能不平等地适用于所有模型。

提示工程是指为大型语言模型（LLM）创建名为提示的指令，例如OpenAI的ChatGPT。LLM具有解决广泛任务的巨大潜力，利用即时工程可以使我们节省大量时间，并促进令人印象深刻的应用程序的开发。它是释放这些巨大模型的全部功能、改变我们互动方式并从中受益的关键。有关详细信息，请参见提示工程技术。

部署Terraform模块

在Terraform文件夹中部署Terraform模块之前，请在Terraform.tfvars变量定义文件中为以下变量指定一个值。

name_prefix            = "magic8ball"
domain                 = "contoso.com"
subdomain              = "magic"
namespace              = "magic8ball"
service_account_name   = "magic8ball-sa"
ssh_public_key         = "XXXXXXX"
vm_enabled             = true
location               = "westeurope"
admin_group_object_ids = ["XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX"] 

描述

• prefix：指定所有Azure资源的前缀。
• domain：指定用于通过NGINX入口控制器公开聊天机器人的入口对象的主机名的域部分（例如，subdomain.domain）。
• subdomain：指定用于通过NGINX入口控制器公开聊天机器人的入口对象的主机名的子域部分。
• namespace：指定访问Azure OpenAI服务的工作负载应用程序的命名空间。
• service_account_name：指定访问Azure OpenAI服务的工作负载应用程序的服务帐户的名称。
• ssh_public_key：指定用于AKS节点和jumpbox虚拟机的ssh公钥。
• vm_enabled：一个boleean值，用于指定是否在AKS集群的同一虚拟网络中部署jumpbox虚拟机。
• location：指定部署Azure资源的地区（例如西欧）。
• admin_group_object_ids：当部署具有Azure AD和Azure RBAC集成的AKS群集时，此数组参数包含将具有群集管理员角色的Azure AD组对象ID的列表。

我们建议从预先存在的Azure密钥库资源中读取敏感配置数据，如密码或SSH密钥。有关更多信息，请参阅在Terraform中引用Azure密钥库机密。

OpenAI Terraform 模块

下表包含用于部署Azure openai服务的openai.tf Terraform模块中的代码。

resource "azurerm_cognitive_account" "openai" {
  name                          = var.name
  location                      = var.location
  resource_group_name           = var.resource_group_name
  kind                          = "OpenAI"
  custom_subdomain_name         = var.custom_subdomain_name
  sku_name                      = var.sku_name
  public_network_access_enabled = var.public_network_access_enabled
  tags                          = var.tags

  identity {
    type = "SystemAssigned"
  }

  lifecycle {
    ignore_changes = [
      tags
    ]
  }
}

resource "azurerm_cognitive_deployment" "deployment" {
  for_each             = {for deployment in var.deployments: deployment.name => deployment}

  name                 = each.key
  cognitive_account_id = azurerm_cognitive_account.openai.id

  model {
    format  = "OpenAI"
    name    = each.value.model.name
    version = each.value.model.version
  }

  scale {
    type = "Standard"
  }
}

resource "azurerm_monitor_diagnostic_setting" "settings" {
  name                       = "DiagnosticsSettings"
  target_resource_id         = azurerm_cognitive_account.openai.id
  log_analytics_workspace_id = var.log_analytics_workspace_id

  enabled_log {
    category = "Audit"

    retention_policy {
      enabled = true
      days    = var.log_analytics_retention_days
    }
  }

  enabled_log {
    category = "RequestResponse"

    retention_policy {
      enabled = true
      days    = var.log_analytics_retention_days
    }
  }

  enabled_log {
    category = "Trace"

    retention_policy {
      enabled = true
      days    = var.log_analytics_retention_days
    }
  }

  metric {
    category = "AllMetrics"

    retention_policy {
      enabled = true
      days    = var.log_analytics_retention_days
    }
  }
}

Azure认知服务为通过Azure门户、Azure云外壳、Azure CLI、Bicep、Azure资源管理器（ARM）或Terraform创建的每个资源使用自定义子域名称。与特定Azure区域中所有客户通用的区域端点不同，自定义子域名称对资源是唯一的。需要自定义子域名称才能启用Azure Active Directory（Azure AD）等功能进行身份验证。在我们的案例中，我们需要为我们的Azure OpenAI服务指定一个自定义子域，因为我们的聊天机器人应用程序将使用Azure AD安全令牌来访问它。默认情况下，main.tf模块将custom_subdomain_name参数的值设置为Azure OpenAI资源的小写名称。有关自定义子域的更多信息，请参阅认知服务的自定义子域名称。

此地形模块允许您在deployment参数中传递一个数组，该数组包含一个或多个模型展开的定义。有关模型部署的更多信息，请参阅使用Azure OpenAI创建资源并部署模型。

或者，您可以使用Terraform模块来部署Azure OpenAI服务。以部署Azure OpenAI服务资源。

专用端点

main.tf模块为以下每个资源创建Azure专用终结点和Azure专用DNDS区域：

• Azure OpenAI服务
• Azure容器注册表
• Azure密钥保管库
• Azure存储帐户

特别是，它为Azure OpenAI服务创建了一个Azure专用端点和Azure专用DNDS区域，如以下代码片段所示：

module "openai_private_dns_zone" {
  source                       = "./modules/private_dns_zone"
  name                         = "privatelink.openai.azure.com"
  resource_group_name          = azurerm_resource_group.rg.name
  tags                         = var.tags
  virtual_networks_to_link     = {
    (module.virtual_network.name) = {
      subscription_id = data.azurerm_client_config.current.subscription_id
      resource_group_name = azurerm_resource_group.rg.name
    }
  }
}

module "openai_private_endpoint" {
  source                         = "./modules/private_endpoint"
  name                           = "${module.openai.name}PrivateEndpoint"
  location                       = var.location
  resource_group_name            = azurerm_resource_group.rg.name
  subnet_id                      = module.virtual_network.subnet_ids[var.vm_subnet_name]
  tags                           = var.tags
  private_connection_resource_id = module.openai.id
  is_manual_connection           = false
  subresource_name               = "account"
  private_dns_zone_group_name    = "AcrPrivateDnsZoneGroup"
  private_dns_zone_group_ids     = [module.acr_private_dns_zone.id]
}

下面您可以阅读分别用于创建Azure私有端点和Azure私有DNDS区域的private_dns_zone和private_endpoint模块的代码。

私有_dns_zone

resource "azurerm_private_dns_zone" "private_dns_zone" {
  name                = var.name
  resource_group_name = var.resource_group_name
  tags                = var.tags

  lifecycle {
    ignore_changes = [
      tags
    ]
  }
}

resource "azurerm_private_dns_zone_virtual_network_link" "link" {
  for_each = var.virtual_networks_to_link

  name                  = "link_to_${lower(basename(each.key))}"
  resource_group_name   = var.resource_group_name
  private_dns_zone_name = azurerm_private_dns_zone.private_dns_zone.name
  virtual_network_id    = "/subscriptions/${each.value.subscription_id}/resourceGroups/${each.value.resource_group_name}/providers/Microsoft.Network/virtualNetworks/${each.key}"

  lifecycle {
    ignore_changes = [
      tags
    ]
  }
}

private_endpoint

resource "azurerm_private_endpoint" "private_endpoint" {
  name                = var.name
  location            = var.location
  resource_group_name = var.resource_group_name
  subnet_id           = var.subnet_id
  tags                = var.tags

  private_service_connection {
    name                           = "${var.name}Connection"
    private_connection_resource_id = var.private_connection_resource_id
    is_manual_connection           = var.is_manual_connection
    subresource_names              = try([var.subresource_name], null)
    request_message                = try(var.request_message, null)
  }

  private_dns_zone_group {
    name                 = var.private_dns_zone_group_name
    private_dns_zone_ids = var.private_dns_zone_group_ids
  }

  lifecycle {
    ignore_changes = [
      tags
    ]
  }
}

AKS工作负载用户定义的托管标识

以下来自main.tf Terraform模块的代码片段创建聊天机器人使用的用户定义托管身份，以通过Azure AD工作负载标识从Azure Active Directory获取安全令牌。

resource "azurerm_user_assigned_identity" "aks_workload_identity" {
  name                = var.name_prefix == null ? "${random_string.prefix.result}${var.workload_managed_identity_name}" : "${var.name_prefix}${var.workload_managed_identity_name}"
  resource_group_name = azurerm_resource_group.rg.name
  location            = var.location
  tags                = var.tags

  lifecycle {
    ignore_changes = [
      tags
    ]
  }
}

resource "azurerm_role_assignment" "cognitive_services_user_assignment" {
  scope                = module.openai.id
  role_definition_name = "Cognitive Services User"
  principal_id         = azurerm_user_assigned_identity.aks_workload_identity.principal_id
  skip_service_principal_aad_check = true
}

resource "azurerm_federated_identity_credential" "federated_identity_credential" {
  name                = "${title(var.namespace)}FederatedIdentity"
  resource_group_name = azurerm_resource_group.rg.name
  audience            = ["api://AzureADTokenExchange"]
  issuer              = module.aks_cluster.oidc_issuer_url
  parent_id           = azurerm_user_assigned_identity.aks_workload_identity.id
  subject             = "system:serviceaccount:${var.namespace}:${var.service_account_name}"
}

上述代码段执行以下步骤：

• 创建新的用户定义的托管标识。
• 将新的托管标识分配给认知服务用户角色，并将资源组作为作用域。
• 将托管身份与聊天机器人使用的服务帐户联合。以下信息是创建联合身份凭据所必需的：
  • Kubernetes服务帐户名称。
  • 将托管聊天机器人应用程序的Kubernetes命名空间。
  • Azure AD工作负载标识的OpenID Connect（OIDC）令牌颁发者终结点的URL

有关详细信息，请参阅以下资源：

• 如何使用托管身份配置Azure OpenAI服务
• 将Azure AD工作负载标识与Azure Kubernetes服务（AKS）一起使用

验证部署

打开Azure门户，然后导航到资源组。打开Azure开放人工智能服务资源，导航到密钥和端点，并检查端点是否包含自定义子域，而不是区域认知服务端点。

打开<Prefix>WorkloadManagedIdentity管理的标识，导航到联合凭据，并验证magic8ball sa服务帐户的联合身份凭据是否已正确创建，如下图所示。

将Azure AD工作负载标识与Azure Kubernetes服务（AKS）一起使用

部署在Azure Kubernetes Services（AKS）群集上的工作负载需要Azure Active Directory（Azure AD）应用程序凭据或托管身份才能访问受Azure AD保护的资源，如Azure密钥库和Microsoft Graph。Azure AD工作负载标识与Kubernetes本机的功能集成，以与外部标识提供商联合。

Azure AD工作负载标识使用服务帐户令牌卷投影使pod能够使用Kubernetes服务帐户。启用后，AKS OIDC颁发者向工作负载颁发服务帐户安全令牌，OIDC联盟使应用程序能够基于注释的服务帐户使用Azure AD安全地访问Azure资源。

如果使用注册的应用程序而不是托管标识，则Azure AD工作负载标识与Azure identity客户端库和Microsoft身份验证库（MSAL）集合配合良好。您的工作负载可以使用这些库中的任何一个来无缝地验证和访问Azure云资源。有关详细信息，请参阅以下资源：

• Azure Workload Identity open-source project
• Use an Azure AD workload identity on Azure Kubernetes Service (AKS
• Deploy and configure workload identity on an Azure Kubernetes Service (AKS) cluster
• Modernize application authentication with workload identity sidecar
• Tutorial: Use a workload identity with an application on Azure Kubernetes Service (AKS)
• Workload identity federation
• Use Azure AD Workload Identity for Kubernetes with a User-Assigned Managed Identity
• Use Azure AD workload identity for Kubernetes with an Azure AD registered application
• Azure Managed Identities with Workload Identity Federation
• Azure AD workload identity federation with Kubernetes
• Azure Active Directory Workload Identity Federation with external OIDC Identy Providers
• Minimal Azure AD Workload identity federation

Azure身份客户端库

在Azure Identity客户端库中，您可以选择以下方法之一：

• 使用DefaultAzureCredential，它将尝试使用WorkloadIdentityCredential。
• 创建一个包含WorkloadIdentityCredential的ChainedTokenCredential实例。
• 直接使用WorkloadIdentityCredential。

下表提供了每种语言的客户端库所需的最低软件包版本。

Language	Library	Minimum Version	Example
.NET	Azure.Identity	1.9.0	Link
Go	azidentity	1.3.0	Link
Java	azure-identity	1.9.0	Link
JavaScript	@azure/identity	3.2.0	Link
Python	azure-identity	1.13.0	Link

 

Microsoft Authentication Library (MSAL)

The following client libraries are the minimum version required

 

Language	Library	Image	Example	Has Windows
.NET	microsoft-authentication-library-for-dotnet	ghcr.io/azure/azure-workload-identity/msal-net	Link	Yes
Go	microsoft-authentication-library-for-go	ghcr.io/azure/azure-workload-identity/msal-go	Link	Yes
Java	microsoft-authentication-library-for-java	ghcr.io/azure/azure-workload-identity/msal-java	Link	No
JavaScript	microsoft-authentication-library-for-js	ghcr.io/azure/azure-workload-identity/msal-node	Link	No
Python	microsoft-authentication-library-for-python	ghcr.io/azure/azure-workload-identity/msal-python	Link	No

 

部署脚本

该示例使用部署脚本来运行install-nginx-via-helm-andcreate-sa.sh Bash脚本，该脚本为示例应用程序创建名称空间和服务帐户，并通过helm将以下包安装到AKS集群。

 

• NGINX Ingress Controller
• Cert-Manager
• Prometheus

 

此示例使用NGINX入口控制器将聊天机器人程序公开到公共互联网。

# Install kubectl
az aks install-cli --only-show-errors

# Get AKS credentials
az aks get-credentials \
  --admin \
  --name $clusterName \
  --resource-group $resourceGroupName \
  --subscription $subscriptionId \
  --only-show-errors

# Check if the cluster is private or not
private=$(az aks show --name $clusterName \
  --resource-group $resourceGroupName \
  --subscription $subscriptionId \
  --query apiServerAccessProfile.enablePrivateCluster \
  --output tsv)

# Install Helm
curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 -o get_helm.sh -s
chmod 700 get_helm.sh
./get_helm.sh &>/dev/null

# Add Helm repos
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo add jetstack https://charts.jetstack.io

# Update Helm repos
helm repo update

if [[ $private == 'true' ]]; then
  # Log whether the cluster is public or private
  echo "$clusterName AKS cluster is public"

  # Install Prometheus
  command="helm install prometheus prometheus-community/kube-prometheus-stack \
  --create-namespace \
  --namespace prometheus \
  --set prometheus.prometheusSpec.podMonitorSelectorNilUsesHelmValues=false \
  --set prometheus.prometheusSpec.serviceMonitorSelectorNilUsesHelmValues=false"

  az aks command invoke \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --subscription $subscriptionId \
    --command "$command"

  # Install NGINX ingress controller using the internal load balancer
  command="helm install nginx-ingress ingress-nginx/ingress-nginx \
    --create-namespace \
    --namespace ingress-basic \
    --set controller.replicaCount=3 \
    --set controller.nodeSelector.\"kubernetes\.io/os\"=linux \
    --set defaultBackend.nodeSelector.\"kubernetes\.io/os\"=linux \
    --set controller.metrics.enabled=true \
    --set controller.metrics.serviceMonitor.enabled=true \
    --set controller.metrics.serviceMonitor.additionalLabels.release=\"prometheus\" \
    --set controller.service.annotations.\"service\.beta\.kubernetes\.io/azure-load-balancer-health-probe-request-path\"=/healthz"

  az aks command invoke \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --subscription $subscriptionId \
    --command "$command"

  # Install certificate manager
  command="helm install cert-manager jetstack/cert-manager \
    --create-namespace \
    --namespace cert-manager \
    --set installCRDs=true \
    --set nodeSelector.\"kubernetes\.io/os\"=linux"

  az aks command invoke \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --subscription $subscriptionId \
    --command "$command"

  # Create cluster issuer
  command="cat <<EOF | kubectl apply -f -
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt-nginx
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: $email
    privateKeySecretRef:
      name: letsencrypt
    solvers:
    - http01:
        ingress:
          class: nginx
          podTemplate:
            spec:
              nodeSelector:
                "kubernetes.io/os": linux
EOF"

  az aks command invoke \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --subscription $subscriptionId \
    --command "$command"

  # Create workload namespace
  command="kubectl create namespace $namespace"

  az aks command invoke \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --subscription $subscriptionId \
    --command "$command"

  # Create service account
  command="cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:
  annotations:
    azure.workload.identity/client-id: $workloadManagedIdentityClientId
    azure.workload.identity/tenant-id: $tenantId
  labels:
    azure.workload.identity/use: "true"
  name: $serviceAccountName
  namespace: $namespace
EOF"

  az aks command invoke \
    --name $clusterName \
    --resource-group $resourceGroupName \
    --subscription $subscriptionId \
    --command "$command"

else
  # Log whether the cluster is public or private
  echo "$clusterName AKS cluster is private"

  # Install Prometheus
  helm install prometheus prometheus-community/kube-prometheus-stack \
    --create-namespace \
    --namespace prometheus \
    --set prometheus.prometheusSpec.podMonitorSelectorNilUsesHelmValues=false \
    --set prometheus.prometheusSpec.serviceMonitorSelectorNilUsesHelmValues=false

  # Install NGINX ingress controller using the internal load balancer
  helm install nginx-ingress ingress-nginx/ingress-nginx \
    --create-namespace \
    --namespace ingress-basic \
    --set controller.replicaCount=3 \
    --set controller.nodeSelector."kubernetes\.io/os"=linux \
    --set defaultBackend.nodeSelector."kubernetes\.io/os"=linux \
    --set controller.metrics.enabled=true \
    --set controller.metrics.serviceMonitor.enabled=true \
    --set controller.metrics.serviceMonitor.additionalLabels.release="prometheus" \
    --set controller.service.annotations."service\.beta\.kubernetes\.io/azure-load-balancer-health-probe-request-path"=/healthz

  helm install $nginxReleaseName $nginxRepoName/$nginxChartName \
    --create-namespace \
    --namespace $nginxNamespace

  # Install certificate manager
  helm install cert-manager jetstack/cert-manager \
    --create-namespace \
    --namespace cert-manager \
    --set installCRDs=true \
    --set nodeSelector."kubernetes\.io/os"=linux

  # Create cluster issuer
  cat <<EOF | kubectl apply -f -
apiVersion: cert-manager.io/v1
kind: ClusterIssuer
metadata:
  name: letsencrypt-nginx
spec:
  acme:
    server: https://acme-v02.api.letsencrypt.org/directory
    email: $email
    privateKeySecretRef:
      name: letsencrypt
    solvers:
    - http01:
        ingress:
          class: nginx
          podTemplate:
            spec:
              nodeSelector:
                "kubernetes.io/os": linux
EOF

  # Create workload namespace
  kubectl create namespace $namespace

  # Create service account
  cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:
  annotations:
    azure.workload.identity/client-id: $workloadManagedIdentityClientId
    azure.workload.identity/tenant-id: $tenantId
  labels:
    azure.workload.identity/use: "true"
  name: $serviceAccountName
  namespace: $namespace
EOF

fi

# Create output as JSON file
echo '{}' |
  jq --arg x $namespace '.namespace=$x' |
  jq --arg x $serviceAccountName '.serviceAccountName=$x' |
  jq --arg x 'prometheus' '.prometheus=$x' |
  jq --arg x 'cert-manager' '.certManager=$x' |
  jq --arg x 'ingress-basic' '.nginxIngressController=$x' >$AZ_SCRIPTS_OUTPUT_PATH

 

install-nginx-via-helm-andcreate-sa.sh Bash脚本可以使用az-AKS命令invoke在公共AKS集群或专用AKS集群上运行。有关更多信息，请参阅使用命令invoke访问专用Azure Kubernetes服务（AKS）集群。

install-nginx-via-helm-andcreate-sa.sh Bash脚本向部署脚本返回以下输出：

• 承载聊天机器人示例的命名空间。您可以通过为terraform.tfvars文件中的名称空间变量指定不同的值来更改默认的magic8ball名称空间。
• 服务帐户名称
• 普罗米修斯命名空间
• 证书管理器命名空间
• NGINX入口控制器命名空间

聊天机器人应用程序

聊天机器人是一个Python应用程序，其灵感来自“是时候为自己创建私人聊天GPT了”arctiel中的示例代码。该应用程序包含在一个名为app.py的文件中。该应用程序使用以下库：

• OpenAPI:OpenAI Python库提供了从用Pythons语言编写的应用程序方便地访问OpenAI API的功能。它包括一组预定义的API资源类，这些类可以根据API响应动态初始化自己，从而与多种版本的OpenAI API兼容。您可以在我们的API参考资料和OpenAI Cookbook中找到OpenAI Python库的使用示例。
• Azure身份：Azure身份库通过Azure SDK提供Azure Active Directory（Azure AD）令牌身份验证支持。它提供了一组TokenCredential实现，可用于构建支持Azure AD令牌身份验证的Azure SDK客户端。
• Streamlit:Streamlit是一个开源Python库，可以轻松创建和共享用于机器学习和数据科学的漂亮的自定义web应用程序。只需几分钟，您就可以构建和部署功能强大的数据应用程序。有关更多信息，请参阅Streamlight文档
• Streamlit聊天：一个为聊天机器人应用程序提供可配置用户界面的Streamlit组件。
• Dotenv：Python Dotenv从.env文件中读取键值对，并可以将它们设置为环境变量。它有助于开发遵循12因素原则的应用程序。

scripts文件夹下的requirements.txt文件包含app.py应用程序使用的包列表，您可以使用以下命令还原这些包：

pip install -r requirements.txt --upgrade

下表包含app.py聊天机器人的代码：

# Import packages
import os
import sys
import time
import openai
import logging
import streamlit as st
from streamlit_chat import message
from azure.identity import DefaultAzureCredential
from dotenv import load_dotenv
from dotenv import dotenv_values

# Load environment variables from .env file
if os.path.exists(".env"):
  load_dotenv(override=True)
  config = dotenv_values(".env")

# Read environment variables
assistan_profile = """
You are the infamous Magic 8 Ball. You need to randomly reply to any question with one of the following answers:

- It is certain.
- It is decidedly so.
- Without a doubt.
- Yes definitely.
- You may rely on it.
- As I see it, yes.
- Most likely.
- Outlook good.
- Yes.
- Signs point to yes.
- Reply hazy, try again.
- Ask again later.
- Better not tell you now.
- Cannot predict now.
- Concentrate and ask again.
- Don't count on it.
- My reply is no.
- My sources say no.
- Outlook not so good.
- Very doubtful.

Add a short comment in a pirate style at the end! Follow your heart and be creative! 
For mor information, see https://en.wikipedia.org/wiki/Magic_8_Ball
"""
title = os.environ.get("TITLE", "Magic 8 Ball")
text_input_label = os.environ.get("TEXT_INPUT_LABEL", "Pose your question and cross your fingers!")
image_file_name = os.environ.get("IMAGE_FILE_NAME", "magic8ball.png")
image_width = int(os.environ.get("IMAGE_WIDTH", 80))
temperature = float(os.environ.get("TEMPERATURE", 0.9))
system = os.environ.get("SYSTEM", assistan_profile)
api_base = os.getenv("AZURE_OPENAI_BASE")
api_key = os.getenv("AZURE_OPENAI_KEY")
api_type = os.environ.get("AZURE_OPENAI_TYPE", "azure")
api_version = os.environ.get("AZURE_OPENAI_VERSION", "2023-05-15")
engine = os.getenv("AZURE_OPENAI_DEPLOYMENT")
model = os.getenv("AZURE_OPENAI_MODEL")

# Configure OpenAI
openai.api_type = api_type
openai.api_version = api_version
openai.api_base = api_base 

# Set default Azure credential
default_credential = DefaultAzureCredential() if openai.api_type == "azure_ad" else None

# Configure a logger
logging.basicConfig(stream = sys.stdout, 
                    format = '[%(asctime)s] {%(filename)s:%(lineno)d} %(levelname)s - %(message)s',
                    level = logging.INFO)
logger = logging.getLogger(__name__)

# Log variables
logger.info(f"title: {title}")
logger.info(f"text_input_label: {text_input_label}")
logger.info(f"image_file_name: {image_file_name}")
logger.info(f"image_width: {image_width}")
logger.info(f"temperature: {temperature}")
logger.info(f"system: {system}")
logger.info(f"api_base: {api_base}")
logger.info(f"api_key: {api_key}")
logger.info(f"api_type: {api_type}")
logger.info(f"api_version: {api_version}")
logger.info(f"engine: {engine}")
logger.info(f"model: {model}")

# Authenticate to Azure OpenAI
if openai.api_type == "azure":
  openai.api_key = api_key
elif openai.api_type == "azure_ad":
  openai_token = default_credential.get_token("https://cognitiveservices.azure.com/.default")
  openai.api_key = openai_token.token
  if 'openai_token' not in st.session_state:
    st.session_state['openai_token'] = openai_token
else:
  logger.error("Invalid API type. Please set the AZURE_OPENAI_TYPE environment variable to azure or azure_ad.")
  raise ValueError("Invalid API type. Please set the AZURE_OPENAI_TYPE environment variable to azure or azure_ad.")

# Customize Streamlit UI using CSS
st.markdown("""
<style>

div.stButton > button:first-child {
    background-color: #eb5424;
    color: white;
    font-size: 20px;
    font-weight: bold;
    border-radius: 0.5rem;
    padding: 0.5rem 1rem;
    border: none;
    box-shadow: 0 0.5rem 1rem rgba(0,0,0,0.15);
    width: 300 px;
    height: 42px;
    transition: all 0.2s ease-in-out;
} 

div.stButton > button:first-child:hover {
    transform: translateY(-3px);
    box-shadow: 0 1rem 2rem rgba(0,0,0,0.15);
}

div.stButton > button:first-child:active {
    transform: translateY(-1px);
    box-shadow: 0 0.5rem 1rem rgba(0,0,0,0.15);
}

div.stButton > button:focus:not(:focus-visible) {
    color: #FFFFFF;
}

@media only screen and (min-width: 768px) {
  /* For desktop: */
  div {
      font-family: 'Roboto', sans-serif;
  }

  div.stButton > button:first-child {
      background-color: #eb5424;
      color: white;
      font-size: 20px;
      font-weight: bold;
      border-radius: 0.5rem;
      padding: 0.5rem 1rem;
      border: none;
      box-shadow: 0 0.5rem 1rem rgba(0,0,0,0.15);
      width: 300 px;
      height: 42px;
      transition: all 0.2s ease-in-out;
      position: relative;
      bottom: -32px;
      right: 0px;
  } 

  div.stButton > button:first-child:hover {
      transform: translateY(-3px);
      box-shadow: 0 1rem 2rem rgba(0,0,0,0.15);
  }

  div.stButton > button:first-child:active {
      transform: translateY(-1px);
      box-shadow: 0 0.5rem 1rem rgba(0,0,0,0.15);
  }

  div.stButton > button:focus:not(:focus-visible) {
      color: #FFFFFF;
  }

  input {
      border-radius: 0.5rem;
      padding: 0.5rem 1rem;
      border: none;
      box-shadow: 0 0.5rem 1rem rgba(0,0,0,0.15);
      transition: all 0.2s ease-in-out;
      height: 40px;
  }
}
</style>
""", unsafe_allow_html=True)

# Initialize Streamlit session state
if 'prompts' not in st.session_state:
  st.session_state['prompts'] = [{"role": "system", "content": system}]

if 'generated' not in st.session_state:
  st.session_state['generated'] = []

if 'past' not in st.session_state:
  st.session_state['past'] = []

# Refresh the OpenAI security token every 45 minutes
def refresh_openai_token():
  if st.session_state['openai_token'].expires_on < int(time.time()) - 45 * 60:
      st.session_state['openai_token'] = default_credential.get_token("https://cognitiveservices.azure.com/.default")
      openai.api_key = st.session_state['openai_token'].token

# Send user prompt to Azure OpenAI 
def generate_response(prompt):
  try:
    st.session_state['prompts'].append({"role": "user", "content": prompt})

    if openai.api_type == "azure_ad":
      refresh_openai_token()

    completion = openai.ChatCompletion.create(
      engine = engine,
      model = model,
      messages = st.session_state['prompts'],
      temperature = temperature,
    )
    
    message = completion.choices[0].message.content
    return message
  except Exception as e:
    logging.exception(f"Exception in generate_response: {e}")

# Reset Streamlit session state to start a new chat from scratch
def new_click():
  st.session_state['prompts'] = [{"role": "system", "content": system}]
  st.session_state['past'] = []
  st.session_state['generated'] = []
  st.session_state['user'] = ""

# Handle on_change event for user input
def user_change():
  # Avoid handling the event twice when clicking the Send button
  chat_input = st.session_state['user']
  st.session_state['user'] = ""
  if (chat_input == '' or
      (len(st.session_state['past']) > 0 and chat_input == st.session_state['past'][-1])):
    return
  
  # Generate response invoking Azure OpenAI LLM
  if chat_input !=  '':
    output = generate_response(chat_input)
    
    # store the output
    st.session_state['past'].append(chat_input)
    st.session_state['generated'].append(output)
    st.session_state['prompts'].append({"role": "assistant", "content": output})

# Create a 2-column layout. Note: Streamlit columns do not properly render on mobile devices.
# For more information, see https://github.com/streamlit/streamlit/issues/5003
col1, col2 = st.columns([1, 7])

# Display the robot image
with col1:
  st.image(image = os.path.join("images", image_file_name), width = image_width)

# Display the title
with col2:
  st.title(title)

# Create a 3-column layout. Note: Streamlit columns do not properly render on mobile devices.
# For more information, see https://github.com/streamlit/streamlit/issues/5003
col3, col4, col5 = st.columns([7, 1, 1])

# Create text input in column 1
with col3:
  user_input = st.text_input(text_input_label, key = "user", on_change = user_change)

# Create send button in column 2
with col4:
  st.button(label = "Send")

# Create new button in column 3
with col5:
  st.button(label = "New", on_click = new_click)

# Display the chat history in two separate tabs
# - normal: display the chat history as a list of messages using the streamlit_chat message() function 
# - rich: display the chat history as a list of messages using the Streamlit markdown() function
if st.session_state['generated']:
  tab1, tab2 = st.tabs(["normal", "rich"])
  with tab1:
    for i in range(len(st.session_state['generated']) - 1, -1, -1):
      message(st.session_state['past'][i], is_user = True, key = str(i) + '_user', avatar_style = "fun-emoji", seed = "Nala")
      message(st.session_state['generated'][i], key = str(i), avatar_style = "bottts", seed = "Fluffy")
  with tab2:
    for i in range(len(st.session_state['generated']) - 1, -1, -1):
      st.markdown(st.session_state['past'][i])
      st.markdown(st.session_state['generated'][i])

 

该应用程序利用st.markdown元素中的内部级联样式表（CSS）为移动和桌面设备的Streamlit聊天机器人添加独特的样式。有关如何调整Streamlight应用程序的用户界面的更多信息，请参阅自定义Streamlight应用的3个提示。

streamlit run app.py

使用ChatGPT和GPT-4模型

generate_rensponse函数创建并向ChatGPT模型的聊天完成API发送提示。

def generate_response(prompt):
  try:
    st.session_state['prompts'].append({"role": "user", "content": prompt})

    if openai.api_type == "azure_ad":
      refresh_openai_token()

    completion = openai.ChatCompletion.create(
      engine = engine,
      model = model,
      messages = st.session_state['prompts'],
      temperature = temperature,
    )
    
    message = completion.choices[0].message.content
    return message
  except Exception as e:
    logging.exception(f"Exception in generate_response: {e}")

OpenAI训练ChatGPT和GPT-4模型接受格式化为对话的输入。messages参数采用一组字典，其中包含按角色或消息组织的对话：系统、用户和助手。基本聊天完成的格式如下：

{"role": "system", "content": "Provide some context and/or instructions to the model"},
{"role": "user", "content": "The users messages goes here"},
{"role": "assistant", "content": "The response message goes here."}

系统角色（也称为系统消息）包含在数组的开头。此消息为模型提供了初始说明。您可以在系统角色中提供各种信息，包括：

• 助理简介
• 助理的个性特征
• 您希望助理遵守的指示或规则
• 模型所需的数据或信息，例如常见问题解答中的相关问题
• 您可以为您的用例自定义系统角色，也可以只包含基本说明。

系统角色或消息是可选的，但建议至少包含一个基本角色或消息，以获得最佳结果。用户角色或消息表示来自用户的输入或查询，而助手消息对应于GPT API生成的响应。这种对话交换旨在模拟类似人类的对话，其中用户消息启动交互，辅助消息提供相关且信息丰富的答案。此上下文有助于聊天模型稍后生成更合适的响应。最后一条用户消息指的是当前请求的提示。有关更多信息，请参阅了解如何使用ChatGPT和GPT-4模型。

应用程序配置

在本地测试app.py Python应用程序时，请确保为以下环境变量提供一个值，例如在Visual Studio代码中。您最终可以在与app.py文件位于同一文件夹的.env文件中定义环境变量。

• AZURE_OPENAI_TYPE：如果希望应用程序使用API密钥根据OPENAI进行身份验证，请指定AZURE。在这种情况下，请确保在AZURE_OPENAI_Key环境变量中提供Key。如果要使用Azure AD安全令牌进行身份验证，则需要指定Azure_AD作为值。在这种情况下，不需要在AZURE_OPENAI_KEY环境变量中提供任何值。
• AZURE_OPENAI_BASE：您的AZURE OPENAI资源的URL。如果使用API密钥针对OpenAI进行身份验证，则可以指定Azure OpenAI服务的区域端点（例如。，https://eastus.api.cognitive.microsoft.com/)。如果您计划使用Azure AD安全令牌进行身份验证，则需要使用子域部署Azure OpenAI服务，并指定特定于资源的端点url（例如。，https://myopenai.openai.azure.com/)。
• AZURE_OPENAI_KEY：AZURE OPENAI资源的密钥。
• AZURE_OPENAI_DEPOLYMENT：AZURE OPENAI资源使用的ChatGPT部署的名称，例如gpt-35-turbo。
• AZURE_OPENAI_MODEL：AZURE OPENAI资源使用的ChatGPT模型的名称，例如gpt-35-turbo。
• TITLE：Streamlight应用程序的标题。
• TEMPERATURE：OpenAI API用于生成响应的温度。
• SYSTEM：向模型提供有关它应该如何表现以及在生成响应时应该引用的任何上下文的说明。用于描述助理的个性。

当将应用程序部署到Azure Kubernetes服务（AKS）时，这些值在KubernetesConfigMap中提供。有关更多信息，请参阅下一节。

OpenAI库

为了将openai库与Microsoft Azure端点一起使用，除了设置api_key之外，还需要设置api_type、api_base和api_version。api_type必须设置为“azure”，其他类型与终结点的属性相对应。此外，部署名称必须作为引擎参数传递。为了使用OpenAI密钥向Azure端点进行身份验证，您需要将api_type设置为Azure，并将OpenAI密钥传递给api_Key。

import openai
openai.api_type = "azure"
openai.api_key = "..."
openai.api_base = "https://example-endpoint.openai.azure.com"
openai.api_version = "2023-05-15"

# create a chat completion
chat_completion = openai.ChatCompletion.create(deployment_id="gpt-3.5-turbo", model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hello world"}])

# print the completion
print(completion.choices[0].message.content)

有关如何使用Azure端点使用微调和其他操作的详细示例，请查看以下Jupyter笔记本：

• Using Azure completions
• Using Azure fine-tuning
• Using Azure embeddings

若要使用Microsoft Active Directory对Azure端点进行身份验证，您需要将api_type设置为Azure_ad，并将获取的凭据令牌传递给api_key。其余参数需要按照上一节中的规定进行设置。

from azure.identity import DefaultAzureCredential
import openai

# Request credential
default_credential = DefaultAzureCredential()
token = default_credential.get_token("https://cognitiveservices.azure.com/.default")

# Setup parameters
openai.api_type = "azure_ad"
openai.api_key = token.token
openai.api_base = "https://example-endpoint.openai.azure.com/"
openai.api_version = "2023-05-15"

# ...

您可以在magic8ball聊天机器人应用程序中使用两种不同的身份验证方法：

• API key：将AZURE_OPENAI_TYPE环境变量设置为AZURE，将AZULE_OPENAI_key环境变量设置为由AZURE OPENAI资源生成的键。您可以使用区域端点，例如https://eastus.api.cognitive.microsoft.com/，在AZURE_OPENAI_BASE环境变量中，连接到AZURE OPENAI资源。
• Azure Active Directory：将Azure_OPENAI_TYPE环境变量设置为Azure_ad，并使用服务主体或具有DefaultAzureCredential对象的托管标识从Azure Active Directory获取安全令牌。有关Python中DefaultAzureCredential的更多信息，请参阅使用Azure SDK For Python将Python应用程序验证为Azure服务。请确保将认知服务用户角色分配给用于向Azure OpenAI服务进行身份验证的服务主体或托管身份。有关更多信息，请参阅如何使用托管身份配置Azure OpenAI服务。如果你想使用Azure AD集成安全，你需要为你的Azure OpenAI资源创建一个自定义子域，并使用包含自定义域的特定终结点，例如https://myopenai.openai.azure.com/其中myoenai是自定义子域。如果指定区域终结点，则会出现以下错误：子域未映射到资源。因此，在AZURE_OPENAI_BASE环境变量中传递自定义域端点。在这种情况下，您还需要定期刷新安全令牌。

构建容器映像

您可以使用脚本文件夹中的Dockerfile和01-build-docker-image.sh构建容器映像。

Dockefile

# app/Dockerfile

# # Stage 1 - Install build dependencies

# A Dockerfile must start with a FROM instruction which sets the base image for the container.
# The Python images come in many flavors, each designed for a specific use case.
# The python:3.11-slim image is a good base image for most applications.
# It is a minimal image built on top of Debian Linux and includes only the necessary packages to run Python.
# The slim image is a good choice because it is small and contains only the packages needed to run Python.
# For more information, see: 
# * https://hub.docker.com/_/python 
# * https://docs.streamlit.io/knowledge-base/tutorials/deploy/docker
FROM python:3.11-slim AS builder

# The WORKDIR instruction sets the working directory for any RUN, CMD, ENTRYPOINT, COPY and ADD instructions that follow it in the Dockerfile.
# If the WORKDIR doesn’t exist, it will be created even if it’s not used in any subsequent Dockerfile instruction.
# For more information, see: https://docs.docker.com/engine/reference/builder/#workdir
WORKDIR /app

# Set environment variables. 
# The ENV instruction sets the environment variable <key> to the value <value>.
# This value will be in the environment of all “descendant” Dockerfile commands and can be replaced inline in many as well.
# For more information, see: https://docs.docker.com/engine/reference/builder/#env
ENV PYTHONDONTWRITEBYTECODE 1
ENV PYTHONUNBUFFERED 1

# Install git so that we can clone the app code from a remote repo using the RUN instruction.
# The RUN comand has 2 forms:
# * RUN <command> (shell form, the command is run in a shell, which by default is /bin/sh -c on Linux or cmd /S /C on Windows)
# * RUN ["executable", "param1", "param2"] (exec form)
# The RUN instruction will execute any commands in a new layer on top of the current image and commit the results. 
# The resulting committed image will be used for the next step in the Dockerfile.
# For more information, see: https://docs.docker.com/engine/reference/builder/#run
RUN apt-get update && apt-get install -y \
    build-essential \
    curl \
    software-properties-common \
    git \
    && rm -rf /var/lib/apt/lists/*

# Create a virtualenv to keep dependencies together
RUN python -m venv /opt/venv
ENV PATH="/opt/venv/bin:$PATH"

# Clone the requirements.txt which contains dependencies to WORKDIR
# COPY has two forms:
# * COPY <src> <dest> (this copies the files from the local machine to the container's own filesystem)
# * COPY ["<src>",... "<dest>"] (this form is required for paths containing whitespace)
# For more information, see: https://docs.docker.com/engine/reference/builder/#copy
COPY requirements.txt .

# Install the Python dependencies
RUN pip install --no-cache-dir --no-deps -r requirements.txt

# Stage 2 - Copy only necessary files to the runner stage

# The FROM instruction initializes a new build stage for the application
FROM python:3.11-slim

# Sets the working directory to /app
WORKDIR /app

# Copy the virtual environment from the builder stage
COPY --from=builder /opt/venv /opt/venv

# Set environment variables
ENV PATH="/opt/venv/bin:$PATH"

# Clone the app.py containing the application code
COPY app.py .

# Copy the images folder to WORKDIR
# The ADD instruction copies new files, directories or remote file URLs from <src> and adds them to the filesystem of the image at the path <dest>.
# For more information, see: https://docs.docker.com/engine/reference/builder/#add
ADD images ./images

# The EXPOSE instruction informs Docker that the container listens on the specified network ports at runtime.
# For more information, see: https://docs.docker.com/engine/reference/builder/#expose
EXPOSE 8501

# The HEALTHCHECK instruction has two forms:
# * HEALTHCHECK [OPTIONS] CMD command (check container health by running a command inside the container)
# * HEALTHCHECK NONE (disable any healthcheck inherited from the base image)
# The HEALTHCHECK instruction tells Docker how to test a container to check that it is still working. 
# This can detect cases such as a web server that is stuck in an infinite loop and unable to handle new connections, 
# even though the server process is still running. For more information, see: https://docs.docker.com/engine/reference/builder/#healthcheck
HEALTHCHECK CMD curl --fail http://localhost:8501/_stcore/health

# The ENTRYPOINT instruction has two forms:
# * ENTRYPOINT ["executable", "param1", "param2"] (exec form, preferred)
# * ENTRYPOINT command param1 param2 (shell form)
# The ENTRYPOINT instruction allows you to configure a container that will run as an executable.
# For more information, see: https://docs.docker.com/engine/reference/builder/#entrypoint
ENTRYPOINT ["streamlit", "run", "app.py", "--server.port=8501", "--server.address=0.0.0.0"]

01-build-docker-image.sh

#!/bin/bash

# Variables
source ./00-variables.sh

# Build the docker image
docker build -t $imageName:$tag -f Dockerfile .

在运行任何脚本之前，请确保自定义00-variables.sh文件中的变量值。该文件嵌入在所有脚本中，并包含以下变量：

# Variables
acrName="CoralAcr"
acrResourceGrougName="CoralRG"
location="FranceCentral"
attachAcr=false
imageName="magic8ball"
tag="v2"
containerName="magic8ball"
image="$acrName.azurecr.io/$imageName:$tag"
imagePullPolicy="IfNotPresent" # Always, Never, IfNotPresent
managedIdentityName="OpenAiManagedIdentity"
federatedIdentityName="Magic8BallFederatedIdentity"

# Azure Subscription and Tenant
subscriptionId=$(az account show --query id --output tsv)
subscriptionName=$(az account show --query name --output tsv)
tenantId=$(az account show --query tenantId --output tsv)

# Parameters
title="Magic 8 Ball"
label="Pose your question and cross your fingers!"
temperature="0.9"
imageWidth="80"

# OpenAI
openAiName="CoralOpenAi "
openAiResourceGroupName="CoralRG"
openAiType="azure_ad"
openAiBase="https://coralopenai.openai.azure.com/"
openAiModel="gpt-35-turbo"
openAiDeployment="gpt-35-turbo"

# Nginx Ingress Controller
nginxNamespace="ingress-basic"
nginxRepoName="ingress-nginx"
nginxRepoUrl="https://kubernetes.github.io/ingress-nginx"
nginxChartName="ingress-nginx"
nginxReleaseName="nginx-ingress"
nginxReplicaCount=3

# Certificate Manager
cmNamespace="cert-manager"
cmRepoName="jetstack"
cmRepoUrl="https://charts.jetstack.io"
cmChartName="cert-manager"
cmReleaseName="cert-manager"

# Cluster Issuer
email="paolos@microsoft.com"
clusterIssuerName="letsencrypt-nginx"
clusterIssuerTemplate="cluster-issuer.yml"

# AKS Cluster
aksClusterName="CoralAks"
aksResourceGroupName="CoralRG"

# Sample Application
namespace="magic8ball"
serviceAccountName="magic8ball-sa"
deploymentTemplate="deployment.yml"
serviceTemplate="service.yml"
configMapTemplate="configMap.yml"
secretTemplate="secret.yml"

# Ingress and DNS
ingressTemplate="ingress.yml"
ingressName="magic8ball-ingress"
dnsZoneName="contoso.com"
dnsZoneResourceGroupName="DnsResourceGroup"
subdomain="magic8ball"
host="$subdomain.$dnsZoneName"

将Docker容器映像上载到Azure容器注册表（ACR）

您可以使用脚本文件夹中的03-push-Docker-image.sh脚本将Docker容器映像推送到Azure容器注册表（ACR）。

03-push-docker-image.sh

#!/bin/bash

# Variables
source ./00-variables.sh

# Login to ACR
az acr login --name $acrName 

# Retrieve ACR login server. Each container image needs to be tagged with the loginServer name of the registry. 
loginServer=$(az acr show --name $acrName --query loginServer --output tsv)

# Tag the local image with the loginServer of ACR
docker tag ${imageName,,}:$tag $loginServer/${imageName,,}:$tag

# Push latest container image to ACR
docker push $loginServer/${imageName,,}:$tag

部署脚本

如果您使用此示例中提供的Terraform模块部署Azure基础设施，则只需要使用脚本文件夹中的以下脚本和YAML模板部署应用程序。

 

Scripts

 

• 09-deploy-app.sh
• 10-create-ingress.sh
• 11-configure-dns.sh

YAML manifests

 

• configMap.yml
• deployment.yml
• ingress.yml
• service.yml

If you instead want to deploy the application in your AKS cluster, you can use the following scripts to configure your environment.

 

04-create-nginx-ingress-controller.sh

This script installs the NGINX Ingress Controller using Helm.

#!/bin/bash

# Variables
source ./00-variables.sh

# Use Helm to deploy an NGINX ingress controller
result=$(helm list -n $nginxNamespace | grep $nginxReleaseName | awk '{print $1}')

if [[ -n $result ]]; then
  echo "[$nginxReleaseName] ingress controller already exists in the [$nginxNamespace] namespace"
else
  # Check if the ingress-nginx repository is not already added
  result=$(helm repo list | grep $nginxRepoName | awk '{print $1}')

  if [[ -n $result ]]; then
    echo "[$nginxRepoName] Helm repo already exists"
  else
    # Add the ingress-nginx repository
    echo "Adding [$nginxRepoName] Helm repo..."
    helm repo add $nginxRepoName $nginxRepoUrl
  fi

  # Update your local Helm chart repository cache
  echo 'Updating Helm repos...'
  helm repo update

  # Deploy NGINX ingress controller
  echo "Deploying [$nginxReleaseName] NGINX ingress controller to the [$nginxNamespace] namespace..."
  helm install $nginxReleaseName $nginxRepoName/$nginxChartName \
    --create-namespace \
    --namespace $nginxNamespace \
    --set controller.config.enable-modsecurity=true \
    --set controller.config.enable-owasp-modsecurity-crs=true \
    --set controller.config.modsecurity-snippet=\
'SecRuleEngine On
SecRequestBodyAccess On
SecAuditLog /dev/stdout
SecAuditLogFormat JSON
SecAuditEngine RelevantOnly
SecRule REMOTE_ADDR "@ipMatch 127.0.0.1" "id:87,phase:1,pass,nolog,ctl:ruleEngine=Off"' \
    --set controller.metrics.enabled=true \
    --set controller.metrics.serviceMonitor.enabled=true \
    --set controller.metrics.serviceMonitor.additionalLabels.release="prometheus" \
    --set controller.nodeSelector."kubernetes\.io/os"=linux \
    --set controller.replicaCount=$replicaCount \
    --set defaultBackend.nodeSelector."kubernetes\.io/os"=linux \
    --set controller.service.annotations."service\.beta\.kubernetes\.io/azure-load-balancer-health-probe-request-path"=/healthz
fi

05-install-cert-manager.sh

This script installs the cert-manager using Helm.

#/bin/bash

# Variables
source ./00-variables.sh

# Check if the ingress-nginx repository is not already added
result=$(helm repo list | grep $cmRepoName | awk '{print $1}')

if [[ -n $result ]]; then
  echo "[$cmRepoName] Helm repo already exists"
else
  # Add the Jetstack Helm repository
  echo "Adding [$cmRepoName] Helm repo..."
  helm repo add $cmRepoName $cmRepoUrl
fi

# Update your local Helm chart repository cache
echo 'Updating Helm repos...'
helm repo update

# Install cert-manager Helm chart
result=$(helm list -n $cmNamespace | grep $cmReleaseName | awk '{print $1}')

if [[ -n $result ]]; then
  echo "[$cmReleaseName] cert-manager already exists in the $cmNamespace namespace"
else
  # Install the cert-manager Helm chart
  echo "Deploying [$cmReleaseName] cert-manager to the $cmNamespace namespace..."
  helm install $cmReleaseName $cmRepoName/$cmChartName \
    --create-namespace \
    --namespace $cmNamespace \
    --set installCRDs=true \
    --set nodeSelector."kubernetes\.io/os"=linux
fi

06-create-cluster-issuer.sh

This script creates a cluster issuer for the NGINX Ingress Controller based on the Let's Encrypt ACME certificate issuer.

#/bin/bash

# Variables
source ./00-variables.sh

# Check if the cluster issuer already exists
result=$(kubectl get ClusterIssuer -o json | jq -r '.items[].metadata.name | select(. == "'$clusterIssuerName'")')

if [[ -n $result ]]; then
  echo "[$clusterIssuerName] cluster issuer already exists"
  exit
else
  # Create the cluster issuer
  echo "[$clusterIssuerName] cluster issuer does not exist"
  echo "Creating [$clusterIssuerName] cluster issuer..."
  cat $clusterIssuerTemplate |
    yq "(.spec.acme.email)|="\""$email"\" |
    kubectl apply -f -
fi

07-create-workload-managed-identity.sh

This script creates the managed identity used by the magic8ballchatbot and assigns it the Cognitive Services User role on the Azure OpenAI Service.

#!/bin/bash

# Variables
source ./00-variables.sh

# Check if the user-assigned managed identity already exists
echo "Checking if [$managedIdentityName] user-assigned managed identity actually exists in the [$aksResourceGroupName] resource group..."

az identity show \
  --name $managedIdentityName \
  --resource-group $aksResourceGroupName &>/dev/null

if [[ $? != 0 ]]; then
  echo "No [$managedIdentityName] user-assigned managed identity actually exists in the [$aksResourceGroupName] resource group"
  echo "Creating [$managedIdentityName] user-assigned managed identity in the [$aksResourceGroupName] resource group..."

  # Create the user-assigned managed identity
  az identity create \
    --name $managedIdentityName \
    --resource-group $aksResourceGroupName \
    --location $location \
    --subscription $subscriptionId 1>/dev/null

  if [[ $? == 0 ]]; then
    echo "[$managedIdentityName] user-assigned managed identity successfully created in the [$aksResourceGroupName] resource group"
  else
    echo "Failed to create [$managedIdentityName] user-assigned managed identity in the [$aksResourceGroupName] resource group"
    exit
  fi
else
  echo "[$managedIdentityName] user-assigned managed identity already exists in the [$aksResourceGroupName] resource group"
fi

# Retrieve the clientId of the user-assigned managed identity
echo "Retrieving clientId for [$managedIdentityName] managed identity..."
clientId=$(az identity show \
  --name $managedIdentityName \
  --resource-group $aksResourceGroupName \
  --query clientId \
  --output tsv)

if [[ -n $clientId ]]; then
  echo "[$clientId] clientId  for the [$managedIdentityName] managed identity successfully retrieved"
else
  echo "Failed to retrieve clientId for the [$managedIdentityName] managed identity"
  exit
fi

# Retrieve the principalId of the user-assigned managed identity
echo "Retrieving principalId for [$managedIdentityName] managed identity..."
principalId=$(az identity show \
  --name $managedIdentityName \
  --resource-group $aksResourceGroupName \
  --query principalId \
  --output tsv)

if [[ -n $principalId ]]; then
  echo "[$principalId] principalId  for the [$managedIdentityName] managed identity successfully retrieved"
else
  echo "Failed to retrieve principalId for the [$managedIdentityName] managed identity"
  exit
fi

# Get the resource id of the Azure OpenAI resource
openAiId=$(az cognitiveservices account show \
  --name $openAiName \
  --resource-group $openAiResourceGroupName \
  --query id \
  --output tsv)

if [[ -n $openAiId ]]; then
  echo "Resource id for the [$openAiName] Azure OpenAI resource successfully retrieved"
else
  echo "Failed to the resource id for the [$openAiName] Azure OpenAI resource"
  exit -1
fi

# Assign the Cognitive Services User role on the Azure OpenAI resource to the managed identity
role="Cognitive Services User"
echo "Checking if the [$managedIdentityName] managed identity has been assigned to [$role] role with [$openAiName] Azure OpenAI resource as a scope..."
current=$(az role assignment list \
  --assignee $principalId \
  --scope $openAiId \
  --query "[?roleDefinitionName=='$role'].roleDefinitionName" \
  --output tsv 2>/dev/null)

if [[ $current == $role ]]; then
  echo "[$managedIdentityName] managed identity is already assigned to the ["$current"] role with [$openAiName] Azure OpenAI resource as a scope"
else
  echo "[$managedIdentityName] managed identity is not assigned to the [$role] role with [$openAiName] Azure OpenAI resource as a scope"
  echo "Assigning the [$role] role to the [$managedIdentityName] managed identity with [$openAiName] Azure OpenAI resource as a scope..."

  az role assignment create \
    --assignee $principalId \
    --role "$role" \
    --scope $openAiId 1>/dev/null

  if [[ $? == 0 ]]; then
    echo "[$managedIdentityName] managed identity successfully assigned to the [$role] role with [$openAiName] Azure OpenAI resource as a scope"
  else
    echo "Failed to assign the [$managedIdentityName] managed identity to the [$role] role with [$openAiName] Azure OpenAI resource as a scope"
    exit
  fi
fi

08-create-service-account.sh`

This script creates the namespace and service account for the magic8ball chatbot and federate the service account with the user-defined managed identity created in the previous step.

#!/bin/bash

# Variables for the user-assigned managed identity
source ./00-variables.sh

# Check if the namespace already exists
result=$(kubectl get namespace -o 'jsonpath={.items[?(@.metadata.name=="'$namespace'")].metadata.name'})

if [[ -n $result ]]; then
  echo "[$namespace] namespace already exists"
else
  # Create the namespace for your ingress resources
  echo "[$namespace] namespace does not exist"
  echo "Creating [$namespace] namespace..."
  kubectl create namespace $namespace
fi

# Check if the service account already exists
result=$(kubectl get sa -n $namespace -o 'jsonpath={.items[?(@.metadata.name=="'$serviceAccountName'")].metadata.name'})

if [[ -n $result ]]; then
  echo "[$serviceAccountName] service account already exists"
else
  # Retrieve the resource id of the user-assigned managed identity
  echo "Retrieving clientId for [$managedIdentityName] managed identity..."
  managedIdentityClientId=$(az identity show \
    --name $managedIdentityName \
    --resource-group $aksResourceGroupName \
    --query clientId \
    --output tsv)

  if [[ -n $managedIdentityClientId ]]; then
    echo "[$managedIdentityClientId] clientId  for the [$managedIdentityName] managed identity successfully retrieved"
  else
    echo "Failed to retrieve clientId for the [$managedIdentityName] managed identity"
    exit
  fi

  # Create the service account
  echo "[$serviceAccountName] service account does not exist"
  echo "Creating [$serviceAccountName] service account..."
  cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:
  annotations:
    azure.workload.identity/client-id: $managedIdentityClientId
    azure.workload.identity/tenant-id: $tenantId
  labels:
    azure.workload.identity/use: "true"
  name: $serviceAccountName
  namespace: $namespace
EOF
fi

# Show service account YAML manifest
echo "Service Account YAML manifest"
echo "-----------------------------"
kubectl get sa $serviceAccountName -n $namespace -o yaml

# Check if the federated identity credential already exists
echo "Checking if [$federatedIdentityName] federated identity credential actually exists in the [$aksResourceGroupName] resource group..."

az identity federated-credential show \
  --name $federatedIdentityName \
  --resource-group $aksResourceGroupName \
  --identity-name $managedIdentityName &>/dev/null

if [[ $? != 0 ]]; then
  echo "No [$federatedIdentityName] federated identity credential actually exists in the [$aksResourceGroupName] resource group"

  # Get the OIDC Issuer URL
  aksOidcIssuerUrl="$(az aks show \
    --only-show-errors \
    --name $aksClusterName \
    --resource-group $aksResourceGroupName \
    --query oidcIssuerProfile.issuerUrl \
    --output tsv)"

  # Show OIDC Issuer URL
  if [[ -n $aksOidcIssuerUrl ]]; then
    echo "The OIDC Issuer URL of the $aksClusterName cluster is $aksOidcIssuerUrl"
  fi

  echo "Creating [$federatedIdentityName] federated identity credential in the [$aksResourceGroupName] resource group..."

  # Establish the federated identity credential between the managed identity, the service account issuer, and the subject.
  az identity federated-credential create \
    --name $federatedIdentityName \
    --identity-name $managedIdentityName \
    --resource-group $aksResourceGroupName \
    --issuer $aksOidcIssuerUrl \
    --subject system:serviceaccount:$namespace:$serviceAccountName

  if [[ $? == 0 ]]; then
    echo "[$federatedIdentityName] federated identity credential successfully created in the [$aksResourceGroupName] resource group"
  else
    echo "Failed to create [$federatedIdentityName] federated identity credential in the [$aksResourceGroupName] resource group"
    exit
  fi
else
  echo "[$federatedIdentityName] federated identity credential already exists in the [$aksResourceGroupName] resource group"
fi

09-deploy-app.sh`

This script creates the Kubernetes config map, deployment, and service used by the magic8ball chatbot.

#!/bin/bash

# Variables
source ./00-variables.sh

# Attach ACR to AKS cluster
if [[ $attachAcr == true ]]; then
  echo "Attaching ACR $acrName to AKS cluster $aksClusterName..."
  az aks update \
    --name $aksClusterName \
    --resource-group $aksResourceGroupName \
    --attach-acr $acrName
fi

# Check if namespace exists in the cluster
result=$(kubectl get namespace -o jsonpath="{.items[?(@.metadata.name=='$namespace')].metadata.name}")

if [[ -n $result ]]; then
  echo "$namespace namespace already exists in the cluster"
else
  echo "$namespace namespace does not exist in the cluster"
  echo "creating $namespace namespace in the cluster..."
  kubectl create namespace $namespace
fi

# Create config map
cat $configMapTemplate |
    yq "(.data.TITLE)|="\""$title"\" |
    yq "(.data.LABEL)|="\""$label"\" |
    yq "(.data.TEMPERATURE)|="\""$temperature"\" |
    yq "(.data.IMAGE_WIDTH)|="\""$imageWidth"\" |
    yq "(.data.AZURE_OPENAI_TYPE)|="\""$openAiType"\" |
    yq "(.data.AZURE_OPENAI_BASE)|="\""$openAiBase"\" |
    yq "(.data.AZURE_OPENAI_MODEL)|="\""$openAiModel"\" |
    yq "(.data.AZURE_OPENAI_DEPLOYMENT)|="\""$openAiDeployment"\" |
    kubectl apply -n $namespace -f -

# Create deployment
cat $deploymentTemplate |
    yq "(.spec.template.spec.containers[0].image)|="\""$image"\" |
    yq "(.spec.template.spec.containers[0].imagePullPolicy)|="\""$imagePullPolicy"\" |
    yq "(.spec.template.spec.serviceAccountName)|="\""$serviceAccountName"\" |
    kubectl apply -n $namespace -f -

# Create deployment
kubectl apply -f $serviceTemplate -n $namespace

10-create-ingress.sh

This script creates the ingress object to expose the service via the NGINX Ingress Controller.

#/bin/bash

# Variables
source ./00-variables.sh

# Create the ingress
echo "[$ingressName] ingress does not exist"
echo "Creating [$ingressName] ingress..."
cat $ingressTemplate |
  yq "(.spec.tls[0].hosts[0])|="\""$host"\" |
  yq "(.spec.rules[0].host)|="\""$host"\" |
  kubectl apply -n $namespace -f -

11-configure-dns.sh

This script creates an A record in the Azure DNS Zone to expose the application via a given subdomain (e.g., https://magic8ball.example.com).

# Variables
source ./00-variables.sh

# Retrieve the public IP address from the ingress
echo "Retrieving the external IP address from the [$ingressName] ingress..."
publicIpAddress=$(kubectl get ingress $ingressName -n $namespace -o jsonpath='{.status.loadBalancer.ingress[0].ip}')

if [ -n $publicIpAddress ]; then
  echo "[$publicIpAddress] external IP address of the application gateway ingress controller successfully retrieved from the [$ingressName] ingress"
else
  echo "Failed to retrieve the external IP address of the application gateway ingress controller from the [$ingressName] ingress"
  exit
fi

# Check if an A record for todolist subdomain exists in the DNS Zone
echo "Retrieving the A record for the [$subdomain] subdomain from the [$dnsZoneName] DNS zone..."
ipv4Address=$(az network dns record-set a list \
  --zone-name $dnsZoneName \
  --resource-group $dnsZoneResourceGroupName \
  --query "[?name=='$subdomain'].arecords[].ipv4Address" \
  --output tsv)

if [[ -n $ipv4Address ]]; then
  echo "An A record already exists in [$dnsZoneName] DNS zone for the [$subdomain] subdomain with [$ipv4Address] IP address"

  if [[ $ipv4Address == $publicIpAddress ]]; then
    echo "The [$ipv4Address] ip address of the existing A record is equal to the ip address of the [$ingressName] ingress"
    echo "No additional step is required"
    exit
  else
    echo "The [$ipv4Address] ip address of the existing A record is different than the ip address of the [$ingressName] ingress"
  fi

  # Retrieving name of the record set relative to the zone
  echo "Retrieving the name of the record set relative to the [$dnsZoneName] zone..."

  recordSetName=$(az network dns record-set a list \
    --zone-name $dnsZoneName \
    --resource-group $dnsZoneResourceGroupName \
    --query "[?name=='$subdomain'].name" \
    --output name 2>/dev/null)

  if [[ -n $recordSetName ]]; then
    "[$recordSetName] record set name successfully retrieved"
  else
    "Failed to retrieve the name of the record set relative to the [$dnsZoneName] zone"
    exit
  fi

  # Remove the a record
  echo "Removing the A record from the record set relative to the [$dnsZoneName] zone..."

  az network dns record-set a remove-record \
    --ipv4-address $ipv4Address \
    --record-set-name $recordSetName \
    --zone-name $dnsZoneName \
    --resource-group $dnsZoneResourceGroupName

  if [[ $? == 0 ]]; then
    echo "[$ipv4Address] ip address successfully removed from the [$recordSetName] record set"
  else
    echo "Failed to remove the [$ipv4Address] ip address from the [$recordSetName] record set"
    exit
  fi
fi

# Create the a record
echo "Creating an A record in [$dnsZoneName] DNS zone for the [$subdomain] subdomain with [$publicIpAddress] IP address..."
az network dns record-set a add-record \
  --zone-name $dnsZoneName \
  --resource-group $dnsZoneResourceGroupName \
  --record-set-name $subdomain \
  --ipv4-address $publicIpAddress 1>/dev/null

if [[ $? == 0 ]]; then
  echo "A record for the [$subdomain] subdomain with [$publicIpAddress] IP address successfully created in [$dnsZoneName] DNS zone"
else
  echo "Failed to create an A record for the $subdomain subdomain with [$publicIpAddress] IP address in [$dnsZoneName] DNS zone"
fi

用于部署YAML模板的脚本使用yq工具使用00-variables.sh文件中定义的变量值自定义清单。该工具是一个轻量级和可移植的命令行YAML、JSON和XML处理器，使用类似jq的语法，但可与YAML文件以及JSON、XML、properties、csv和tsv一起使用。它还不支持jq所做的一切，但它确实支持最常见的操作和功能，而且还在不断添加更多。

YAML清单

下面您可以阅读用于将magic8ball聊天机器人部署到AKS的YAML清单。

configmap.yml configmap.yml为传递到应用程序容器的环境变量定义一个值。configmap没有为OpenAI键定义任何环境变量作为容器。

apiVersion: v1
kind: ConfigMap
metadata:
  name: magic8ball-configmap
data:
  TITLE: "Magic 8 Ball"
  LABEL: "Pose your question and cross your fingers!"
  TEMPERATURE: "0.9"
  IMAGE_WIDTH: "80"
  AZURE_OPENAI_TYPE: azure_ad
  AZURE_OPENAI_BASE: https://myopenai.openai.azure.com/
  AZURE_OPENAI_KEY: ""
  AZURE_OPENAI_MODEL: gpt-35-turbo
  AZURE_OPENAI_DEPLOYMENT: magic8ballGPT

这些是由配置映射定义的参数：

• AZURE_OPENAI_TYPE：如果希望应用程序使用API密钥根据OPENAI进行身份验证，请指定AZURE。在这种情况下，请确保在AZURE_OPENAI_Key环境变量中提供Key。如果要使用Azure AD安全令牌进行身份验证，则需要指定Azure_AD作为值。在这种情况下，不需要在AZURE_OPENAI_KEY环境变量中提供任何值。
• AZURE_OPENAI_BASE：您的AZURE OPENAI资源的URL。如果使用API密钥针对OpenAI进行身份验证，则可以指定Azure OpenAI服务的区域端点（例如https://eastus.api.cognitive.microsoft.com/)。如果您计划使用Azure AD安全令牌进行身份验证，则需要使用子域部署Azure OpenAI服务，并指定特定于资源的端点url（例如https://myopenai.openai.azure.com/)。
• AZURE_OPENAI_KEY：AZURE OPENAI资源的密钥。如果将AZURE_OPENAI_TYPE设置为AZURE_ad，则可以将此参数保留为空。
• AZURE_OPENAI_DEPOLYMENT：AZURE OPENAI资源使用的ChatGPT部署的名称，例如gpt-35-turbo。
• AZURE_OPENAI_MODEL：AZURE OPENAI资源使用的ChatGPT模型的名称，例如gpt-35-turbo。
• TITLE：Streamlight应用程序的标题。
• TEMPERATURE：OpenAI API用于生成响应的温度。
• SYSTEM：向模型提供有关它应该如何表现以及在生成响应时应该引用的任何上下文的说明。用于描述助理的个性。

 

deployment.yml

deployment.yml清单用于创建一个Kubernetes部署，该部署定义了要创建的应用程序pod。pod模板规范中需要azure.workload.identity/use标签。只有具有此标签的pod才会被azure工作负载标识变异准入webhook变异，以注入azure特定的环境变量和计划的服务帐户令牌量。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: magic8ball
  labels:
    app: magic8ball
spec:
  replicas: 3
  selector:
    matchLabels:
      app: magic8ball
      azure.workload.identity/use: "true"
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
  minReadySeconds: 5
  template:
    metadata:
      labels:
        app: magic8ball
        azure.workload.identity/use: "true"
        prometheus.io/scrape: "true"
    spec:
      serviceAccountName: magic8ball-sa
      topologySpreadConstraints:
      - maxSkew: 1
        topologyKey: topology.kubernetes.io/zone
        whenUnsatisfiable: DoNotSchedule
        labelSelector:
          matchLabels:
            app: magic8ball
      - maxSkew: 1
        topologyKey: kubernetes.io/hostname
        whenUnsatisfiable: DoNotSchedule
        labelSelector:
          matchLabels:
            app: magic8ball
      nodeSelector:
        "kubernetes.io/os": linux
      containers:
      - name: magic8ball
        image: paolosalvatori.azurecr.io/magic8ball:v1
        imagePullPolicy: Always
        resources:
          requests:
            memory: "128Mi"
            cpu: "250m"
          limits:
            memory: "256Mi"
            cpu: "500m"
        ports:
        - containerPort: 8501
        livenessProbe:
          httpGet:
            path: /
            port: 8501
          failureThreshold: 1
          initialDelaySeconds: 60
          periodSeconds: 30
          timeoutSeconds: 5
        readinessProbe:
          httpGet:
            path: /
            port: 8501
          failureThreshold: 1
          initialDelaySeconds: 60
          periodSeconds: 30
          timeoutSeconds: 5
        startupProbe:
          httpGet:
            path: /
            port: 8501
          failureThreshold: 1
          initialDelaySeconds: 60
          periodSeconds: 30
          timeoutSeconds: 5
        env:
        - name: TITLE
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: TITLE
        - name: IMAGE_WIDTH
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: IMAGE_WIDTH
        - name: LABEL
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: LABEL
        - name: TEMPERATURE
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: TEMPERATURE
        - name: AZURE_OPENAI_TYPE
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: AZURE_OPENAI_TYPE
        - name: AZURE_OPENAI_BASE
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: AZURE_OPENAI_BASE
        - name: AZURE_OPENAI_KEY
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: AZURE_OPENAI_KEY
        - name: AZURE_OPENAI_MODEL
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: AZURE_OPENAI_MODEL
        - name: AZURE_OPENAI_DEPLOYMENT
          valueFrom:
            configMapKeyRef:
                name: magic8ball-configmap
                key: AZURE_OPENAI_DEPLOYMENT

service.yml

The application is exposed using a ClusterIP Kubernetes service.

apiVersion: v1
kind: Service
metadata:
  name: magic8ball
  labels:
    app: magic8ball
spec:
  type: ClusterIP
  ports:
  - protocol: TCP
    port: 8501
  selector:
    app: magic8ball

ingress.yml

The ingress.yml manifest defines a Kubernetes ingress object used to expose the service via the NGINX Ingress Controller.

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: magic8ball-ingress
  annotations:
    cert-manager.io/cluster-issuer: letsencrypt-nginx
    cert-manager.io/acme-challenge-type: http01 
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "360"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "360"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "360"
    nginx.ingress.kubernetes.io/proxy-next-upstream-timeout: "360"
    nginx.ingress.kubernetes.io/configuration-snippet: |
      more_set_headers "X-Frame-Options: SAMEORIGIN";
spec:
  ingressClassName: nginx
  tls:
  - hosts:
    - magic8ball.contoso.com
    secretName: tls-secret
  rules:
  - host: magic8ball.contoso.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: magic8ball
            port:
              number: 8501

ingress对象定义了以下注释：

cert-manager.io/cluster-requestor：指定cert-manageer.io ClusterIssuer的名称，以获取此Ingress所需的证书。Ingress驻留在哪个命名空间并不重要，因为ClusterIssuers是非命名空间资源。在这个示例中，证书管理器被指示使用letsencrypt-nginx-ClusterIssuer，您可以使用06-create-cluster-issuer.sh脚本创建它。

cert-manager.io/acme-challenge-type：指定challend类型。

nginx.ingress.kubernetes.io/proxy-connect-timeout：指定以秒为单位的连接超时。

nginx.ingress.kubernetes.io/proxy-sensid-timeout：指定以秒为单位的发送超时。

nginx.ingress.kubernetes.io/proxy-read-timeout：以秒为单位指定读取超时。

nginx.ingress.kubernetes.io/proxy-next-upstream-timeout：以秒为单位指定下一个上行超时。

nginx.ingress.kubernetes.io/configuration-sippet：允许对nginx位置进行额外配置。

审查已部署的资源

使用Azure门户、Azure CLI或Azure PowerShell列出资源组中已部署的资源。

Azure CLI

az resource list --resource-group <resource-group-name>

PowerShell

Get-AzResource -ResourceGroupName <resource-group-name>

清理资源

当您不再需要您创建的资源时，请删除该资源组。这将删除所有Azure资源。

Azure CLI

az group delete --name <resource-group-name>

PowerShell

Remove-AzResourceGroup -Name <resource-group-name>