为我们的Generative AI模块实现LLM不可知架构

Entrio是资产管理领域第一家将生成人工智能作为我们的应用程序、基础设施和数据收集管道的一部分的公司。在过去的一年里，生成人工智能和LLM（大型语言模型）一直在快速发展产品和功能。值得注意的是，LLM的采用已经成为寻求利用自然语言处理能力的组织不可或缺的资产。

为了为我们的平台探索Generative AI和LLM的全部潜力，我们决定开发LLM不可知架构。这种灵活、可扩展的解决方案结合了几个关键组件，使我们能够丰富数据，加快运营，创建功能丰富的应用程序，并减轻供应商和功能锁定。

与一个LLM提供商合作可能具有挑战性，因此管理多个LLM的想法可能令人望而生畏。在这篇文章中，我们将概述LLM不可知架构的结构、组件、局限性和好处，以及我们如何将其用于我们的生成人工智能模块。

LLM不可知架构概述

LLM不可知架构是一个模块化和可扩展的框架，旨在促进来自不同提供商的多个LLM的集成和管理。在其核心，该架构将应用程序逻辑与底层LLM实现解耦，使我们能够在不同的模型之间无缝切换或同时利用多个模型。此外，它还尽可能地将即时工程工作和检索增强生成（RAG）层与底层LLM解耦。

该架构由几个关键组件组成，每个组件在确保LLM的高效利用方面都发挥着至关重要的作用：

1.生成型人工智能API——抽象层

该层充当一个统一的接口，抽象掉单个LLM实现的复杂性。它提供了一组标准化的API，可以实现应用程序逻辑和底层LLM之间的无缝通信，而不考虑它们的来源或提供者。

2.Generative AI Process Manager——编排层

Generative AI Process Manager负责安排完成API调用所需的操作。它封装了过程的所有复杂性，并激活所有模块以完成创建结果所需的步骤。

3.Prompt工程模块和Prompt运行时生成器

认识到提示在指导LLM中的关键作用，提示工程模块侧重于制定有效的、有上下文意识的提示。它利用诸如提示调优、提示链接和提示增强之类的技术来增强LLM输出的质量和相关性。一旦批准使用提示，它们就会存储在存储库中。提示运行时生成器从存储库中检索相关提示，用RAG模块中的数据丰富提示，并注入相关运行时参数。一旦建立了提示，模型路由器就会通过模型集线器将其发送到相关LLM。

4.检索增强生成（RAG）

RAG是一种强大的技术，它将LLM的优势与信息检索系统相结合。通过集成数据库或文档存储库等外部知识源，RAG允许LLM利用上下文信息，从而获得更知情、更准确的响应。

5.模型路由器和模型集线器

模型路由器组件充当架构的大脑，为给定任务确定最合适的LLM或LLM组合。它考虑了模型性能、成本和特定任务要求等因素，从而实现了高效的资源利用率和优化的结果。在做出决定后，路由器通过模型集线器向相关模型发送提示，模型集线器充当到模型提供者的网关。

6.响应后处理器

LLM输出通常需要进一步处理和细化，以确保它们符合所需的格式、音调和质量标准。响应后处理器组件处理这一关键任务，在将最终输出呈现给最终用户或下游应用程序之前，应用输出过滤、语法和样式校正以及内容格式化等技术来增强最终输出。

7.监控和日志记录模块

在与LLM合作时，确保正确性、透明度和问责制至关重要。该组件有助于全面监控和记录内部模块操作和LLM交互。它跟踪性能，检测潜在的偏差，并跟踪及时的工程工作、及时的演变、结果、成本和过程监控之间的变化。

LLM不可知论架构的挑战与局限

虽然LLM不可知论架构提供了许多好处，但必须承认并解决其固有的局限性和挑战。这些通常来源于LLM世界本身，但在试图建立LLM不可知过程时会被放大。以下是需要考虑的几个关键问题：

1.提示工程复杂性

为LLM制作有效的提示是一个复杂而迭代的过程，需要领域专业知识，并深入了解模型的功能和局限性。为了克服这一挑战，我们必须投资开发工具、方法和实践，以最大限度地发挥生成性人工智能的潜力。挑战不仅在于制定有效的提示，还在于能够在运行时动态构建适当的提示，并提供所需的相关信息，包括静态和动态参数以及RAG模块。还应该使用类似代码控制的工具来处理复杂性，以处理即时工程工作结果的历史记录和版本控制。

2.情境意识与现实世界知识

LLM从本质上讲，缺乏特定任务所需的背景意识和现实世界知识的基础。通过RAG等技术集成外部知识源可以帮助减轻这种限制，但它在数据管理和检索中引入了额外的复杂性，因为运行时提示生成器应该可以动态访问数据。

3.伦理考虑和偏见缓解

随着LLM越来越普遍，必须解决对道德影响的担忧，如潜在的偏见和有害的输出。LLM不可知架构应包含强大的监控和治理机制，以检测和减轻这些风险。

4.稳定性、可扩展性和性能挑战

由于LLM的能力不同，因此重要的是要创建一种稳健的方法来测量响应的稳定性，以随着时间的推移保持准确。此外，随着LLM和数据源数量的增加，我们可能会面临可扩展性和性能方面的挑战。仔细的架构规划、负载平衡和缓存策略对于确保大规模高效可靠的操作是必要的。

5.持续发展和模型介绍

LLM和Generative AI模型是不断变化的环境的一部分。模型被快速地重试和引入。一旦模型退役，新模型就可以改变对特定提示的反应。通过在架构组件开发和快速工程工作中使用敏捷方法，可以缓解底层环境的这种性质。

为了克服这些限制，我们必须采取一种整体的方法，将技术解决方案与稳健的框架、持续的模型评估和功能探索以及持续的优化工作相结合，包括模块开发和集成以及快速的工程和开发。

探索LLM不可知架构的好处

实施LLM不可知架构提供了许多好处，使组织能够在投资经得起未来考验的同时，充分释放LLM的潜力。

1.供应商不可知论和灵活性

通过将应用程序逻辑与特定的LLM实现解耦，我们可以轻松地在不同的LLM提供程序之间切换或同时利用多个模型。这种灵活性促进了创新，减少了供应商锁定，并使我们能够在新的LLM推出后立即轻松探索。

2.可扩展性和成本优化

LLM不可知架构使组织能够根据任务要求和性能指标动态分配和编排LLM资源，从而促进高效的资源利用和成本优化。这种可扩展性确保组织能够适应不断变化的工作负载和不断发展的业务需求。

3.提高准确性和上下文意识

通过利用RAG等技术和整合组织知识源，LLM不可知架构增强了LLM输出的准确性和上下文意识。一旦它与为特定任务选择正确LLM的能力相结合，就会产生更明智和可靠的响应，使我们能够提供更准确的结果，丰富更多的数据点，增强用户体验，并做出更明智的决策。

4.未来证明与创新

通过开发模块化和可扩展的架构，我们可以经得起未来考验的投资，并在面对快速技术进步时保持敏捷。随着新的LLM模型和技术的出现，我们将能够几乎无缝地将其集成，使我们能够凭借最新的生成人工智能模型保持在创新的前沿。

对于Entrio来说，实施LLM不可知架构是一项战略投资，它使我们能够在LLM和生成人工智能时代取得长期成功。通过实施这一架构，我们可以向客户提供功能丰富的产品，同时探索和释放生成人工智能的潜力，无论是对Entrio的内部运营，还是作为我们向客户交付产品的一部分。