LLM参考架构

一些一般假设：

1. 这是一个利用LLM和GenAI的工程框架；而不是传统意义上的人工智能基础设施架构
2. 此体系结构不包含数据仓库、数据库和其他事务或操作数据管理组件。
3. 这是一个概念性的体系结构——它不打算特定于任何特定的云提供商、工具包或供应商。
4. 每个方框代表一种功能，可能包含许多移动部件。
5. 这仅在撰写本文时有效。事情每天都在变化，如果我明天就这么做，情况可能会有所不同。
6. 从工程师的角度，从上到下阅读它——LLM驱动的应用程序的消费者在底部。
7. 阅读AWS标志以表示云基础设施；并不意味着使用它。

LLM Reference Architecture, Umesh Bhatt.

生成人工智能的世界正在迅速发展，大型语言模型（LLM）处于这场革命的前沿。虽然“生成人工智能”和“LLM”这两个术语在通用术语中经常互换使用，但理解它们之间的细微差别很重要。

生成人工智能是一个广泛的领域，包括能够生成新数据（如文本、图像、音频或代码）的各种技术和模型。另一方面，LLM是一种特定类型的生成人工智能模型，专门用于理解和生成类人语言。

LLM的核心是基础模型，这些模型根据大量数据进行训练，以发展对语言和上下文的基本理解。然后，这些基础模型可以针对特定任务进行微调，从而生成专门的模型，用于语言翻译、文本摘要、代码生成等应用程序。

探索和访问这些人工智能模型的最突出平台之一是拥抱脸，它提供了一个全面的任务和模型目录，使开发人员和研究人员都能够利用LLM的力量。

LLM在图像生成、解释、音频生成、转录、数据质量评估、数据管理支持和初步数据分析方面表现出非凡的能力。这些模型正在迅速成为知识生成、网络监控和广泛其他应用程序不可或缺的工具。

上面所示的参考体系结构提供了我对如何在现有基础架构之上设计和构建支持此类应用程序的能力的看法。我的假设是，大多数垂直行业已经拥有强大的底层技术和基础设施层。因此，我不列出数据库、仓库、监控、安全、治理、ML Ops、Data Ops、LLM Ops或任何此类功能。

这个体系结构的核心是一组模式，表示为管道。上图中的这些泳道代表了获取RAW数据并将其转换为机器可读和可用工件的能力，托管和训练基础模型和微调模型的能力，管理它们的提示，跟踪实验，存储工件中实体之间的嵌入和语义关系，以及一组强大的工具包。这些工具包是可重复使用的技能（代码片段——例如：如何连接和读取SAP数据库、如何在网络上进行身份验证、如何访问公司网络上的各种存储库等）、模型（内部托管、外部托管、微调、基础等）、提示库（可重复使用提示以获得一致的响应等）

应用程序层允许通过自带应用程序开发框架来组装这些适合用途的用例，以利用LLM的功能。

分享你的想法！你有什么建议？