【能体AI安全】导航智能体AI安全：了解OWASP威胁并实现真实可信的交互

人工智能领域正在迅速发展，并不断突破自动化系统所能实现的界限。今天，我们已经超越了静态程序，甚至对话式聊天机器人，进入了智能人工智能时代。这些复杂的系统能够自主决策、规划，并与复杂的环境和工具交互，在没有持续的人类指导的情况下实现目标。这种演变不仅仅是技术上的：它将在一个越来越由自主人工智能代理塑造的世界中，给企业的运营、竞争和与客户的互动方式带来深刻的变化。

智能体AI机会

企业正在拥抱代理人工智能，因为它具有提高效率和彻底改变客户旅程的变革潜力，特别是在B2C领域。通过实现个性化协助和自动化复杂的交互，企业可以通过代理商务解锁新的机会。代理人工智能的潜在影响是巨大的；根据Gartner®的数据，“到2035年，80%的互联网流量可能由人工智能代理驱动。”1

这种转变需要一种新的姿态：并非所有机器人都是威胁。代理时代的成功将取决于验证和信任自动化代理的能力，而不仅仅是阻止它们。

这就是为什么我们构建了AgenticTrust，这是HUMAN Sightline中的一个新模块，旨在为您的网站、应用程序和移动应用程序中基于代理的活动提供可见性、控制和自适应治理。

新出现的安全挑战

然而，这种自主性和能力的增强也带来了新一轮的网络安全挑战，必须认真对待。随着人工智能代理更加独立地运行并与关键系统交互，它们成为新型攻击的潜在目标和载体。认识到这些风险，开放网络应用程序安全项目（OWASP）启动了代理安全倡议，以识别人工智能代理构成的新兴网络安全威胁，并提出缓解策略。您可以在此处阅读OWASP关于代理AI威胁和攻击的完整报告。

虽然OWASP的指导主要针对代理开发人员，以帮助他们构建更安全的代理，但认识到这些威胁对于遇到来自外部代理的流量的组织至关重要，特别是那些考虑在第三方人工智能代理进行自动交易的情况下启用代理商务的组织，因为不受信任、过度特权或产生幻觉的人工智能代理会带来潜在的安全和运营风险。

在代理时代建立数字信任

为了自信地利用代理人工智能提供的机会，并在存在这些风险的情况下实现无缝、自动化的交互，企业需要建立数字信任的基础。

HUMAN帮助与外部AI代理交互的组织获得可见性、信任和对流量的控制，自信地使合法代理能够促进业务增长，同时主动识别和防御恶意代理。

在本博客中，我们将探讨OWASP在代理AI系统背景下发现的新兴安全威胁，以及HUMAN如何为参与代理AI的组织提供关键的可见性层，以实现代理商务，即使这些威胁来自外部第三方开发的AI代理。

什么是代理AI？

Agent AI是指设计用于在一定程度上自主运行的AI系统。与遵循严格、预定义脚本的传统机器人不同，代理系统的构建是为了理解一个高级目标，然后独立规划、做出决策并采取行动来实现该目标，通常代表用户行事，而不需要他们在过程中不断干预。这些系统的典型特征是感知、决策（或推理）和自主行动的循环。

有效执行这一周期依赖于几个核心能力：

• 感知：从环境或输入中接收和解释信息的能力。 
• 规划和推理：处理感知信息，理解目标，评估情况，确定实现目标所需的步骤。代理人工智能通常利用大型语言模型（LLM）作为这种推理和规划的“大脑”。 
• 记忆/状态性：保留和回忆过去互动或步骤中的信息，以保持上下文并随着时间的推移学习。 
• 自主决策：在没有持续人为干预的情况下评估情况并选择行动方案的能力。
• 动作和工具使用：执行任务的能力，通过API和协议（如模型上下文协议（MCP））与外部系统（如web浏览器、日历或业务应用程序）交互的能力，以及使用各种工具来改变其环境的能力。

这代表了早期人工智能应用的演变。虽然传统的LLM擅长生成文本，但像计算机使用代理（CUA）这样的系统，包括OpenAI的Operator这样的早期例子，开始通过与计算机环境的自主交互来突破界限。Agent AI在此基础上构建，编排更复杂的工作流程并实时适应。

代理系统可以作为专注于特定任务的单个代理运行，也可以在多代理架构中运行，其中多个代理协作和通信以实现更复杂的目标。

此图描述了专用代理功能的多代理架构的示例。专用功能是代理模式的一种形式，可以根据用例由任何代理展示。来源：OWASP
Agent AI正在出现或预期的关键用例跨越了许多领域：

• 购物和交易自动化：可以自主查找产品、比较价格和完成购买的代理。示例包括旨在自动化研究、比较和代表用户进行购买的平台和代理。具体的例子包括困惑购物和亚马逊的“为我买”
• 预订和预订协助：可以处理预约、预订航班或跨各种服务预订的系统。
• 浏览器和计算机自动化代理：能够在数字环境中导航、填写表单和在软件应用程序中执行任务的代理。这包括控制桌面环境或导航web界面以完成产品选择、结账和支付流程等任务的解决方案。示例包括OpenAI的Operator和微软的Copilot Actions等工具。

了解风险：OWASP的代理AI威胁格局

OWASP已经确定了参与代理系统的组织应该注意的15个潜在威胁。虽然OWASP的指导主要旨在帮助人工智能开发人员在开发过程中实施安全控制，但与外部代理系统交互的组织需要意识到这些潜在威胁，因为它们可能会在交互时引入风险。

这些威胁超越了传统的应用程序安全问题，特别针对人工智能代理的新组件和行为，例如它们的自主性、内存的使用、与工具的交互以及与其他代理或人类的通信。

这些风险的性质可以大致分为几类：一些针对代理的内部推理和记忆，试图毒害它使用的信息或操纵其目标。其他人利用代理使用工具和执行操作的能力，可能导致未经授权的操作或资源滥用。还有一些专注于身份验证和身份验证，实现模拟，利用人机交互元素，压倒性的监督或操纵用户。最后，多智能体系统中会出现复杂的威胁，涉及有毒的通信或流氓智能体行为。OWASP代理AI威胁的完整列表如下：

• 内存中毒（T1）：攻击者利用AI的内存引入恶意或虚假数据，改变决策，并可能导致未经授权的操作。  
• 工具滥用（T2）：攻击者通过欺骗性提示或命令操纵人工智能代理滥用其集成工具，以执行意外操作。  
• 特权妥协（T3）：利用权限管理中的弱点执行未经授权的操作，通常涉及动态角色继承或配置错误。  
• 资源过载（T4）：人工智能系统的计算、内存或服务能力旨在降低性能或导致故障。  
• 级联幻觉攻击（T5）：人工智能生成的虚假信息在系统中传播，扰乱决策，并可能影响工具的使用。  
• 意图破坏和目标操纵（T6）：利用人工智能代理规划中的漏洞来操纵或重定向其目标和推理。  
• 错位和欺骗行为（T7）：人工智能代理通过利用推理以欺骗的方式实现目标，从而执行有害或不允许的行为。  
• 拒绝和不可追踪性（T8）：由于日志记录或透明度不足，人工智能代理执行的操作无法可靠地追溯或说明。  
• 身份欺骗和假冒（T9）：攻击者利用身份验证冒充人工智能代理或人类用户，并在虚假身份下执行未经授权的操作。  
• 压倒性的循环中的人类（T10）：具有人类监督的系统旨在利用人类的认知局限性或破坏交互框架。  
• 意外远程代码执行和代码攻击（T11）：AI生成的执行环境被利用来注入恶意代码或触发意外的系统行为。  
• 代理通信中毒（T12）：攻击者操纵AI代理之间的通信渠道，传播虚假信息或扰乱工作流程。  
• 多代理系统中的流氓代理（T13）：恶意或受感染的AI代理在正常监控边界之外运行，执行未经授权的操作或泄露数据。  
• 人类对多智能体系统的攻击（T14）：对手利用智能体间的委托和信任关系来升级特权或操纵人工智能驱动的操作。  
• 人为操纵（T15）：攻击者在直接交互中利用用户对人工智能代理的信任，强迫用户采取有害行动或传播错误信息。  

我们对“野外”代理人工智能的早期研究发现了与这种威胁格局相一致的行为，包括影响广告收入的不必要内容抓取的可能性，代理可能控制用户设备或浏览器时的安全问题，以及对早期代理如何处理robots.txt等标准网络惯例的观察。

我们的情报团队正在积极监控供应商的代理人工智能发展，以检测新兴的代理行为，并为我们的客户提供持续的可见性和控制。自从我们最初的研究以来，景观已经迅速发展。未来的更新将对现实世界的代理活动进行更深入的分析，扩展检测方法，以及随着代理生态系统的成熟而保护交互的策略。

OWASP代理威胁模型摘要，映射针对代理AI的威胁。来源：OWASP
 

解决代理人工智能安全问题：一种多层方法

有效防御代理AI威胁需要多层次的安全态势。这意味着要在多个层面实施控制：构建人工智能代理的开发人员必须在代理的设计和代码中纳入安全性，托管代理的平台需要提供安全的执行环境，至关重要的是，在人工智能代理与外部系统和人类用户交互的地方需要防御。

OWASP代理安全倡议概述了各种缓解策略。他们的工作为代理开发人员如何构建更安全的代理提供了宝贵的指导，强调保护代理AI环境不是一个单点解决方案，而是需要在整个生态系统中采取全面的方法。  

OWASP的缓解策略涵盖了几个关键领域：他们建议实施严格的访问控制策略和细粒度权限，以限制哪些工具和数据代理可以访问，以及监控和行为分析，旨在检测代理活动中的异常，这些异常可能是操纵或流氓行为的信号。验证代理输入和输出以及保护代理和其他系统之间的通信渠道也被推荐为防止中毒和欺骗行为的最佳实践。

人类的角色：在代理人工智能时代获得可见性、信任和控制

在代理人工智能和代理商务快速发展的环境中，组织需要在客户旅程中获得对与其数字资产交互的自动流量的可见性、信任和控制。这就是HUMAN AgentTrust提供的，它为那些系统和应用程序正在与外部第三方人工智能代理交互的企业提供了一层信任和安全保障。

AgenticTrust建立在三个核心支柱之上：

• 可见性：AgentTrust让您实时了解AI代理在应用程序环境中的行为。我们超越代理的身份或签名，了解其在整个客户旅程中的导航路径、行为模式和意图变化。通过每周分析超过20万亿次交互，我们提供了理解代理行为、访问内容和漂移方向所需的见解。
• 信任：建立信任需要从静态策略转向动态决策。AgentTrust不断根据您的业务规则评估代理行为，使用数千个信号来区分善意的代理和越界或欺骗性的代理。这允许您根据代理的行为实时进行调整，而不仅仅是它是什么。
• 控制：随着可见性和信任的建立，AgentTrust提供了细粒度的控制来管理代理流量。您可以精确配置每个AI代理可以做什么和不能做什么，为帐户创建、登录和结账等关键操作设置权限。这使您能够自信地启用好的代理，同时防止恶意代理采取不必要的行动，例如进行未经授权的帐户更改或欺骗受信任的工具。

这种识别、验证和控制代理交互的能力带来了显著的业务效益：

• 促进销售：自信地让合法的人工智能代理进行购买并与您的服务互动，通过代理商务解锁新的自动化收入流。
• 获得可见性：准确了解AI代理如何与您的平台交互，从而获得更好的运营和安全见解。
• 最小化过度代理：通过控制哪些代理可以执行特定任务来防止意外或危险的行为。
• 防止欺诈和损失：主动防御恶意人工智能活动，保护您的客户和应用程序免受自动欺诈和其他有害行为的侵害。

是什么让人类在提供这一关键防御层方面独树一帜？防范代理人工智能风险需要比传统机器人缓解更多的东西；它需要行为智能、情境意识和经过验证的专业知识。人类通过我们解码人类、机器人和代理意图的能力来实现这一点。在我们的专家Satori威胁情报团队的支持下，并得到数百家企业的信任，我们不仅检测自动化；我们理解其目的和行为，即在代理人工智能时代，在每次交互中保护客户旅程免受不真实性的影响。

满怀信心地驾驭代理未来

代理人工智能的兴起标志着数字化转型的关键时刻，为创新和效率提供了巨大的机会，特别是在代理商务和增强的客户体验方面。然而，正如OWASP的工作所强调的那样，这个自主系统的新时代也带来了复杂且不断发展的安全威胁，需要业界给予高度重视。

虽然确保人工智能代理的开发和内部运作是整体解决方案的重要组成部分，但组织还必须在这些外部人工智能代理与其有价值的系统和数据交互的点上优先考虑防御。

AgenticTrust提供了关键的、有利的基础。通过提供适应性治理的工具，AgentTrust使组织能够自信地拥抱代理的未来。我们在对代理行为进行分类方面的专业知识使企业能够为代理在关键流程中可以做什么和不能做什么设定明确的界限。这提供了必要的控制，以允许有益的基于代理的体验，同时有效地防范风险。

最终，成功驾驭代理人工智能领域意味着做好准备。了解威胁是第一步；在交互层实施正确的控制对于安全可靠地释放机会至关重要。