【自主式AI安全】深入探讨自主式AI安全：理解OWASP威胁并实现真实可信的交互​

深入探讨自主式AI安全：理解OWASP威胁并实现真实可信的交互​​

阅读时间：12分钟

托默·埃利亚斯 (Tomer Elias)

2025年4月28日

​​深入探讨自主式AI安全：理解OWASP威胁并实现真实可信的交互​​

注：OWASP现已发布关于自主式应用的完整指南，HUMAN公司很荣幸为此做出了贡献。

人工智能领域正在快速发展，不断突破自动化系统的能力边界。如今，我们已经超越了静态程序，甚至超越了对话式聊天机器人，进入了自主式AI (Agentic AI) 的时代。这些复杂的系统能够在没有持续人工指导的情况下，进行自主决策、规划，并与复杂的环境和工具交互以实现目标。这种演变不仅仅是技术上的：在日益由自主AI智能体 (AI agents) 塑造的世界中，它将深刻改变企业的运营、竞争以及与客户互动的方式。

​​自主式AI的机遇​​

企业正在拥抱自主式AI，因其具有提高效率和彻底改变客户旅程（尤其在B2C领域）的巨大变革潜力。通过提供个性化协助和自动化复杂交互，企业可以通过自主式商务 (agentic commerce) 解锁新的机遇。自主式AI的潜在影响是巨大的；根据Gartner®的数据，“到2035年，80%的互联网流量可能由AI智能体驱动。”1

这种转变要求一种新的态势：并非所有机器人都是威胁。在自主式时代取得成功，将取决于验证和信任自动化智能体的能力，而非简单地阻止它们。

这就是我们开发 ​​AgenticTrust​​ 的原因，它是HUMAN Sightline中的一个新模块，旨在为您提供对网站、应用程序和移动应用中基于智能体活动的可见性、控制和适应性治理能力。

​​新兴的安全挑战​​

然而，这种增强的自主性和能力也带来了一波新的网络安全挑战，必须认真对待。随着AI智能体更独立地运作并与关键系统交互，它们成为了新形式攻击的潜在目标和载体。开放网络应用安全项目（OWASP）认识到这些风险，发起了自主式安全计划 (Agentic Security Initiative)，旨在识别AI智能体带来的新兴网络安全威胁并提出缓解策略。您可以在此处阅读OWASP关于自主式AI威胁与缓解措施的完整报告。

OWASP的指南主要面向智能体开发者，旨在帮助他们构建更安全的智能体。然而，识别这些威胁对于接收外部智能体流量的组织至关重要——尤其是那些考虑启用自主式商务的组织，在这种场景下，第三方AI智能体会执行自动化交易——因为不可信、权限过高或产生“幻觉”的AI智能体会带来潜在的安全和运营风险。

​​在自主式时代建立数字信任​​

为了充满信心地利用自主式AI带来的机遇，并在这些风险存在的情况下实现无缝、自动化的交互，企业需要一个数字信任基础。

​​HUMAN​​ 帮助与外部AI智能体交互的组织获得对其流量的可见性、信任和控制力，从而能够自信地启用合法的智能体以实现业务增长，同时主动识别并防御恶意的智能体。

在本文中，我们将探讨OWASP针对自主式AI系统识别出的新兴安全威胁，以及HUMAN如何为与自主式AI交互的组织（即使是当威胁源于外部、第三方开发的AI智能体时）提供关键的可视层，以支持自主式商务。

​​什么是自主式AI？​​

自主式AI (Agentic AI) 指的是设计成具有一定自主性的AI系统。与遵循严格预定义脚本的传统机器人不同，自主式系统被构建来理解一个高层次的目标，然后独立地规划、决策并采取行动以实现该目标，通常代表用户行动，无需用户在此过程中持续干预。这些系统的特征通常表现为感知、决策（或推理）和自主行动的循环。

有效执行此循环依赖于几个核心能力：

1. 1.

   ​​感知 (Perception)​​：从其环境或输入中接收和解释信息的能力。

2. 2.

   ​​规划与推理 (Planning and reasoning)​​：处理感知到的信息，理解目标，评估情况，并确定实现目标所需的步骤。自主式AI通常利用大型语言模型 (LLMs) 作为推理和规划的“大脑”。

3. 3.

   ​​记忆/状态性 (Memory/Statefulness)​​：保留和回忆过往交互或步骤中的信息，以维持上下文并随时间学习。

4. 4.

   ​​自主决策 (Autonomous decision-making)​​：无需持续人工干预即可评估情况并选择行动方案的能力。

5. 5.

   ​​行动与工具使用 (Action and tool use)​​：执行任务、通过API和协议（如模型上下文协议 MCP）与外部系统（如网络浏览器、日历或业务应用程序）交互以及使用各种工具在其环境中产生影响的能力。

这代表了早期AI应用的演变。传统的LLMs擅长生成文本，而像使用计算机的智能体 (Computer-Using Agents - CUAs)（如OpenAI的Operator等早期示例）开始通过自主与计算机环境交互来突破界限。自主式AI在此基础上进一步发展，编排更复杂的工作流并实时适应。

自主式系统可以作为专注于特定任务的单一智能体运行，也可以在多智能体架构内运行，其中多个智能体协作和交流以实现更复杂的目标。

[图示说明：此图描绘了具有专业化智能体功能的多智能体架构示例。专业化功能是自主式模式的一种形式，根据使用案例，可由任何智能体体现。来源：OWASP]

自主式AI出现或预期的主要应用场景涵盖多个领域：

• •

  ​​购物和交易自动化：​​ 能够自动查找产品、比较价格并完成购买的智能体。例如，旨在为用户自动化研究、比较和购买的平台和智能体。具体例子包括Perplexity Shopping和亚马逊的“为我购买”(Buy for Me)。

• •

  ​​预订辅助：​​ 可以处理安排预约、预订机票或在各种服务中进行预订的系统。

• •

  ​​浏览器和计算机自动化智能体：​​ 能够在数字环境中导航、填写表单并在软件应用程序中执行任务的智能体。这包括控制桌面环境或在网络界面导航以完成任务（如产品选择、结账和支付流程）的解决方案。例子包括OpenAI的Operator和Microsoft的Copilot Actions等工具。

​​理解风险：OWASP的自主式AI威胁全景​​

OWASP识别了多达15项潜在威胁，与自主式系统交互的组织应予以关注。虽然OWASP的指南主要旨在帮助AI开发者在开发过程中实施安全控制，但与外部自主式系统交互的组织需要了解这些潜在威胁，因为它们可能在交互点引入风险。

这些威胁超越了传统的应用安全范畴，特别针对AI智能体的新型组件和行为，如其自主性、记忆使用、与工具的交互以及与其他智能体或人类的通信。

这些风险的性质大致可归纳如下：一些威胁针对智能体的内部推理和记忆，试图污染其使用的信息或操纵其目标。另一些则利用智能体使用工具和执行行动的能力，可能导致未授权的操作或资源滥用。还有一些则侧重于身份验证和身份，使能身份冒充、利用人机交互元素、压倒监督机制或操纵用户。最后，复杂的威胁出现在多智能体系统中，涉及通信污染或恶意智能体行为。OWASP的自主式AI威胁列表如下：

• •

  ​​T1: 记忆污染 (Memory Poisoning)​​：攻击者利用AI的记忆引入恶意或虚假数据，改变其决策，可能导致未授权操作。

• •

  ​​T2: 工具滥用 (Tool Misuse)​​：攻击者通过欺骗性提示或命令操纵AI智能体滥用其集成工具执行意外操作。

• •

  ​​T3: 权限妥协 (Privilege Compromise)​​：利用权限管理中的弱点执行未授权操作，通常涉及动态角色继承或错误配置。

• •

  ​​T4: 资源过载 (Resource Overload)​​：针对AI系统的计算、内存或服务容量，以降低性能或引发故障。

• •

  ​​T5: 级联幻觉攻击 (Cascading Hallucination Attacks)​​：AI生成的虚假信息在系统中传播，破坏决策并可能影响工具使用。

• •

  ​​T6: 意图违背与目标操纵 (Intent Breaking & Goal Manipulation)​​：利用AI智能体规划中的漏洞操纵或重定向其目标和推理。

• •

  ​​T7: 行为错位与欺骗 (Misaligned & Deceptive Behaviors)​​：AI智能体通过利用推理以欺骗方式执行有害或被禁止的操作来满足目标。

• •

  ​​T8: 不可否认性与不可追踪性 (Repudiation & Untraceability)​​：由于日志记录或透明度不足，AI智能体执行的操作无法被可靠地追踪或问责。

• •

  ​​T9: 身份欺骗与冒充 (Identity Spoofing & Impersonation)​​：攻击者利用身份验证冒充AI智能体或人类用户，在虚假身份下执行未授权操作。

• •

  ​​T10: 压倒人机回圈 (Overwhelming Human in the Loop)​​：针对带有人类监督的系统，利用人类的认知局限性或破坏交互框架。

• •

  ​​T11: 意外的远程代码执行和代码攻击 (Unexpected Remote Code Execution and Code Attacks)​​：利用AI生成的执行环境注入恶意代码或触发意外的系统行为。

• •

  ​​T12: 智能体通信污染 (Agent Communication Poisoning)​​：攻击者操纵AI智能体间的通信渠道以传播虚假信息或破坏工作流。

• •

  ​​T13: 多智能体系统中的恶意智能体 (Rogue Agents in Multi-Agent Systems)​​：恶意或遭破坏的AI智能体在正常监控边界外运作，执行未授权操作或窃取数据。

• •

  ​​T14: 针对多智能体系统的人类攻击 (Human Attacks on Multi-Agent Systems)​​：对手利用智能体间的委托和信任关系来提升权限或操纵AI驱动的操作。

• •

  ​​T15: 人类操纵 (Human Manipulation)​​：攻击者利用用户在直接交互中对AI智能体的信任，胁迫用户采取有害行动或传播虚假信息。

我们在自主式AI“真实世界”应用的早期研究中发现了符合此威胁全景的行为，包括影响广告收入的不需要的内容抓取潜力，当智能体可能控制用户设备或浏览器时的安全隐患，以及对早期智能体如何处理robots.txt等标准网络惯例的观察。

我们的情报团队正在积极监控各供应商的自主式AI发展，以检测新兴的智能体行为，并为客户提供持续的可见性和控制力。自我们的初步研究以来，这一领域已迅速发展。未来的更新将提供更深入的真实世界自主式活动分析、扩展的检测方法以及随着智能体生态系统成熟后的交互安全策略。

[图示说明：OWASP自主式威胁模型的概要，将威胁映射到自主式AI的核心功能上。来源：OWASP]

​​应对自主式AI安全：多层次方法​​

有效防御自主式AI威胁需要采取多层次的安防态势。这意味着在多个层面实施控制措施：构建AI智能体的开发者必须将安全性融入到智能体的设计和代码中；托管智能体的平台需要提供安全的执行环境；至关重要的是，需要在AI智能体与外部系统以及人类用户交互的点上部署防御措施。

OWASP自主式安全计划已经概述了各种缓解策略。他们的工作为智能体开发者构建更安全的智能体提供了宝贵的指导，强调保护自主式AI领域不是单点解决方案，而需要整个生态系统的全面协作。

OWASP的缓解策略涵盖了几个关键领域：他们建议实施严格的访问控制策略和细粒度权限，以限制智能体可以访问的工具和数据；建议进行监控和行为画像，旨在检测智能体活动中可能预示操纵或恶意行为的异常；将验证智能体输入输出以及保护智能体与其他系统之间的通信通道也被推荐为防止污染和欺骗性行为的最佳实践。

​​HUMAN的角色：在自主式AI时代获得可见性、信任和控制​​

在快速发展的自主式AI和自主式商务领域，组织需要在其客户旅程中获得与数字资产交互的自动化流量的可见性、信任和控制力。这正是 ​​HUMAN AgenticTrust​​ 所提供的，它为系统与应用程序正被外部第三方AI智能体交互的企业充当了一层信任和安全的屏障。

AgenticTrust建立在三大核心支柱之上：

1. 1.

   ​​可见性 (Visibility)​​：AgenticTrust 让您实时了解AI智能体在您的应用环境中的行为方式。我们超越智能体的身份或签名，去理解其在整个客户旅程中的导航路径、行为模式和意图转变。通过每周分析超过20万亿次交互，我们提供了理解智能体如何行动、访问什么内容以及在哪里偏离轨道所需的洞察。

2. 2.

   ​​信任 (Trust)​​：建立信任需要从静态策略转向动态决策。AgenticTrust 持续根据您的业务规则评估智能体行为，使用成千上万个信号来区分善意的智能体和越界或欺骗性的智能体。这使您能够根据智能体的行为（而不仅仅是什么身份）进行实时调整。

3. 3.

   ​​控制 (Control)​​：在建立可见性和信任之后，AgenticTrust 提供细粒度的控制来管理自主式流量。您可以精确配置每个AI智能体可以做什么和不可以做什么，为关键操作（如账户创建、登录和结账）设置权限。这使您能够自信地启用优质智能体，同时阻止恶意智能体执行不需要的操作，例如进行未授权的账户更改或冒充可信工具。

这种识别、验证和控制智能体交互的能力带来了显著的商业利益：

• •

  ​​提升销售 (Boost Sales)​​：自信地启用合法的AI智能体进行购买和与您的服务交互，通过自主式商务解锁新的自动化收入来源。

• •

  ​​获得可见性 (Gain Visibility)​​：精确了解AI智能体如何与您的平台交互，获得更好的运营和安全性洞察。

• •

  ​​最小化过度自主权 (Minimize Excessive Agency)​​：通过控制哪些智能体可以执行特定任务来防止意外或高风险操作。

• •

  ​​防止欺诈和损失 (Prevent Fraud and Losses)​​：主动防御恶意的AI活动，保护您的客户和应用免受自动化欺诈和其他有害行动的侵害。

​​是什么让HUMAN在提供这一关键防御层方面与众不同？​​ 防范自主式AI风险需要的不仅仅是传统的机器人缓解措施；它需要行为智能、上下文感知和经过验证的专业知识。HUMAN通过我们解码人类、机器人和智能体意图的能力来实现这一点。在我们专业的Satori威胁情报团队的支持下，并受到数百家企业的信任，我们不仅仅是检测自动化；我们理解其目的和行为，以在自主式AI时代保护客户旅程中每一次交互的真实性。

​​满怀信心地驾驭自主式未来​​

自主式AI的兴起标志着数字化转型的关键时刻，为创新和效率（特别是在自主式商务和增强的客户体验方面）提供了巨大的机遇。然而，正如OWASP的工作所强调的那样，这个自主系统的新时代也带来了复杂且不断演变的安全威胁，需要整个行业的高度重视。

虽然确保AI智能体的开发和内部运作是整体解决方案的重要组成部分，但组织还必须优先考虑在外部AI智能体与其宝贵系统和数据交互的节点上进行防御。

​​AgenticTrust​​ 提供了关键的基础赋能层。通过提供适应性治理的工具，AgenticTrust 使组织能够满怀信心地拥抱自主式未来。我们在分类智能体行为方面的专业知识使企业能够为智能体在关键流程中可以做什么和不可以做什么设定明确的边界。这提供了必要的控制力，从而在有效抵御风险的同时，允许有益于用户的基于智能体的体验。

最终，成功驾驭自主式AI格局意味着做好准备。理解威胁是第一步；在交互层实施正确的控制措施对于安全可靠地解锁机遇至关重要。

​​准备好获得平台上自主式AI交互的可见性、信任和控制了吗？与专家探讨HUMAN如何助您自信地迈入自主式时代。​