跳转到主要内容

人工智能RMF核心提供结果和行动,使对话、理解和活动能够管理人工智能风险,并负责任地开发值得信赖的人工智能系统。如图5所示,Core由四个功能组成:治理、映射、测量和管理。这些高级功能中的每一个都被细分为类别和子类别。类别和子类别被细分为具体的行动和结果。行动不构成检查表,也不一定是一套有序的步骤。

Figure 5: Functions organize AI risk management activities at their highest level to govern, map, measure, and manage AI risks. Governance is designed to be a cross-cutting function to inform and be infused throughout the other three functions.

风险管理应该是连续的、及时的,并在整个人工智能系统生命周期维度上执行。人工智能RMF核心功能的执行方式应反映多样性和多学科的观点,可能包括组织外人工智能参与者的观点。拥有一个多元化的团队有助于更开放地分享关于正在设计、开发、部署或评估的技术的目的和功能的想法和假设,这可以为发现问题和识别现有和紧急风险创造机会。

人工智能RMF的在线配套资源,即NIST人工智能RMF-行动手册,可用于帮助组织导航人工智能RMF.并通过建议的战术行动实现其成果,这些行动可以在自己的环境中应用。与AI RMF一样,行动手册是自愿的,组织可以根据自己的需求和兴趣使用建议。行动手册用户可以从建议的材料中选择量身定制的指南供自己使用,并提出建议与更广泛的社区分享。与人工智能RMF一起,行动手册也是NIST值得信赖和负责任的人工智能资源中心的一部分。

框架用户可以根据其资源和能力,应用最适合其管理人工智能风险需求的这些功能。一些组织可能会选择从类别和子类别中进行选择;其他人可以选择并有能力应用所有类别和子类别。假设治理结构到位,在人工智能生命周期中,功能可以按任何顺序执行,因为框架的用户认为这会增加价值。在治理中建立结果后,人工智能RMF的大多数用户将从地图功能开始,并继续测量或管理。无论用户如何集成功能,该过程都应该是迭代的,必要时在功能之间进行交叉引用。同样,也有一些类别和子类别的元素适用于多个功能,或者在逻辑上应该在某些子类别决策之前发生。

5.1治理

管理功能:

  • 在设计、开发、部署、评估或获取人工智能系统的组织内培养和实施风险管理文化;
  • 概述了预测、识别和管理系统可能构成的风险(包括对用户和社会其他人的风险)的流程、文件和组织方案,以及实现这些结果的程序;
  • 纳入评估潜在影响的过程;
  • 提供了一个结构,通过该结构,人工智能风险管理功能可以与组织原则、政策和战略优先事项保持一致;
  • 将人工智能系统设计和开发的技术方面与组织价值观和原则联系起来,并为参与获取、培训、部署和监控此类系统的个人提供组织实践和能力;和
  • 解决整个产品生命周期和相关流程,包括与使用第三方软件或硬件系统和数据有关的法律和其他问题。

 

governance是一个贯穿整个人工智能风险管理的功能,并实现流程的其他功能。治理的各个方面,特别是与遵约或评价有关的方面,应纳入每一项其他职能。对治理的关注是在人工智能系统的寿命和组织的层次结构中进行有效人工智能风险管理的持续和内在要求。

强有力的治理可以推动和加强内部实践和规范,以促进组织风险文化。管理当局可以确定指导组织使命、目标、价值观、文化和风险承受能力的总体政策。高级领导层为组织内的风险管理以及组织文化定下基调。管理层将人工智能风险管理的技术方面与政策和运营相结合。文档可以提高透明度,改进人工审核流程,并加强人工智能系统团队的问责制。

在建立起治理职能中描述的结构、系统、流程和团队后,组织应受益于专注于风险理解和管理的目标驱动文化。随着知识、文化以及人工智能参与者的需求或期望随着时间的推移而演变,框架用户有责任继续执行治理功能。

NIST人工智能RMF行动手册中描述了与管理人工智能风险相关的实践。表1列出了管理功能的类别和子类别。

表1:政府职能的类别和子类别。

CategoriesSubcategories
Govern 1: 整个组织中与人工智能风险的映射、测量和管理相关的政策、流程、程序和实践已经到位、透明并得到有效实施。Govern 1.1: 1.1:理解、管理和记录涉及人工智能的法律和监管要求。
Govern 1.2: 值得信赖的人工智能的特征被整合到组织政策、流程、程序和实践中。
Govern 1.3: 流程、程序和实践已到位,可根据组织的风险承受能力确定所需的风险管理活动水平。
Govern 1.4: 风险管理过程及其结果是通过透明的政策、程序和基于组织风险优先级的其他控制建立的。
Govern 1.5: 计划对风险管理过程及其结果进行持续监测和定期审查,明确界定组织角色和责任,包括确定定期审查的频率。
Govern 1.6: 建立了人工智能系统库存机制,并根据组织风险优先级提供资源。
Govern 1.7: 已经制定了安全退役和逐步淘汰人工智能系统的流程和程序,且不会增加风险或降低组织的可信度。
Govern 2: 责任制结构已经到位,因此适当的团队和个人被授权、负责并接受了映射、测量和管理AI风险的培训。Govern 2.1: 与映射、测量和管理人工智能风险相关的角色、责任和沟通渠道都有文件记录,整个组织的个人和团队都清楚。
Govern 2.2: 该组织的人员和合作伙伴接受人工智能风险管理培训,使他们能够根据相关政策、程序和协议履行职责。
Govern 2.3: 组织的执行领导层负责与人工智能系统开发和部署相关的风险决策。
Govern 3: 劳动力多样性、公平性、包容性和可访问性过程在整个生命周期的人工智能风险映射、测量和管理中被优先考虑。Govern 3.1: 在整个生命周期中,与绘制、测量和管理人工智能风险相关的决策由不同的团队提供信息(例如,人口统计、学科、经验、专业知识和背景的多样性)。
Govern 3.2: 制定了政策和程序,以定义和区分人工智能配置和人工智能系统监督的角色和责任。
Govern 4: 组织团队致力于考虑和沟通AI风险的文化。Govern 4.1: 制定了组织政策和实践,在人工智能系统的设计、开发、部署和使用中培养批判性思维和安全第一的心态,以最大限度地减少潜在的负面影响。
Govern 4.2: 组织团队记录他们设计、开发、部署、评估和使用的人工智能技术的风险和潜在影响,并更广泛地交流影响。
Govern 4.3: 组织实践已经到位,可以实现人工智能测试、事件识别和信息共享。
Govern 5: 制定了与相关AI参与者进行有力互动的流程。Govern 5.1: 组织政策和实践已经到位,可以收集、考虑、优先考虑和整合开发或部署人工智能系统的团队外部人员对人工智能风险相关的潜在个人和社会影响的反馈。
Govern 5.2: 建立机制,使开发或部署人工智能系统的团队能够定期将相关人工智能参与者的裁决反馈纳入系统设计和实施。
Govern 6: 制定了政策和程序,以解决由第三方软件和数据以及其他供应链问题引起的人工智能风险和收益。Govern 6.1: 制定了解决与第三方实体相关的人工智能风险的政策和程序,包括侵犯第三方知识产权或其他权利的风险。
Govern 6.2: 应急流程用于处理被认为是高风险的第三方数据或人工智能系统中的故障或事件。

5.2映射

映射功能建立了与人工智能系统相关的风险框架。人工智能的生命周期包括许多相互依存的活动,涉及不同的参与者(见图3)。在实践中,负责流程某一部分的人工智能参与者往往无法完全了解或控制其他部分及其相关上下文。这些活动之间以及相关人工智能参与者之间的相互依赖性可能会使人们难以可靠地预测人工智能系统的影响。例如,识别人工智能系统目的和目标的早期决策可能会改变其行为和能力,部署设置的动态(如最终用户或受影响的个人)可能会影响人工智能系统决策。因此,人工智能生命周期的一个维度内的最佳意图可能会通过与其他后续活动中的决策和条件的交互而受到破坏。这种复杂性和不同程度的可见性可能会给风险管理实践带来不确定性。预测、评估和以其他方式解决负面风险的潜在来源可以减轻这种不确定性,并增强决策过程的完整性。

在执行映射功能时收集的信息能够实现负面风险预防,并为模型管理等流程的决策提供信息,以及关于人工智能解决方案的适当性或需求的初步决策。地图功能的结果是衡量和管理功能的基础。如果没有上下文知识和对所确定的上下文中的风险的认识,风险管理就很难执行。地图功能旨在增强组织识别风险和更广泛的促成因素的能力。

通过整合来自不同内部团队的观点以及与开发或部署人工智能系统的团队外部人员的接触,这一功能的实施得到了加强。根据特定人工智能系统的风险水平、内部团队的组成和组织政策,与外部合作者、最终用户、潜在受影响的社区和其他人的接触可能会有所不同。收集如此广泛的视角可以帮助组织主动预防负面风险,并通过以下方式开发更值得信赖的人工智能系统:

  • 提高他们理解环境的能力;
  • 检查他们对使用环境的假设;
  • 能够识别系统何时在其预期上下文内或外不起作用;
  • 确定其现有人工智能系统的积极和有益用途;
  • 提高对人工智能和ML过程局限性的理解;
  • 识别现实世界应用程序中可能导致负面影响的约束条件;
  • 识别与人工智能系统的预期使用相关的已知和可预见的负面影响;和
  • 预期使用人工智能系统超出预期用途的风险。

在完成地图功能后,框架用户应该有足够的关于人工智能系统影响的上下文知识,以告知是否设计、开发或部署人工智能系统的初步决定。如果决定继续进行,组织应利用衡量和管理职能以及管理职能中制定的政策和程序,协助人工智能风险管理工作。随着环境、能力、风险、收益和潜在影响的演变,框架用户有责任继续将地图功能应用于人工智能系统。

NIST人工智能RMF行动手册中描述了与绘制人工智能风险图相关的实践。表2列出了地图功能的类别和子类别。

表2:MAP函数的类别和子类别。

CategoriesSubcategories
Map 1: 建立并理解上下文。Map 1.1: 理解并记录人工智能系统部署的预期目的、潜在有益用途、特定背景的法律、规范和期望以及预期设置。考虑因素包括:用户的特定集合或类型及其期望;系统使用对个人、社区、组织、社会和地球的潜在积极和消极影响;在整个开发或产品AI生命周期中,关于AI系统目的、用途和风险的假设和相关限制;以及相关的TEVV和系统指标。
Map 1.2: 跨学科人工智能参与者,能力,技能和建立背景的能力反映了人口多样性以及广泛的领域和用户体验专业知识,并记录了他们的参与情况。优先考虑跨学科合作的机会。
Map 1.3: 组织的使命和人工智能技术的相关目标得到了理解和记录。
Map 1.4: 业务价值或业务使用背景已经明确定义,或者在评估现有AI系统的情况下,重新评估。
Map 1.5: 确定并记录组织风险容忍度。
Map 1.6: 系统要求(例如,“系统应尊重其用户的隐私”)来自相关AI参与者并被其理解。设计决策考虑了社会技术影响,以解决人工智能风险。
Map 2: 对AI系统进行分类。Map 2.1: 定义了用于实现AI系统将支持的任务的特定任务和方法(例如,分类器,生成模型,推荐者)。
Map 2.2:记录了有关人工智能系统的知识限制以及人类如何利用和监督系统输出的信息。文档提供了足够的信息,以帮助相关AI参与者做出决策并采取后续行动。
Map 2.3: 确定并记录科学完整性和TEVV考虑因素,包括与实验设计,数据收集和选择(例如可用性,代表性,适用性),系统可信度和构建验证相关的因素。
Map 3: 了解人工智能功能、目标使用、目标以及与适当基准相比的预期收益和成本。Map 3.1:检查并记录预期AI系统功能和性能的潜在好处。
Map 3.2: 检查并记录由预期或实现的人工智能错误或系统功能和可信度(与组织风险承受能力相关)产生的潜在成本,包括非货币成本。
Map 3.3: 根据系统的能力、已建立的上下文和AI系统分类,指定并记录目标应用范围。
Map 3.4: 定义、评估和记录了操作员和从业者熟练掌握人工智能系统性能和可信度的流程,以及相关的技术标准和认证。
Map 3.5: 根据治理职能部门的组织政策,定义、评估和记录人力监督流程。
Map 4: AI系统的所有组件(包括第三方软件和数据)都映射了风险和收益。Map 4.1: 绘制人工智能技术及其组件的法律风险(包括使用第三方数据或软件)的方法已经到位、遵循并记录,侵犯第三方知识产权或其他权利的风险也是如此。
Map 4.2: 识别并记录人工智能系统组件(包括第三方人工智能技术)的内部风险控制。
Map 5: 对个人、团体、社区、组织和社会的影响具有特征。Map 5.1: 根据预期用途、人工智能系统在类似情况下的过去使用情况、公共事件报告、开发或部署人工智能系统的团队外部的反馈或其他数据,确定并记录每个确定影响(潜在有益和有害)的可能性和程度。
Map 5.2: 制定并记录了支持与相关人工智能参与者定期接触的实践和人员,并整合了关于正面、负面和意外影响的反馈。

5.3措施

衡量功能采用定量、定性或混合方法工具、技术和方法来分析、评估、基准测试和监测人工智能风险和相关影响。它使用与地图功能中识别的人工智能风险相关的知识,并通知管理功能。人工智能系统应在部署前进行测试,并在运行中定期进行测试。人工智能风险测量包括记录系统功能和可信度的各个方面。

衡量人工智能风险包括跟踪值得信赖的特征、社会影响和人类人工智能配置的指标。衡量职能部门制定或采用的流程应包括严格的软件测试和绩效评估方法,以及相关的不确定性衡量标准、与绩效基准的比较,以及正式的结果报告和文件记录。独立审查程序可以提高测试的有效性,并可以减轻内部偏见和潜在的利益冲突。

当值得信赖的特征之间出现权衡时,测量提供了一个可追溯的基础,为管理决策提供信息。选项可能包括重新校准、减轻影响或将系统从设计、开发、生产或使用中移除,以及一系列补偿、检测、威慑、指令和恢复控制。

在完成测量功能后,目标、可重复或可扩展的测试、评估、验证和确认(TEVV)过程,包括指标、方法和方法,都已到位、遵循并记录在案。计量和测量方法应遵守科学、法律和道德规范,并在公开透明的过程中进行。可能需要开发新的定性和定量测量方法。应考虑每种测量类型为人工智能风险评估提供独特和有意义信息的程度。框架用户将增强其全面评估系统可信度、识别和跟踪现有和紧急风险以及验证指标有效性的能力。衡量结果将用于管理职能,以协助风险监测和应对工作。随着知识、方法、风险和影响的演变,框架用户有责任继续将测量功能应用于人工智能系统。

NIST人工智能RMF行动手册中描述了与测量人工智能风险相关的实践。表3列出了度量函数的类别和子类别。

表3:MEASURE函数的类别和子类别

CategoriesSubcategories
Measure 1: Appropriate methods and metrics are identified and applied.Measure 1.1: Approaches and metrics for measurement of AI risks enumerated during the map function are selected for implementation starting with the most significant AI risks. The risks or trustworthiness characteristics that will not – or cannot – be measured are properly documented.
Measure 1.2: Appropriateness of AI metrics and effectiveness of existing controls are regularly assessed and updated, including reports of errors and potential impacts on affected communities.
Measure 1.3: Internal experts who did not serve as front-line developers for the system and/or independent assessors are involved in regular assessments and updates. Domain experts, users, AI actors external to the team that developed or deployed the AI system, and affected communities are consulted in support of assessments as necessary per organizational risk tolerance.
Measure 2: AI systems are evaluated for trustworthy characteristics.Measure 2.1: Test sets, metrics, and details about the tools used during TEVV are documented.
Measure 2.2: Evaluations involving human subjects meet applicable requirements (including human subject protection) and are representative of the relevant population.
Measure 2.3: AI system performance or assurance criteria are measured qualitatively or quantitatively and demonstrated for conditions similar to deployment setting(s). Measures are documented.
Measure 2.4: The functionality and behavior of the AI system and its components – as identified in the map function – are monitored when in production.
Measure 2.5: The AI system to be deployed is demonstrated to be valid and reliable. Limitations of the generalizability beyond the conditions under which the technology was developed are documented.
Measure 2.6: The AI system is evaluated regularly for safety risks – as identified in the map function. The AI system to be deployed is demonstrated to be safe, its residual negative risk does not exceed the risk tolerance, and it can fail safely, particularly if made to operate beyond its knowledge limits. Safety metrics reflect system reliability and robustness, real-time monitoring, and response times for AI system failures.
Measure 2.7: AI system security and resilience – as identified in the map function – are evaluated and documented.
Measure 2.8: Risks associated with transparency and accountability – as identified in the map function – are examined and documented.
Measure 2.9: The AI model is explained, validated, and documented, and AI system output is interpreted within its context – as identified in the map function – to inform responsible use and governance.
Measure 2.10: Privacy risk of the AI system – as identified in the map function – is examined and documented.
Measure 2.11: Fairness and bias – as identified in the map function – are evaluated and results are documented.
Measure 2.12: Environmental impact and sustainability of AI model training and management activities – as identified in the map function – are assessed and documented.
Measure 2.13: Effectiveness of the employed TEVV metrics and processes in the measure function are evaluated and documented.
Measure 3: Mechanisms for tracking identified AI risks over time are in place.Measure 3.1: Approaches, personnel, and documentation are in place to regularly identify and track existing, unanticipated, and emergent AI risks based on factors such as intended and actual performance in deployed contexts.
Measure 3.2: Risk tracking approaches are considered for settings where AI risks are difficult to assess using currently available measurement techniques or where metrics are not yet available.
Measure 3.3: Feedback processes for end users and impacted communities to report problems and appeal system outcomes are established and integrated into AI system evaluation metrics.
Measure 4: Feedback about efficacy of measurement is gathered and assessed.Measure 4.1: Measurement approaches for identifying AI risks are connected to deployment context(s) and informed through consultation with domain experts and other end users. Approaches are documented.
Measure 4.2: Measurement results regarding AI system trustworthiness in deployment context(s) and across the AI lifecycle are informed by input from domain experts and relevant AI actors to validate whether the system is performing consistently as intended. Results are documented.
Measure 4.3: Measurable performance improvements or declines based on consultations with relevant AI actors, including affected communities, and field data about context-relevant risks and trustworthiness characteristics are identified and documented.

5.4管理

管理职能要求按照管理职能的规定,定期将风险资源分配给映射和测量的风险。风险处理包括对事件或事件作出反应、恢复和沟通的计划。

从专家咨询中收集的背景信息和相关人工智能参与者的输入——在治理中建立并在地图中执行——被用于该功能,以降低系统故障和负面影响的可能性。在治理中建立并在地图和测量中使用的系统文档实践支持人工智能风险管理工作,并提高透明度和问责制。评估紧急风险的流程以及持续改进的机制已经到位。

在完成管理职能后,将制定优先考虑风险以及定期监测和改进的计划。框架用户将增强管理已部署人工智能系统风险的能力,并根据评估和优先排序的风险分配风险管理资源。随着方法、环境、风险以及相关人工智能参与者的需求或期望随着时间的推移而演变,框架用户有责任继续将管理功能应用于部署的人工智能系统。

NIST人工智能RMF行动手册中描述了与人工智能风险管理相关的实践。表4列出了管理功能的类别和子类别。

表4:MANAGE功能的类别和子类别。

CategoriesSubcategories
Manage 1: AI risks based on assessments and other analytical output from the MAP and MEASURE functions are prioritized, responded to, and managedManage 1.1: A determination is made as to whether the AI system achieves its intended purposes and stated objectives and whether its development or deployment should proceed.
Manage 1.2: Treatment of documented AI risks is prioritized based on impact, likelihood, and available resources or methods.
Manage 1.3: Responses to the AI risks deemed high priority, as identified by the map function, are developed, planned, and documented. Risk response options can include mitigating, transferring, avoiding, or accepting.
Manage 1.4: Negative residual risks (defined as the sum of all unmitigated risks) to both downstream acquirers of AI systems and end users are documented.
Manage 2: Strategies to maximize AI benefits and minimize negative impacts are planned, prepared, implemented, documented, and informed by input from relevant AI actors.Manage 2.1: Resources required to manage AI risks are taken into account – along with viable non-AI alternative systems, approaches, or methods – to reduce the magnitude or likelihood of potential impacts.
Manage 2.2: Mechanisms are in place and applied to sustain the value of deployed AI systems.
Manage 2.3: Procedures are followed to respond to and recover from a previously unknown risk when it is identified.
Manage 2.4: Mechanisms are in place and applied, and responsibilities are assigned and understood, to supersede, disengage, or deactivate AI systems that demonstrate performance or outcomes inconsistent with intended use.
Manage 3: AI risks and benefits from third-party entities are managed.Manage 3.1: AI risks and benefits from third-party resources are regularly monitored, and risk controls are applied and documented.
Manage 3.2: Pre-trained models which are used for development are monitored as part of AI system regular monitoring and maintenance.
Manage 4: Risk treatments, including response and recovery, and communication plans for the identified and measured AI risks are documented and monitored regularly.Manage 4.1: Post-deployment AI system monitoring plans are implemented, including mechanisms for capturing and evaluating input from users and other relevant AI actors, appeal and override, decommissioning, incident response, recovery, and change management.
Manage 4.2: Measurable activities for continual improvements are integrated into AI system updates and include regular engagement with interested parties, including relevant AI actors.
Manage 4.3: Incidents and errors are communicated to relevant AI actors, including affected communities. Processes for tracking, responding to, and recovering from incidents and errors are followed and documented.
本文地址

知识星球

微信公众号

视频号