【人工智能治理】NIST值得信赖和负责任的人工智能：人工智能RMF核心

人工智能RMF核心提供结果和行动，使对话、理解和活动能够管理人工智能风险，并负责任地开发值得信赖的人工智能系统。如图5所示，Core由四个功能组成：治理、映射、测量和管理。这些高级功能中的每一个都被细分为类别和子类别。类别和子类别被细分为具体的行动和结果。行动不构成检查表，也不一定是一套有序的步骤。

Figure 5: Functions organize AI risk management activities at their highest level to govern, map, measure, and manage AI risks. Governance is designed to be a cross-cutting function to inform and be infused throughout the other three functions.

风险管理应该是连续的、及时的，并在整个人工智能系统生命周期维度上执行。人工智能RMF核心功能的执行方式应反映多样性和多学科的观点，可能包括组织外人工智能参与者的观点。拥有一个多元化的团队有助于更开放地分享关于正在设计、开发、部署或评估的技术的目的和功能的想法和假设，这可以为发现问题和识别现有和紧急风险创造机会。

人工智能RMF的在线配套资源，即NIST人工智能RMF-行动手册，可用于帮助组织导航人工智能RMF.并通过建议的战术行动实现其成果，这些行动可以在自己的环境中应用。与AI RMF一样，行动手册是自愿的，组织可以根据自己的需求和兴趣使用建议。行动手册用户可以从建议的材料中选择量身定制的指南供自己使用，并提出建议与更广泛的社区分享。与人工智能RMF一起，行动手册也是NIST值得信赖和负责任的人工智能资源中心的一部分。

框架用户可以根据其资源和能力，应用最适合其管理人工智能风险需求的这些功能。一些组织可能会选择从类别和子类别中进行选择；其他人可以选择并有能力应用所有类别和子类别。假设治理结构到位，在人工智能生命周期中，功能可以按任何顺序执行，因为框架的用户认为这会增加价值。在治理中建立结果后，人工智能RMF的大多数用户将从地图功能开始，并继续测量或管理。无论用户如何集成功能，该过程都应该是迭代的，必要时在功能之间进行交叉引用。同样，也有一些类别和子类别的元素适用于多个功能，或者在逻辑上应该在某些子类别决策之前发生。

5.1治理

管理功能：

• 在设计、开发、部署、评估或获取人工智能系统的组织内培养和实施风险管理文化；
• 概述了预测、识别和管理系统可能构成的风险（包括对用户和社会其他人的风险）的流程、文件和组织方案，以及实现这些结果的程序；
• 纳入评估潜在影响的过程；
• 提供了一个结构，通过该结构，人工智能风险管理功能可以与组织原则、政策和战略优先事项保持一致；
• 将人工智能系统设计和开发的技术方面与组织价值观和原则联系起来，并为参与获取、培训、部署和监控此类系统的个人提供组织实践和能力；和
• 解决整个产品生命周期和相关流程，包括与使用第三方软件或硬件系统和数据有关的法律和其他问题。

governance是一个贯穿整个人工智能风险管理的功能，并实现流程的其他功能。治理的各个方面，特别是与遵约或评价有关的方面，应纳入每一项其他职能。对治理的关注是在人工智能系统的寿命和组织的层次结构中进行有效人工智能风险管理的持续和内在要求。

强有力的治理可以推动和加强内部实践和规范，以促进组织风险文化。管理当局可以确定指导组织使命、目标、价值观、文化和风险承受能力的总体政策。高级领导层为组织内的风险管理以及组织文化定下基调。管理层将人工智能风险管理的技术方面与政策和运营相结合。文档可以提高透明度，改进人工审核流程，并加强人工智能系统团队的问责制。

在建立起治理职能中描述的结构、系统、流程和团队后，组织应受益于专注于风险理解和管理的目标驱动文化。随着知识、文化以及人工智能参与者的需求或期望随着时间的推移而演变，框架用户有责任继续执行治理功能。

NIST人工智能RMF行动手册中描述了与管理人工智能风险相关的实践。表1列出了管理功能的类别和子类别。

表1：政府职能的类别和子类别。

5.2映射

映射功能建立了与人工智能系统相关的风险框架。人工智能的生命周期包括许多相互依存的活动，涉及不同的参与者（见图3）。在实践中，负责流程某一部分的人工智能参与者往往无法完全了解或控制其他部分及其相关上下文。这些活动之间以及相关人工智能参与者之间的相互依赖性可能会使人们难以可靠地预测人工智能系统的影响。例如，识别人工智能系统目的和目标的早期决策可能会改变其行为和能力，部署设置的动态（如最终用户或受影响的个人）可能会影响人工智能系统决策。因此，人工智能生命周期的一个维度内的最佳意图可能会通过与其他后续活动中的决策和条件的交互而受到破坏。这种复杂性和不同程度的可见性可能会给风险管理实践带来不确定性。预测、评估和以其他方式解决负面风险的潜在来源可以减轻这种不确定性，并增强决策过程的完整性。

在执行映射功能时收集的信息能够实现负面风险预防，并为模型管理等流程的决策提供信息，以及关于人工智能解决方案的适当性或需求的初步决策。地图功能的结果是衡量和管理功能的基础。如果没有上下文知识和对所确定的上下文中的风险的认识，风险管理就很难执行。地图功能旨在增强组织识别风险和更广泛的促成因素的能力。

通过整合来自不同内部团队的观点以及与开发或部署人工智能系统的团队外部人员的接触，这一功能的实施得到了加强。根据特定人工智能系统的风险水平、内部团队的组成和组织政策，与外部合作者、最终用户、潜在受影响的社区和其他人的接触可能会有所不同。收集如此广泛的视角可以帮助组织主动预防负面风险，并通过以下方式开发更值得信赖的人工智能系统：

• 提高他们理解环境的能力；
• 检查他们对使用环境的假设；
• 能够识别系统何时在其预期上下文内或外不起作用；
• 确定其现有人工智能系统的积极和有益用途；
• 提高对人工智能和ML过程局限性的理解；
• 识别现实世界应用程序中可能导致负面影响的约束条件；
• 识别与人工智能系统的预期使用相关的已知和可预见的负面影响；和
• 预期使用人工智能系统超出预期用途的风险。

在完成地图功能后，框架用户应该有足够的关于人工智能系统影响的上下文知识，以告知是否设计、开发或部署人工智能系统的初步决定。如果决定继续进行，组织应利用衡量和管理职能以及管理职能中制定的政策和程序，协助人工智能风险管理工作。随着环境、能力、风险、收益和潜在影响的演变，框架用户有责任继续将地图功能应用于人工智能系统。

NIST人工智能RMF行动手册中描述了与绘制人工智能风险图相关的实践。表2列出了地图功能的类别和子类别。

表2：MAP函数的类别和子类别。

5.3措施

衡量功能采用定量、定性或混合方法工具、技术和方法来分析、评估、基准测试和监测人工智能风险和相关影响。它使用与地图功能中识别的人工智能风险相关的知识，并通知管理功能。人工智能系统应在部署前进行测试，并在运行中定期进行测试。人工智能风险测量包括记录系统功能和可信度的各个方面。

衡量人工智能风险包括跟踪值得信赖的特征、社会影响和人类人工智能配置的指标。衡量职能部门制定或采用的流程应包括严格的软件测试和绩效评估方法，以及相关的不确定性衡量标准、与绩效基准的比较，以及正式的结果报告和文件记录。独立审查程序可以提高测试的有效性，并可以减轻内部偏见和潜在的利益冲突。

当值得信赖的特征之间出现权衡时，测量提供了一个可追溯的基础，为管理决策提供信息。选项可能包括重新校准、减轻影响或将系统从设计、开发、生产或使用中移除，以及一系列补偿、检测、威慑、指令和恢复控制。

在完成测量功能后，目标、可重复或可扩展的测试、评估、验证和确认（TEVV）过程，包括指标、方法和方法，都已到位、遵循并记录在案。计量和测量方法应遵守科学、法律和道德规范，并在公开透明的过程中进行。可能需要开发新的定性和定量测量方法。应考虑每种测量类型为人工智能风险评估提供独特和有意义信息的程度。框架用户将增强其全面评估系统可信度、识别和跟踪现有和紧急风险以及验证指标有效性的能力。衡量结果将用于管理职能，以协助风险监测和应对工作。随着知识、方法、风险和影响的演变，框架用户有责任继续将测量功能应用于人工智能系统。

NIST人工智能RMF行动手册中描述了与测量人工智能风险相关的实践。表3列出了度量函数的类别和子类别。

表3：MEASURE函数的类别和子类别

5.4管理

管理职能要求按照管理职能的规定，定期将风险资源分配给映射和测量的风险。风险处理包括对事件或事件作出反应、恢复和沟通的计划。

从专家咨询中收集的背景信息和相关人工智能参与者的输入——在治理中建立并在地图中执行——被用于该功能，以降低系统故障和负面影响的可能性。在治理中建立并在地图和测量中使用的系统文档实践支持人工智能风险管理工作，并提高透明度和问责制。评估紧急风险的流程以及持续改进的机制已经到位。

在完成管理职能后，将制定优先考虑风险以及定期监测和改进的计划。框架用户将增强管理已部署人工智能系统风险的能力，并根据评估和优先排序的风险分配风险管理资源。随着方法、环境、风险以及相关人工智能参与者的需求或期望随着时间的推移而演变，框架用户有责任继续将管理功能应用于部署的人工智能系统。

NIST人工智能RMF行动手册中描述了与人工智能风险管理相关的实践。表4列出了管理功能的类别和子类别。

表4：MANAGE功能的类别和子类别。