【负责的AI】机器学习中的公平

人工智能系统的公平性

由于各种原因，人工智能系统可能会表现得不公平。有时，这是因为在这些系统的开发和部署过程中，训练数据和决策中反映了社会偏见。在其他情况下，人工智能系统的不公平行为不是因为社会偏见，而是因为数据的特征（例如，关于某一群人的数据点太少）或系统本身的特征。很难区分这些原因，特别是因为它们并不相互排斥，而且往往会加剧彼此。因此，我们从人工智能系统对人的影响（即伤害）来定义其行为是否不公平，而不是从具体原因（如社会偏见）或意图（如偏见prejudice）来定义。

单词bias的用法。由于我们根据伤害而不是具体原因（如社会偏见）来定义公平，因此在描述公平学习的功能时，我们避免使用偏见(bias )或去偏见(debiasing )这两个词。

 

危害类型

有许多类型的危害（例如，参见K.Crawford在NeurIPS 2017上的主题演讲）。其中一些是：

• Allocation harms :当人工智能系统扩展或保留机会、资源或信息时，可能会发生分配危害。一些关键的申请是在招聘、入学和贷款方面。
• Quality-of-service :当一个系统对一个人的工作不如对另一个人的好时，即使没有机会、资源或信息被扩展或扣留，也可能会对服务质量造成损害。例如，人脸识别、文档搜索或产品推荐的准确性各不相同。
• Stereotyping harms:当一个系统建议完成使刻板印象永久化时，刻板印象的危害可能会发生。当搜索引擎建议完成部分类型的查询时，经常会出现这种情况。关于这一问题的深入研究，见“团结贵族”项目[1]。请注意，即使是名义上积极的刻板印象也是有问题的，因为它们仍然基于外在特征产生期望，而不是将人视为个体。
• Erasure harms :当系统表现得好像组（或其作品）不存在时，可能会发生擦除危害。例如，提示“19世纪的女科学家”的文本生成器可能不会产生结果。当被问及密苏里州圣路易斯附近的历史遗迹时，搜索引擎可能不会提到卡霍基亚。关于南部非洲的类似问题可能会忽视大津巴布韦，而集中在殖民时代的遗址上。更微妙的是，艾伦·图灵的一本简短传记可能没有提到他的性取向。

 

这份清单并不是详尽无遗的，重要的是要记住，伤害并不是相互排斥的。一个系统可以以不同的方式伤害多个群体，也可以访问单个群体的多个伤害。公平学习方案最适用于分配和服务质量危害，因为这些危害最容易衡量。

概念词汇表

本术语表中概述的概念与社会技术背景相关。

构造有效性

在许多情况下，与公平相关的危害可以追溯到将现实世界的问题转化为机器学习任务的方式。我们打算预测哪个目标变量？将包括哪些功能？我们考虑哪些（公平）约束？其中许多决定可以归结为社会科学家所说的测量：我们测量（抽象）现象的方式。

本术语表中概述的概念介绍了测量建模语言，如Jacobs和Wallach[2]所述。这个框架可以成为一个有用的工具来测试问题公式的（隐含的）假设的有效性。通过这种方式，它可以帮助减轻由于公式和应用程序的真实环境之间的不匹配而可能产生的与公平相关的危害。

关键术语

• 社会技术背景——围绕技术系统的背景，包括社会方面（如人、机构、社区）和技术方面（如算法、技术过程）。一个系统的社会技术背景决定了谁可能受益或受到人工智能系统的伤害。
• 不可观测的理论结构——一种不可观测且不能直接测量的想法或概念，但必须通过测量模型中定义的可观测测量来推断。
• 测量模型——用于测量不可观测理论结构的方法和方法。
• 结构可靠性——这可以被认为是在不同的时间点测量时，不可观测的理论结构的测量值保持不变的程度。结构可靠性的缺乏可能是由于对不可观测的理论结构的理解与用于测量该结构的方法之间的不一致，也可能是由于结构本身的变化。构念有效性与构念可靠性是相辅相成的。
• 构念有效性——这可以被认为是测量模型以有意义和有用的方式测量预期构念的程度。

关键术语示例-不可观测的理论结构和测量模型

• Fairness :公平是一个不可观测的理论结构的例子。有几种衡量公平的衡量模型，包括人口均等。这些测量可以结合在一起形成一个测量模型，在该模型中，几个测量被组合以最终测量公平性。有关衡量公平性的衡量模型的更多示例，请参阅fairlearn.metrics。
• 教师效能是一个不可观察的理论建构的例子。常见的测量模型包括学生在标准化考试中的表现和教师对学生的定性反馈。
• 社会经济地位是一个不可观察的理论结构的例子。一个常见的衡量模型包括家庭年收入。
• 患者利益是一个不可观察的理论结构的例子。一个常见的衡量模型涉及患者护理成本。有关相关示例，请参见[3]。

 

注：为了解释上述关键术语，我们引用了几个不可观测的理论结构和测量模型的例子。有关更详细的示例，请参考Jacobs和Wallach[2]。

什么是结构有效性？

尽管Jacobs和Wallach[2]同时探讨了结构可靠性和结构有效性，但我们下面将重点探讨结构有效性。我们注意到，两者在理解社会技术背景下的公平方面都发挥着重要作用。话虽如此，Jacobs和Wallach[2]提出了一种以公平为导向的结构有效性概念，这有助于在社会技术背景下思考公平。我们在七个关键部分中捕捉到了这一观点，即当结合起来时，可以作为分析人工智能任务和试图建立结构有效性的框架：

 

1. 表面有效性——从表面上看，测量模型产生的测量结果看起来有多可信？
2. 内容有效性–这有三个子组成部分：
   1. 争议性——对不可观测的理论结构有单一的理解吗？或者这种理解是有争议的（因此取决于上下文）。
   2. 实质有效性——我们能否证明测量模型包含与感兴趣的结构相关的可观察属性和其他不可观察的理论结构（并且仅包含这些）？
   3. 结构有效性-测量模型是否适当地捕捉了感兴趣的结构与测量的可观察特性和其他不可观察的理论结构之间的关系？
3. 收敛有效性-所获得的测量值是否与已建立结构有效性的测量模型中的其他测量值（存在）相关？
4. 判别有效性——感兴趣结构的测量值是否与相关结构相关？
5. 预测有效性——从测量模型中获得的测量值是否可以预测任何相关可观测特性或其他不可观测理论结构的测量值？
6. 假设有效性——这描述了测量模型产生的测量中可能出现的假设的性质，以及这些假设是否“实质上有趣”。
7. 结果有效性——识别和评估使用测量模型获得的测量结果的后果和社会影响。以问题为框架：使用测量来塑造世界是如何的，我们希望生活在什么世界？

注：以上部分的探索顺序和使用方式可能因具体的社会技术背景而异。这只是为了解释可以在分析任务的框架中使用的关键概念。

公平性评估和不公平缓解

在Fairlearn中，我们提供了评估分类和回归预测因子公平性的工具。我们还提供了减轻分类和回归中不公平现象的工具。在评估和缓解场景中，公平性都是使用差异度量进行量化的，如下所述。

群体公平，敏感特征

公平概念化有多种方法。在公平学习中，我们遵循被称为群体公平的方法，该方法问道：哪些群体的个人面临遭受伤害的风险？

相关组（也称为子群）是使用敏感特征（或敏感属性）定义的，这些特征作为向量或矩阵（称为sensitive_features）（即使它只是一个特征）传递给Fairlearn估计器。该术语表明，系统设计者在评估群体公平性时应对这些特征保持敏感。尽管这些功能有时可能会对隐私产生影响（例如，性别或年龄），但在其他情况下可能不会（例如，无论某人是否以特定语言为母语）。此外，“敏感”一词并不意味着这些特征不应用于预测——事实上，在某些情况下，将其包括在内可能会更好。

公平文献也使用术语“受保护属性”作为敏感特征。该术语基于反歧视法，该法定义了特定的受保护阶层。由于我们寻求在更广泛的环境中应用群体公平，我们避免使用这个术语。

均等约束

组公平性通常由一组对预测器行为的约束形式化，称为奇偶性约束（也称为标准）。奇偶性约束要求预测器行为的某些方面（或多个方面）在由敏感特征定义的组之间具有可比性。

 

允许

表示用于预测的特征向量，

是单个敏感特征（如年龄或种族），以及

成为真正的标签。平价约束是根据对分配的期望来表述的

例如，在Fairlearn中，我们考虑以下类型的奇偶性约束。

 

二进制分类：

 

• Demographic parity (also known as statistical parity): A classifier 
  $ℎ$

  satisfies demographic parity under a distribution over 
  $(�,�,�)$

  if its prediction 
  $ℎ(�)$

  is statistically independent of the sensitive feature
  $�$

  . This is equivalent to
  $\mathbb{�}[ℎ(�)|�=�]=\mathbb{�}[ℎ(�)]\mathrm{\forall }�$

  . ^[4]

• Equalized odds: A classifier 
  $ℎ$

  satisfies equalized odds under a distribution over 
  $(�,�,�)$

  if its prediction 
  $ℎ(�)$

  is conditionally independent of the sensitive feature 
  $�$

  given the label
  $�$

  . This is equivalent to
  $\mathbb{�}[ℎ(�)|�=�,�=�]=\mathbb{�}[ℎ(�)|�=�]\mathrm{\forall }�,�$

  . ^[4]

• Equal opportunity: a relaxed version of equalized odds that only considers conditional expectations with respect to positive labels, i.e.,
  $�=1$

  . ^[5]

回归：

 

• Demographic parity: A predictor 
  $�$

  satisfies demographic parity under a distribution over 
  $(�,�,�)$

  if 
  $�(�)$

  is independent of the sensitive feature
  $�$

  . This is equivalent to
  $\mathbb{�}[�(�)\ge �|�=�]=\mathbb{�}[�(�)\ge �]\mathrm{\forall }�,�$

  . ^[6]

• Bounded group loss: A predictor 
  $�$

  satisfies bounded group loss at level 
  $�$

  under a distribution over 
  $(�,�,�)$

  if
  $\mathbb{�}[����(�,�(�))|�=�]\le �\mathrm{\forall }�$

  . ^[6]

 

如上所述，人口均等旨在减轻分配危害，而有限群体损失主要旨在减轻服务质量危害。均等机会和均等机会可用于诊断分配危害和服务质量危害。

差异度量、组度量

视差度量评估给定预测器与满足奇偶性约束的距离。他们可以根据比率或差异来比较不同群体的行为。例如，对于二进制分类：

• Demographic parity difference is defined as
  $(\underset{�}{max}\mathbb{�}[ℎ(�)|�=�])-(\underset{�}{min}\mathbb{�}[ℎ(�)|�=�])$

  .

• Demographic parity ratio is defined as
  ${\displaystyle \frac{\underset{�}{min}\mathbb{�}[ℎ(�)|�=�]}{\underset{�}{max}\mathbb{�}[ℎ(�)|�=�]}}$

  .

Fairlearn包提供了将scikit学习中的常见准确性和错误度量转换为组度量的功能，即对整个数据集以及每个组单独评估的度量。此外，组度量产生最小和最大度量值，以及对哪些组观察到这些值，以及最大值和最小值之间的差异和比率。有关更多信息，请参阅子包fairlearn.metrics。

在建模一个社会问题时，我们会陷入什么陷阱？

现实世界中使用的机器学习系统本质上是社会技术系统，包括技术和社会参与者。机器学习系统的设计者通常通过抽象将真实世界的上下文转化为机器学习模型：只关注上下文的“相关”方面，这些方面通常由输入、输出及其之间的关系来描述。然而，通过抽象社会背景，他们有陷入“抽象陷阱”的风险：没有考虑社会背景和技术是如何相互关联的。

在本节中，我们将解释这些陷阱是什么，并就如何避免它们提出一些建议。

在“社会技术系统中的公平与抽象”一书中，Selbst等人[7]确定了建模时抽象掉社会背景可能产生的故障模式。他们将其识别为：

• 解决方案主义陷阱
• 波纹效应陷阱
• 形式主义陷阱
• 便携性陷阱
• 框架陷阱

我们提供了这些陷阱的一些定义和示例，以帮助Fairlearn用户思考他们在工作中所做的选择如何导致或避免这些常见的陷阱。

解决方案主义陷阱

当我们假设问题的最佳解决方案可能涉及技术，而没有识别出该领域之外的其他可能解决方案时，就会出现这种陷阱。在公平的定义可能会随着时间的推移而变化的情况下，解决方案主义的方法也可能不合适（见下文的“形式主义陷阱”）。

例如：考虑农村社区的互联网连接问题。解决方案主义陷阱的一个例子是假设使用数据科学来测量给定地区的网速可以帮助改善互联网连接。然而，如果一个社区内存在额外的社会经济挑战，例如教育、基础设施、信息技术或医疗服务，那么纯粹关注网速的算法解决方案可能无法有意义地满足社区的需求。

波纹效应陷阱

当我们不考虑将技术引入现有社会体系的意外后果时，就会出现这种陷阱。这些后果包括行为、结果、个人经历的变化，或给定社会系统的潜在社会价值观和激励的变化；例如通过增加可量化度量相对于不可量化度量的感知值。

例如：考虑银行决定是否应批准个人贷款的问题。在使用机器学习算法计算“分数”之前，银行可能会依靠贷款官员与客户进行对话，根据客户的独特情况推荐计划，并与其他团队成员讨论以获得反馈。通过引入算法，贷款官员可能会限制他们与团队成员和客户的对话，假设算法的建议足够好，而没有这些额外的信息来源。

为了避免这个陷阱，我们必须意识到，一旦一项技术被纳入社会环境，新的群体可能会对其进行不同的解释。我们应该采用“假设”情景来设想引入模型后社会环境可能会发生怎样的变化，包括它可能会如何改变现有群体在该背景下的权力动态，或者参与者可能会如何通过改变他们的行为来与模型博弈。

形式主义陷阱

数据科学家的许多任务都涉及某种形式的形式化：从将真实世界的现象作为数据进行测量，到将业务关键绩效指标（KPI）和约束转化为度量、损失函数或参数。当我们不能充分理解公平等社会概念的含义时，我们就会陷入形式主义陷阱。

公平是一个有争议的复杂结构：在特定的情况下，不同的人可能对什么是公平有不同的想法。虽然数学公平性度量可以捕捉公平性的某些方面，但它们无法捕捉所有相关方面。例如，群体公平性指标没有考虑到个人经历的差异，也没有考虑到程序公正性。

在某些情况下，不能同时满足公平性指标，如人口均等和均等几率。乍一看，这可能是一个数学问题。然而，这种冲突实际上是基于对公平的不同理解。因此，没有数学方法来解决这种冲突。相反，我们需要决定哪些指标可能适合当前的情况，同时牢记数学形式化的局限性。在某些情况下，可能没有合适的度量标准。

我们陷入这个陷阱的一些原因是，公平取决于环境，因为它可以被不同的人群争论，也因为法律世界（即程序性的公平）和公平的ML群体（即基于结果的公平）之间对公平的思考方式存在差异。

数学抽象遇到限制的地方是在获取有关上下文的信息时（不同的社区可能对什么是“不公平”的结果有不同的定义；例如，雇佣一个母语为英语的申请人来担任英语职位，而不是雇佣一个唯一口语不是英语的申请人，这不公平吗？）；可争议性（歧视和不公平的定义在政治上存在争议，并随着时间的推移而变化，这可能会对其数学表达提出根本挑战）；和程序性（例如，法官和警察如何确定保释、咨询、缓刑或监禁是否合适）；

便携性陷阱

当我们无法理解为一个特定的社会背景设计的模型或算法的重用不一定适用于不同的社会背景时，就会出现这种陷阱。重复使用算法解决方案，而不考虑相关社会环境中的差异，可能会导致误导性结果和潜在的有害后果。

例如，将用于筛选护理行业工作申请的机器学习算法重新用于筛选信息技术部门工作申请的系统，可能会陷入可移植性陷阱。两种情况之间的一个重要区别是在两个行业取得成功所需的技能不同。这些背景之间的另一个关键差异涉及每个行业员工的人口统计学差异（就性别而言），这可能是由于招聘信息中的措辞、关于性别和社会角色的社会结构，以及每个领域每个（性别）群体成功申请者的百分比。

框架陷阱

当我们在抽象一个社会问题时没有考虑到特定社会背景的全貌时，就会出现这种陷阱。所涉及的要素包括但不限于：所选现象所处的社会环境、所选情况下个人或环境的特征、所涉及的第三方及其环境，以及正在制定的抽象任务（即计算风险分数、在候选人库中进行选择、选择适当的治疗方法等）。

为了帮助我们避免在问题范围内划定狭窄的界限，我们可以考虑围绕问题范围使用更宽的“框架”，从算法框架转移到社会技术框架。

例如，采用社会技术框架（而不是以数据为中心或算法框架）可以让我们认识到，机器学习模型是人与技术之间社会和技术互动的一部分，因此，给定社会背景的社会组成部分应作为问题制定和建模方法的一部分（包括地方决策过程、激励结构、制度过程等）。

例如，我们可能会陷入这种陷阱，因为我们评估了被指控犯罪的个人再次参与犯罪行为的风险，而没有考虑刑事司法系统中种族偏见的遗留问题、社会经济地位和心理健康与犯罪社会结构的关系，以及法官、警察或其他社会行为者在围绕刑事司法算法的更大社会技术框架中的现有社会偏见等因素。

在社会技术框架内，该模型不仅包含了关于案件历史的更细微的数据，还包含了判断和推荐结果的社会背景。该框架可能包括与犯罪报告相关的过程、犯罪审判流程，以及对各种社会参与者和算法之间的关系如何影响给定模型的预期结果的认识。

工具书类