论文链接：https://arxiv.org/pdf/2312.04542
IEEE SSP 2024

1 Introduction

（背景意义）
机器学习（ML）模型的安全性、隐私性和公平性的潜在风险导致了各种拟议的防御措施。当防御措施对特定风险有效时，它可能对应于对其他风险的易感性增加或减少。

（为什么做这个事情）
像这种意外交互是非常有挑战的。一个可以列举出不同的防御和风险的联合框架不仅可以帮助研究人员识别意外交互和设计出更好的权衡的算法，而且还可以让从业者了解到在部署之前需要考虑这种交互。然而，先前的work都是限制于一个特定的风险、防御或者交互，并没有系统性的研究其根本原因。目前还没有一个涵盖多种防御和风险的全面框架来系统地识别潜在的意外交互。

（本文的工作和创新点）
我们推测，训练数据的过拟合和记忆是这些意外交互的潜在原因。有效的防御可能会诱导、减少或依赖于过拟合或记忆，这反过来又会影响模型对其他风险的敏感性。我们确定了不同的因素，如训练数据集、目标函数和模型的特征，这些因素共同影响模型的过拟合或记忆倾向。这些因素有助于我们在防御生效时对不同风险的易感性有一个细致入微的理解。

（总结创新点）
贡献主要包含三点：
1） 第一个通过潜在原因和影响因素来理解意外交互的系统框架。
2） 一项文献调查，以确定不同的意外交互，将其置于我们的框架内，以及一项使用我们的框架推测意外交互的指南。
3） 识别未来研究中未探索的意外相互作用，使用我们的指南推测两种此类相互作用，并实证验证它们。

2 Motivation

• 目标是通过系统地检查跨越多种防御和风险的各种非预期交互来填补这一空白。

3 Background

系统介绍了机器学习的基础概念、核心风险及对应防御措施，为后续分析防御措施与风险的意外交互奠定理论基础

3.1 ML 分类器基础

1、模型定义
2、关键指标泛化误差G（err）：测试集与训练集的期望损失差，衡量模型泛化能力。

3.2 机器学习的核心风险

1、安全风险

• 逃避攻击（R1）：通过微小扰动$\delta$生成对抗样本 $x_{\text{adv}}$，误导模型误分类。
• 投毒攻击（R2）：向训练集注入恶意数据（如后门攻击），篡改决策边界。
• 模型窃取（R3）：未经授权复制或模拟模型功能，分为白盒窃取和黑盒提取。

  2、隐私风险

• 成员推理（P1）：利用模型对训练集内外数据的行为差异，推断特定数据是否在训练集中。
• 数据重建（P2）：通过模型输出还原训练数据记录。
• 属性推理（P3）：推断敏感输入属性（如种族、健康状况）。
• 分布推理（P4）：推断训练集的分布特性（如人口统计特征）。

  3、公平性风险

• 歧视性行为（F）：模型对不同敏感子群体（如性别、种族）的预测表现存在偏差，源于训练数据或算法偏见。

3.3 防御措施分类

1、安全防御

• 对抗训练（RD1）：用对抗样本训练模型，提升鲁棒性，但可能增加隐私风险。
• 离群值移除（RD2）：过滤训练集中的异常数据，抵御投毒攻击，但可能降低模型准确率。
• 水印（RD3）：在训练集嵌入特殊数据，用于证明模型所有权。
• 指纹（RD4）：基于模型特征或对抗样本生成唯一标识，检测模型窃取。

2、隐私防御

• 差分隐私（PD1）：在梯度更新中添加噪声，降低单个数据的影响，保护成员隐私，但可能损失模型精度。

3、公平性防御

• 群体公平（FD1）：通过预处理、训练目标调整或后处理，确保模型对不同子群体的公平性。
• 解释（FD2）：提供归因、影响或反事实解释，提升模型透明度，辅助检测偏见。

4 Framework

该部分提出了一个系统性框架，用于分析机器学习防御措施与风险之间的意外交互，核心围绕过拟合和记忆化展开。

框架核心：过拟合与记忆化的作用

4.1 过拟合（Overfitting）

1. 定义与测量
   • 模型在训练集$D_{\text{tr}}$上表现优异,但在测试集$D_{\text{te}}$上泛化能力差，用泛化误差$G_{\text{err}}$ 衡量：$G_{\text{err}}={\mathbb{E}}_{D_{\text{te}}}[l]-{\mathbb{E}}_{D_{\text{tr}}}[l]$，即测试集与训练集的期望损失差。
   • 影响因素：
     • 训练集大小（D1）：数据量越大，过拟合风险越低。
     • 模型容量（M1）：参数越多的模型越容易过拟合，但适当过参数化可能提升泛化能力。

4.2 记忆化（Memorization）

1. 定义与分类
   • 模型对训练集中单个数据记录（尤其是离群值、长尾数据）的“记忆”，分为：
     • 数据记录记忆：存储完整数据及其标签，常见于离群值或生成模型。
     • 属性记忆：选择性记忆特定属性（稳定属性或虚假属性）。
   • 测量方法：通过对比有无目标数据时的预测概率差异（(mem)），若 (mem) 接近1则表明记忆化。
   • 影响因素：
     • 训练集分布（D2）：长尾分布中，尾部数据更易被记忆。
     • 输入属性数量（D3）：属性越多，单个属性的记忆化程度越低。
     • 稳定属性优先级（D4）：优先学习稳定属性可降低记忆化风险。
     • 训练算法特性（O1-O3）：目标函数曲率平滑度、可观测性区分度、数据到决策边界的距离影响记忆化模式。

4.3 过拟合与记忆化的关系

1. 四种交互场景
   • C1：无过拟合且无记忆化（数据线性可分，模型泛化好）。
   • C2：过拟合但无记忆化（测试集含噪声，模型拟合训练集模式）。
   • C3：无过拟合但有记忆化（数据接近决策边界，模型记忆局部特征）。
   • C4：过拟合且有记忆化（真实场景中常见，模型同时拟合噪声和局部特征）。
     

框架总结与贡献

1. 统一分析视角：将防御措施与风险的意外交互归因于过拟合和记忆化及其影响因素（如D1-M1、O1-O3），为预测交互效应提供理论基础。
2. 因素列表：通过表格1归纳11个核心因素（如D1-D4、O1-O3、M1），量化防御措施与风险的关联。
3. 指导意义：帮助研究者识别未探索的交互（如防御组合的副作用），并通过实验验证（如后续章节的案例）。
   

5 Understanding Unintended Interactions

该部分系统分析了机器学习防御措施与风险间的意外交互，结合框架理论与文献调研，提出交互分析方法与指导原则。

5.1 重新审视防御措施

• 防御措施与因素的关联性：

  • 对抗训练（RD1）：提升鲁棒性但增加泛化误差 (G_{err})，需高模型容量（M1），使数据远离决策边界（O3），但长尾分布（D2）会降低尾部类别的鲁棒性。
  • 离群值移除（RD2）：移除离群值可抵御投毒攻击（R2），但会增加过拟合风险，导致准确率下降。
  • 差分隐私（PD1）：通过噪声抑制记忆化，降低成员推理（P1）风险，但可能增加逃避攻击（R1）易感性。

• 防御对准确率的影响：多数防御（如RD1、RD2、PD1）会导致准确率下降，仅指纹（RD4）和解释（FD2）不直接影响准确率。

5.2 重新审视风险

• 风险与因素的关联性：

  • 逃避攻击（R1）：与决策边界距离（O3）负相关，数据越接近边界越易被攻击；长尾分布（D2）会增强尾部类别的攻击效果。
  • 成员推理（P1）：与过拟合（(G_{err})）和记忆化正相关，模型容量（M1）越大、训练集越小（D1），风险越高。
  • 数据重建（P2）：依赖模型对训练数据的记忆化，离群值（D2）和高模型容量（M1）会加剧风险。

• 风险间的冲突：例如，差分隐私（PD1）降低P1但可能增加R1，体现防御措施的交互复杂性。

5.3 意外交互的文献调查

• 交互类型与案例：

  • 正向交互（风险增加）：对抗训练（RD1）会增加成员推理（P1）和数据重建（P2）风险，因模型记忆对抗样本。
  • 负向交互（风险降低）：离群值移除（RD2）可降低投毒攻击（R2），但可能增加属性推理（P3）风险。
  • 未探索交互：如水印（RD3）与逃避攻击（R1）、指纹（RD4）与投毒攻击（R2）的关系尚未被充分研究。

• 分析框架应用：通过表3汇总11种防御与7类风险的交互，标注实证（●）、理论（⊙）和猜想（○）证据，如RD1与R1的负相关关系有理论支持。

5.4 探索意外交互的指导方针

• 三步分析法：

  1. 识别共同因素（(f_c)）：如防御（d）和风险（r）的共同影响因素（如D2、M1）。
  2. 判断相关性方向：若d和r对(f_c)的影响方向一致（如均正向），则d增加r的风险，反之则降低。
  3. 综合主导因素：当因素冲突时，以攻击依赖的核心因素（如O3对R1）为判断依据。

• 实证验证案例：

  • 通过“群体公平（FD1）→数据重建（P2）”验证：FD1降低 subgroup 可区分性（O2.2），使P2风险下降，实验中重建损失提升11.7%。
  • “解释（FD2）→分布推理（P4）”验证：FD2泄露模型决策特征（O2.1），使P4攻击准确率达74.09%。

总结

该部分通过关联防御-因素-风险，构建了意外交互的分析框架，既梳理了现有研究中的交互模式，又提供了可操作的指导方针，为预测防御措施的副作用及优化模型安全性提供了理论支撑。

6 Unexplored Interactions and Conjectures

该部分基于框架理论提出了若干未被探索的防御与风险交互，并通过实证验证了其中两例，为后续研究提供了方向。

6.1 未探索交互的枚举

• 核心列表：通过表3和表4梳理出12种未被研究的交互，例如：

  • 对抗训练（RD1）→属性推理（P3）
  • 离群值移除（RD2）→模型窃取（R3）
  • 水印（RD3）→逃避攻击（R1）
  • 指纹（RD4）→投毒攻击（R2）
  • 差分隐私（PD1）→模型窃取（R3）等。

• 共性特征：这些交互均未被现有文献系统研究，但作者通过框架推断其与过拟合、记忆化因素（如D2、M1、O3）相关。

6.2 实证验证案例

案例1：群体公平（FD1）→数据重建（P2）

1. 猜想：

   • FD1通过降低子群体可区分性（O2.2）减少数据重建风险，即$f_{\theta }^{\text{fair}}$的决策边界更难被利用来还原训练数据。

2. 实验设置：

   • 数据集：CENSUS（收入预测），使用对抗去偏训练$f_{\theta }^{\text{fair}}$，衡量重建损失（L2范数）。
   • 攻击方法：通过“影子模型”训练解码器，从模型输出重建输入数据。

3. 验证结果：

   • $f_{\theta }^{\text{fair}}$的重建损失比普通模型高11.7%（），且子群体预测分布更均衡（），证明FD1确实降低P2风险。
   • 输入属性数量（D3）越多，FD1的保护效果越弱（因属性间依赖降低）。

案例2：解释（FD2）→分布推理（P4）

1. 猜想：

   • FD2释放的决策特征（如归因解释）泄露训练集分布属性（如性别比例），即解释可用于推断 $D_{\text{tr}}$的统计特性。

2. 实验设置：

   • 数据集：CENSUS（性别比例作为分布属性），使用IntegratedGradients等解释算法，训练分类器区分不同性别比例的模型解释。

3. 验证结果：

   • 攻击准确率最高达74.09%（），模型容量（M1）越大、输入属性越少（D3），P4风险越高，验证了FD2与P4的正向交互。

6.3 其他猜想交互

1. 对抗训练（RD1）→属性推理（P3）：

   • 猜想：RD1可能通过学习稳定属性（D4）降低P3，但模型容量（M1）增大会提升记忆化，需验证O2.2（子群体可区分性）的主导作用。

2. 离群值移除（RD2）→数据重建（P2）：

   • 猜想：移除离群值后，模型可能记忆新的“关键数据”，导致P2风险上升，与P1交互逻辑类似（）。

3. 离群值移除（RD2）→分布推理（P4）：

   • 猜想：移除尾部数据会改变 (D_{tr}) 分布，使P4攻击更容易通过区分分布特性（如类别均衡性）实现（）。

总结

该部分通过框架指导猜想与实证，揭示了防御措施与风险间被忽视的关联（如FD1降低P2、FD2提升P4），不仅验证了框架的有效性，还为后续研究提供了具体方向（如探索更多交互的因果机制、扩展到生成模型场景）。

7 Related Work

该部分系统梳理了机器学习安全与隐私领域的现有研究，对比了当前工作与已有成果的差异。

7.1 现有综述与SoK研究

1. 独立覆盖防御或风险的综述

   • 已有研究（如[42,66,97,107,125]）分别对防御措施（如对抗训练、差分隐私）或风险（如成员推理、投毒攻击）进行了单独综述，但缺乏对防御与风险间意外交互的系统性分析。
   • 例外工作：
     • Strobel和Shokri [154] 探讨了成员推理与鲁棒性、公平性、解释的有限交互。
     • Noppel和Wressnegger [122] 分析了解释与逃避/投毒攻击的特定交互。
     • Chen等人 [32] 研究了公平性与隐私风险的冲突。
     • Gittens等人 [61] 分析了DP、公平性和鲁棒性的交互，但未涉及潜在因素。
     • Ferry等人 [52] 评估了公平性、隐私和可解释性的交互，但同样未深入因素层面。

2. 防御内部权衡的研究

   • 矛盾性发现：
     • 无法同时实现群体公平和差分隐私 [6,39,54]，需通过帕累托最优解牺牲准确率 [78,187]。
     • 隐私（如DP）与透明度（如解释）存在固有冲突，DP会降低解释质量 [67,123,126]。
     • 水印与对抗训练、DP存在冲突 [159]，对抗训练的梯度可解释性可能对齐透明度与鲁棒性 [135]。
   • 调和方案：
     • 设计目标函数调和对抗训练和群体公平 [184]。
     • 通过差分隐私为图像像素提供认证鲁棒性 [94]。

7.2 与当前工作的差异

1. 现有研究的局限性

   • 未将防御与风险的交互归因于底层因素（如过拟合、记忆化），缺乏统一分析框架。
   • 未系统性探索防御组合的意外副作用（如防御A降低风险B但增加风险C）。

2. 当前研究的创新点

   • 提出以过拟合和记忆化为核心的框架，通过11个影响因素（如D1-M1、O1-O3）统一分析防御与风险的交互。
   • 首次通过实证验证未探索的交互（如FD1→P2、FD2→P4），并提供指导方针预测交互效应。

总结

相关工作虽已关注防御与风险的部分交互，但缺乏对潜在因素的系统性分析。当前研究通过引入过拟合和记忆化框架，填补了这一空白，为理解机器学习系统的安全复杂性提供了新视角。

8 Discussion and Conclusions

该部分总结了研究成果，分析了框架的局限性，并展望了未来方向。

8.1 Discussion

1. 框架的完整性与扩展性

• 核心归因：过拟合和记忆化及其影响因素（如D1-M1、O1-O3）足以解释现有文献中的意外交互，但ML模型的复杂性可能存在其他未被发现的潜在原因。
• 扩展性设计：框架可灵活纳入新因素（如新兴防御或风险），通过扩展表格2和3实现，例如生成模型中的“数据复制”现象可通过D1和M1分析。

2. 指南未覆盖的交互场景

• 防御组合的复杂性：部分交互因缺乏共同因素难以分析，如：
  • 离群值移除（RD2）与投毒攻击（R2）、模型窃取（R3）的关系。
  • 差分隐私（PD1）与投毒攻击（R2）的交互受超参数影响，需进一步验证。
• 子群体影响：长尾分布中尾部数据可能不属于少数子群体，导致D2因素无法完全解释公平性风险（如歧视性行为F）。

3. 减少意外交互的实践建议

• 数据与模型层面：
  • 数据增强（D1）、平衡类别分布（D2）、特征选择（D3）。
  • 调整模型容量（M1）、优化训练超参数（如曲率平滑度O1）。
• 跨领域应用：框架可扩展至生成模型（如语言模型的数据记忆化），通过D1和M1分析隐私风险。

4. 实证验证的局限性

• 现有实验仅验证了部分猜想（如FD1→P2、FD2→P4），未覆盖所有未探索交互（如表4中的12种），需更多实证支持。

8.2 Conclusions

1. 研究贡献

• 理论框架：首次提出以过拟合和记忆化为核心的统一框架，系统分析防御与风险的意外交互。
• 文献整合：通过调查现有交互（如表3），识别出未被探索的研究空白（如表4）。
• 实证与指导：通过案例验证猜想，提供三步分析指南（G1-G4）帮助预测交互效应。

2. 未来工作方向

• 工具开发：构建软件框架系统性探索意外交互，扩展因素与风险的关联分析（如完善表2）。
• 深度探索：研究防御变体（如不同公平性算法）对交互的影响，引入因果推理验证因果关系。
• 数学建模：形式化建模交互效应，实现定量预测而非仅关联分析。

8.3 核心观点总结

该研究揭示了机器学习防御措施交互风险的本质机制，为构建更安全的AI系统提供了理论支撑，同时指出未来需在实证广度、因果分析和跨模型场景中进一步探索。