精读Dynamic Graph Unlearning: Gradient Transformation---论文总结

.repeat.

800人浏览 · 2026-01-11 14:39:18

.repeat. · 2026-01-11 14:39:18 发布

一. 研究背景与痛点 (Introduction)

背景： 动态图神经网络（DGNNs）被广泛应用于社交网络（如Reddit）、推荐系统等场景，因为它们能处理随时间变化的数据（节点和边的动态交互）。
问题： 用户越来越关注隐私（如GDPR中的“被遗忘权”），要求服务商删除其数据（例如删除某条互动记录）。这就要求模型不仅要在数据库中删除数据，还要从已经训练好的模型参数中“遗忘”这些数据的影响。
现有方法的局限性： 现有的图遗忘学习方法（如 SISA、基于影响函数的方法）主要针对静态图。直接套用到动态图上存在以下问题：
1. 依赖预处理： 如SISA需要重新划分数据训练，不适合已部署的模型。
2. 模型特定： 很多方法只针对特定架构（如GCN），不适用复杂的动态图模型（如基于Transformer的DyGFormer）。
3. 资源消耗巨大： 基于影响函数的方法需要计算海森矩阵（Hessian Matrix），对于大模型需要TB级的存储，不切实际。
4. 破坏模型架构： 有些方法需要修改模型结构（加层），导致推理变慢或部署困难。

二、核心方法：Gradient Transformation (梯度变换)

1、核心思路

不要直接对模型进行微调，而是训练一个“遗忘模型“，让他来告诉我们参数应该怎么改。

本文针对的场景是连续时间动态图，它的定义是：S={Go,O}，其中O = [ o1 , ... , oN] 表示关于图更新事件的观测序列。

m i = msg(si (t −), sj (t −), Δt, ei,j (t)),

m j = msg(sj (t −), si (t −), Δt, ei,j (t)),

si(t−) 和 sj(t−)：这是交互发生前一瞬间，节点 i和 j的最新状态（Embedding）。这代表了它们的“历史记忆”。
Δt：时间间隔。即当前事件时间 t与该节点上一次发生事件的时间之间的差值。这让模型能感知“多久没联系了”。
ei,j(t)：本次交互的边特征（例如：交互是“点赞”还是“评论”，或者是交易金额）。

2、工作流程

1、输入：给定一个训练好的DGNN模型和一个”遗忘请求Sul“（通常是一组需要从历史中抹去的边事件（例如：{(add edge, (u, v), time=t)}）。）

让模型表现得像这组事件从未发生过一样，同时保持对剩余数据 Sre的预测准确性。

2、计算”原始梯度“

模型首先计算针对遗忘数据的梯度，这代表了模型为了“忘掉”这些数据本能想走的更新方向。强制将遗忘请求中的边标记为“不存在”（Label = 0），计算损失函数的梯度。

这个梯度告诉我们，如果要强行让模型认为这条边不存在，参数应该怎么改。但直接用这个梯度通常会导致模型在其他任务上性能大跌（“灾难性遗忘”）。

3、梯度变换

这是论文最创新的部分。将上一步算出的“原始梯度”输入到一个专门设计的神经网络中。

变换模型 (U)：作者使用了一个两层的 MLP-Mixer 架构作为变换模型。
过程：Δθ=U(∇θ)
输入是原始梯度 ∇θ，输出是经过修正的参数更新量 Δθ。
作用： 这个 MLP-Mixer 会学习如何“纠正”原始梯度，使其在达到遗忘目的的同时，尽可能少地干扰模型对剩余数据的记忆。

4、参数更新 (Parameter Update)

操作： 将变换后得到的 Δθ 加到原始模型参数上。θnew=θ∗+Δθ
结果： 得到遗忘后的新模型。这个过程非常快，因为只需要推理一次 MLP-Mixer，不需要重新训练庞大的 DGNN。

5. 训练阶段：如何让变换模型变聪明？（Loss Function）

为了让上述的 MLP-Mixer (U) 能够输出正确的 Δθ，作者设计了一个包含四部分的损失函数来训练它（对应论文公式 11）：

遗忘损失 (ℓul)：确保新模型确实无法再预测出被删除的边（遗忘有效性）。
剩余数据损失 (ℓre)：确保新模型在剩余数据上的预测依然准确（模型可用性）。
正则化损失 (ℓreg)：限制新模型和旧模型在特征空间的分布差异，防止参数剧烈震荡。
遗忘泛化损失 (ℓulg)：防止模型对遗忘样本“过拟合”（即防止模型仅仅是记住了要对这几个样本输出0，而是真正从逻辑上遗忘了它们）。

三、创新点和不足之处

1. 存在的不足 (Limitations)

A. 面对超大规模模型时的资源瓶颈

问题描述： 论文在 第5节 (Distinction from previous studies) 中明确提到，该方法虽然比计算海森矩阵（Hessian Matrix）省资源，但仍面临瓶颈。
原因： 梯度变换模型 U的输入是原始模型的梯度 ∇θ。这意味着 U的输入维度与目标 DGNN 的参数量直接相关。如果目标模型变得非常巨大（例如具有数十亿参数的大型图模型），MLP-Mixer 的输入层和显存占用会变得难以承受。
原文引用： "it potentially faces a resource bottleneck when handling larger DGNN models in the future" (Page 6).

B. 大比例数据遗忘时的效率问题

问题描述： 当需要遗忘的数据量 Sul占训练数据总量的比例非常大（例如接近 50%）时，该方法的优势会消失，甚至不如直接重新训练。
原因： 论文在 附录 F.3 和图3 的讨论中提到，当 Sul很大时，计算梯度的开销增加，且为了平衡遗忘和保留性能的 trade-off 变得极难优化。在 LastFM 数据集上，由于事件数量巨大，其速度甚至略慢于某些基线方法。
局限性： 该方法最适合“少量、增量式”的遗忘请求，不适合大规模的数据清洗。

C. 遗忘类型的局限（侧重于边遗忘）

问题描述： 论文主要关注 链接预测（Link Prediction） 任务中的 边遗忘（Edge Unlearning）。
原因： 虽然作者在 第4节 提到“节点遗忘”可以转化为“删除该节点相关的所有边事件”，但论文并没有针对 节点分类（Node Classification） 或 图分类 任务进行深入的实验评估。删除一个核心节点对图拓扑结构的影响远大于删除一条边，目前的实验未能完全证明该方法在节点级遗忘中的拓扑修复能力。

D. 依赖辅助模型的训练成本

问题描述： 该方法不是“开箱即用”的，它需要预先训练一个辅助模型 U（MLP-Mixer）。
代价： 如果用户只发起一次遗忘请求，训练这个辅助模型的时间成本可能反而高于直接微调（Fine-tuning）。该方法的效率优势建立在“训练一次 U，处理未来多次请求”的假设上。

2. 可以改进的方向 (Potential Improvements)

针对上述不足，后续研究可以从以下几个维度进行改进：

A. 轻量化与参数高效微调 (Parameter-Efficient Unlearning)

改进思路： 为了解决大规模模型的资源瓶颈，不需要将整个参数空间 θ
的梯度都输入给 U。
具体方案：
- 子空间投影： 只选取模型中最重要的部分参数（如 Attention 层）的梯度进行变换。
- LoRA 思想结合： 借鉴大语言模型中的 LoRA（Low-Rank Adaptation），只预测参数更新量的低秩分解矩阵，从而大幅降低 MLP-Mixer 的输入维度和计算量。

B. 扩展到更多任务与复杂的遗忘请求

改进思路： 验证并增强方法在不同图任务上的通用性。
具体方案：
- 节点与子图遗忘： 专门针对“节点删除”或“社区/子图删除”设计实验。这可能需要引入图拓扑感知的损失函数，而不仅仅是预测误差损失。
- 属性遗忘： 研究如何遗忘节点的特定属性（例如：保留用户节点，但遗忘其“性别”属性以消除偏见），这在隐私保护中也非常重要。

C. 理论保证与认证 (Theoretical Certification)

改进思路： 目前的方法是经验性的（Empirical），即通过实验证明“它看起来忘了”。缺乏严格的数学证明。
具体方案：
- 结合 差分隐私 (Differential Privacy) 或 Certified Unlearning 的理论框架，推导出该方法在数学上能保证多少程度的隐私泄露边界（Privacy Bound）。

D. 跨数据集/跨模型的泛化能力

改进思路： 目前 U是针对特定数据集和特定模型训练的。
具体方案：
- 探索是否能训练一个通用的遗忘模型（Universal Unlearning Model）。例如，能否将在 Wikipedia 数据集上训练的 U迁移到 Reddit 数据集上使用？或者训练一个能同时服务于 DyGFormer 和 GraphMixer 的共享遗忘器？这将极大地提升方法的实用价值。