代码PyTorch数据集Matt Fredrikson, Somesh Jha, Thomas Ristenpart. Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures.文章mi-ccs.pdf理论讲解更好(82 封私信) [论文阅读系列2]Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures - 知乎前言联系FREDRIKSON 等人的攻击Fredrikson 到底做了什么1.模型反演模型萌芽 2.提出了模型可能会记住部分参数但是否具有泛化性不清楚。不足之处1方法是通过决策树信息将输出信息ymodel-x,但是y采用线性输出在高维方面表现不足 2.使用map估计器是一种概率估计器表现不佳。我们首先回顾 Fredrikson 等人针对小取值域敏感特征提出的通用模型反演攻击。Fredrikson 等人研究了一个用于预测 Warfarin华法林初始剂量的线性回归模型。输入包括病人的人口统计信息、医疗史以及遗传标记。把敏感遗传标记设为第一个特征 \(x_1\)。攻击者拥有模型 \(f\) 的白盒访问并知道该患者的其他特征以及真实剂量 \(y\)希望推断出 \(x_1\)。算法假设辅助信息中包含一个高斯误差模型 err 的经验标准差 \(\sigma\)以及各特征的边缘先验 \(p(p_1,\ldots,p_t)\)。对每个候选的敏感值 \(v\)1. 构造完整输入\[x(v,x_2,\ldots,x_t);\]2. 计算\[r_verr(y,f(x))\cdot\prod_i p_i(x_i);\]3. 返回使 \(r_v\) 最大的候选值。直观地说这个算法尝试每一个可能的敏感属性值并计算“如果这个值是真的那么我们当前观察到的其他信息有多可能出现”。高斯误差模型会惩罚那些导致预测结果远离真实 \(y\) 的候选值。该算法给出了在现有信息下偏差最小的 MAP 估计因此能够最小化攻击者的预测错误率。原论文只在 Warfarin 剂量预测上评估了该攻击结果显示其预测遗传标记的准确率接近于直接使用原始数据训练的线性模型。这个算法实际上是黑盒的并不依赖 \(f\) 的具体实现因此可以应用到非线性回归或其他模型上。如果有多个未知特征也可以枚举它们的所有组合。但其局限也很明显如果未知特征的取值空间巨大就无法枚举。例如本文后续人脸实验中的输入维度约为 10,304每个特征又是 \([0,1]\) 上的实数即使只推断其中一部分像素也会不可计算。此外后文还会说明即便枚举在计算上可行这种方法也不一定有效。简单来说FREDRIKSON 等人的攻击任务是当时他们对Warfarin华法林药剂初始剂量的一种分析例如模型正向训练x 身高180cm体重88kg是否有类似疾病True预测pre_y modelx得到预测的pre_y5.0mgx1 身高未知体重88kg是否有类似疾病True将pre_y1 model(x1)因为x1中的身高是未知的可以进行遍历所有身高170cm 181cm 190cm分别得到pre_y1(4.7mg, 5.1mg, 6mg), map的任务就是将pre_y1和pre_y做差-0.3mg 0.1mg1mg其中5.1mg和原始的更接近所以可以任务这个病人的身高是181cm这个例子的随便举的为什么是181cm而不是准确的180cm因为模型反演不是照本宣科的直接复制信息而是通过概率来进行学习。模型反演攻击面部创新点本文作者做了什么我分析的主要是人脸识别项目提出最nb的观点:训练集的数据和训练的时候产生模型辅助信息可能会被模型model当成部分参数记住。 1.将Fredrikson 的线性输入y-变成更高维的输入 2.建立的信息的模型 y姓名 model - x图片3.不在使用map概率分类器使用了softmax 分类器、多层感知机MLP和堆叠去噪自编码器stacked denoising autoencoder, DAE4.给定一个模糊图片是否可以复原的更清晰。注意作者并不是将模型的图片复制出来而是通过向模型问答来补全输入y的像素。工作人脸识别模型输入一张包含人脸的图像并输出与图像中人物对应的身份标识。它们被用于身份认证、安全与执法、增强现实、照片整理等任务。本文研究两种针对人脸模型的 MI 攻击二者都假设攻击者能够访问训练好的模型但不能访问原始训练数据。重建攻击reconstruction attack攻击者知道模型中的某个标签例如一个人的姓名或唯一标识希望生成一张能够被识别为该人的脸。若攻击者能够根据恢复图像从候选人中识别出受害者则攻击成功。去模糊攻击deblurring attack攻击者拥有一张被故意模糊的人脸图像希望恢复该人的身份。攻击者把模糊图像作为辅助信息执行一系列 MI 攻击以生成更清晰的人脸。若原图是为了匿名化而被模糊则这种攻击会破坏匿名性简单来说重建攻击是攻击者在一张完全黑色的图片上通过label和置信度进行反演工作以达到恢复图片。去模糊攻击是攻击者在一张模糊的人脸图片上通过label和置信度进行反演使图片清晰化。MI-FACE过程图根本算法这里要反演的特征是整张图像的像素向量每个像素是 \([0,1]\) 范围内的浮点数。攻击者不知道任何像素的真实值因此这一问题与前文的离散属性反演有本质差异。设图像有 \(n\) 个特征模型有 \(m\) 个人脸类别。把人脸分类器表示为\[\tilde f:[0,1]^n\rightarrow[0,1]^m.\]输出是一个概率向量第 \(i\) 个分量 \(\tilde f_i(x)\) 表示输入属于第 \(i\) 类的置信度。本文使用梯度下降最小化一个关于 \(\tilde f\) 的代价函数从而进行模型反演。若最近 \(\beta\) 次迭代没有进一步降低代价或者满足阈值停止条件则终止并返回代价最小的候选。这里- \(AuxTerm\) 用于引入特定攻击场景的辅助信息- \(\lambda\) 是梯度步长- Process 是后处理函数可执行去噪、锐化等图像操作。MI-Face 需要计算 \(c\) 对输入的梯度因此需要计算 \(\tilde f\) 的梯度。这要求模型可微。梯度可以手工推导也可以通过符号计算自动求得。本文实验使用后者。简单来说前提人脸识别模型训练完毕模型参数冻结我们不是为了更新模型而是从模型中得到信息。流程输入一个纯黑色图片112x92使用torch.zeros()实现根据输入的label人名判别属于的类别模型会输出相应的置信度如图step3根据置信度$f_(target)(x)$,计算代价函数代价c越低越好黑色图片的像素点112x92个根据梯度分别进行改变使其置信度提高。目标任务重建攻击第一个具体攻击称为 Face-Rec。攻击者知道某个模型标签希望重建一张能够让人识别出该标签对应人物的脸。在这一场景中攻击者没有目标标签之外的额外辅助信息因此\[AuxTerm(x)0.\]实验设置\[\alpha5000,\quad\beta100,\quad\gamma0.99,\quad\lambda0.1.\]对于 Softmax 和 MLPProcess 直接返回输入。对于堆叠 DAE使用专门的 Process-DAE1. 把当前潜在表示解码回像素空间2. 使用 NL-Means 去噪3. 锐化图像4. 再编码回潜在空间。实验发现这一处理能够显著减少最终重建中的噪声增强可识别的视觉特征并让像素强度更接近训练图像。Softmax结果展示MLP结果展示DAE结果展示防御本文的人脸攻击都依赖梯度下降因此一种自然的防御思路是降低攻击者能够从模型输出中恢复到的梯度信息的质量或精度。在白盒场景中如果还要保留模型正常效用很难直接隐藏梯度。但在黑盒场景中可以降低 API 返回置信度分数的精度。本文对 softmax 模型的输出置信度进行舍入然后重新运行黑盒重建攻击。测试舍入粒度\[r\in\{0.001,0.005,0.01,0.05\}.\]当 \(r0.1\) 时攻击甚至无法生成有效图像。“不舍入”则使用原始 64 位浮点置信度计算数值梯度。即使只舍入到 \(r0.05\)攻击已经无法生成可识别的人脸。这说明黑盒人脸识别系统可以在继续提供有用置信度信息的同时通过限制置信度精度来提高对重建攻击的抵抗能力。评估对 ATT 数据集中的 40 个身份标签逐个运行攻击然后让 Mechanical Turk 工作者观察一张恢复图像并从五张真实候选脸中选择与其对应的人也可以选择“候选中不存在该人”。每批实验运行三次以研究不同参与者之间回答的一致性。展示给参与者的候选图像来自验证集而不是训练集。80% 的实验中五个候选人中确实包含攻击目标10% 的控制实验直接展示真实数据集图片而不是 MI-Face 生成图像。- overall无论目标是否出现在候选中只要参与者给出正确答案都算正确- dentified目标确实出现在候选中并被正确识别- excluded目标不在候选中参与者正确选择“Not Present”。a 对所有回答求平均b 要求三名用户中至少两人答对才算该实例正确。Softmax 生成的图像质量最好总体正确率约 75%目标身份识别率最高达到约 87%。其恢复图通常具有比较锐利、可识别的特征MLP 只生成较淡的轮廓DAE 更模糊。无论哪种模型攻击都明显优于随机猜测。若从六个选项中随机选择正确率不到 20%。