人工智能模型安全

约 273 个字 预计阅读时间 1 分钟

对抗攻击:在输入识别样本中人为故意添加若干人类无法察觉的细微干扰信息,导致模型以高置信度给出错误的识别结果,这一攻击人工智能模型的行为被称为对抗攻击

对抗样本生成:$$ \text{Minimize}\Vert\delta\Vert_2\quad s.t.f(x+\delta)=y',x+\delta\in[0,1]^m $$ L-BFGS:$$ \text{Minimize} c|\delta|+L_{CE}(x+\delta,y')\quad s.t.x+\delta\in[0,1]^m $$ 其中\(L_{CE}\)为交叉熵损失函数

FSGM:$$ x'=x+\delta=x+\eta\cdot\text{sign}(\nabla_xf(x)) $$ PGD:$$ x'_{k+1}=\text{Proj}\set{x_k'+\alpha\cdot\text{sign}(\nabla_xf(x_k'))} $$ 黑盒攻击:攻击者可以自己训练一个替代网络,利用可访问梯度的替代模型生成对抗样本,并借助对抗样本在不同模型的迁移性实现对原始模型的攻击

数据投毒:

  • 标签反转投毒
  • 干净样本投毒攻击
  • 后门攻击:增加后门触发器

防御:

  • 测试阶段防御
  • 训练阶段防御

隐私保护:

  • 差分隐私
  • 同态加密
  • 安全多方计算