一、什么是对抗攻击与防御(Adversarial Attack and Defense)

• 在实际的机器学期分类器中，更多的情况是用在实际生活中，很多时候实际系统会遇到很多的干扰、甚至是人为的蓄意攻击。如垃圾邮件等，我们需要让机器判别这些恶意攻击。
• 机器训练出来的模型不光性能要强，还要能够对抗人类的恶意、攻击。
• 现阶段，各种机器学习的模型很容易被攻击，但是不容易防御。

二、对抗攻击(Adversarial Attack)

1、对抗攻击(Adversarial Attack)的分类

• 白盒攻击，称为White-box attack，也称为open-box 对模型和训练集完全了解，这种情况比较简单，但是和实际情况不符合。
• 黑盒攻击，称为Black-box attack，对模型不了解，对训练集不了解或了解很少。这种攻击和实际情况比较符合，主要也是主要研究方向。
• 定向攻击，称为targeted attack，对于一个多分类网络，把输入分类误判到一个指定的类上
• 非定向攻击，称为non-target attack，只需要生成对抗样本来欺骗神经网络，可以看作是上面的一种特例。

2、对抗攻击(Adversarial Attack)需要做什么

• 拿图像分类来说，如果我们想攻击一个训练好的图像分类器，就可以改变一张图片中的某些像素点的值ÿ