UIUC最新研究：对抗性样本是纸老虎，一出门就不好使！

雷锋网(公众号：雷锋网) AI科技评论按：众所周知，在图像识别领域，对抗样本是一个非常棘手的问题，研究如何克服它们可以帮助避免潜在的危险。但是，当图像识别算法应用于实际生活场景下时，我们真的需要那么担心对抗样本问题吗？近日，来自UIUC的一篇论文《不用那么担心自动驾驶中物体识别的对抗样本问题》给了我们解答。

论文首先提出如下观点：大多数机器学习算法对于对抗干扰很敏感，只要从图像空间中精心选取的方向增加轻微的干扰，就可能会导致这个图像被训练好的神经网络模型误分类。此外，打印出增加过干扰的图像，然后把它们拍下来，这些拍下的图像仍然会被误分类，这也证实了现实世界中对抗样本的存在。这些失误让人们意识到将机器学习应用于现实场景下时，安全是否有保障。

不过前面那些实验忽略了现实世界中物体的关键性质：相比虚拟场景下对图片单一的识别，在现实世界中，相机可以从不同的距离和角度拍下物体来进行识别。从移动观察者的角度来看，目前现实世界中的对抗样本不会对物体检测造成干扰。

他们做的一系列实验表明，实际环境下，在特定的距离和角度下拍摄的带有对抗干扰的停车标志可能会导致深度神经网络物体识别器误识别，但对于大量从不同的距离和角度拍下的停车标志的照片，对抗干扰就无法保证总能愚弄物体检测器了。

图：为了模拟真实场景，实验中把图像打印了出来。如图场景中的停车标志都能被正确识别。

他们收集了一系列停车标志的图像，然后用三种不同的对抗攻击方法产生干扰样本，同时攻击图像分类器和物体识别器。然后，打印出受到干扰的图像，从不同的距离拍成照片，并检查了不再具有对抗性的图片中原来增加的干扰的受损程度。在大多数情况下，损坏率很高，并且随着距离的增加而增加。最后，通过一个小实验表明，照片拍摄的角度也可以改变对抗干扰的影响。

为什么能正确识别大多数图片呢，他们认为原因是干扰的对抗特征对受到干扰的图片的大小比较敏感。如果只从很近的距离来进行识别，自动驾驶汽车就不能得出正确结论。另外，论文中提出了一个关键问题：是否有可能构建出这样的对抗性样本，使得它在大多数不同的观察条件下都能让机器误判断？如果可能，这种对抗特征能够对人类理解深度学习网络的内部表征模式起到巨大的帮助。如果不能，也可以预期对抗性样本的研究会止步于好奇心而已，对现实世界的危害很小。

从实验结论来看，现有的对抗性干扰方法用于停车标志的识别时（在他们的数据集和控制试验之下）只在特定场景下适用。这也表明，我们可能不需要担心多数现实场景下的对抗样本问题，尤其是在自动驾驶领域。

论文地址：https://arxiv.org/abs/1707.03501

雷锋网 AI科技评论编译。想要了解更多相关信息，请关注雷锋网 AI科技评论。

。