黑客王琦：教会人工智能骂脏话，是黑掉它的第一步（附演讲全文）

王琦深鞠一躬，台下掌声回荡。

【王琦】

受访、演讲 | 王琦，花名大牛蛙，GeekPwn 创办人。

文 | 史中，雷锋网(公众号：雷锋网)主笔，希望用简单的语言解释科技的一切。

GeekPwn，这个中国最著名的黑客大赛落幕。中国顶尖的黑客用一场场破解秀填满了剧场，而剧场坐落在这艘游轮中，游轮飘荡在南中国海。

黑客王琦曾经一手创办了微软中国应急响应中心，又拉起了名震江湖的 KEEN Team 安全研究团队。四年前，他立志要做中国最酷的黑客大赛，要让那些曾经因为买不起车房而遭受岳母白眼的黑客们找回尊严。为此，他改组了如日中天的 KEEN Team。

在智能硬件炙手可热的时候，黑客在 GeekPwn 上一次黑掉数十枚摄像头，让他们随着口令摆动窥探。这些摄像头的舞蹈如一个浅显的寓言，然而却一语成谶——两年之后的2016年，黑客控制几十万摄像头攻击了美国沿海地区，半壁国土断网数小时，造成20亿美元损失。

被无视几乎是先驱的宿命。更何况，他们只是在硬件厂商眼里的一帮搞“鸡鸣狗盗”的黑客。

但这不要紧，你在各种媒体上看到的王琦，永远是双眼放光，嘴唇微张，一手持话筒，一手指向空中，不激动也不潦草。他似乎还远没有气馁，而就在今天谢幕之前，王琦不急不缓地走上舞台，说出了也许是这次 2017 GeekPwn 年中赛最精彩的一个预言。

AI 将会成为黑客攻击的对象，AI 将会成为黑客攻击的武器。

以下是王琦的演讲全文，雷锋网做了不改变原意的精编：

我们先做这样一个测试（看PPT图片）。左边是一只猫，右边有两句话。如果你看到这张图你会怎么理解？你问一个人还是一个机器会得出不一样的答案。

小明：我不是很确定，但是我认为碗里是一只猫。

小花：乍一看，我以为是一杯卡布奇诺。

右边这两句话分别是我们输入这个图片以后，人和人工智能机器说的。你们认为小明是机器人，还是认为小花是机器人？

我公布一下答案，其实小明是机器人。因为在这个判断里面，小明没有经过图灵测试。

为什么要提到这一点呢？我们 GeekPwn（极棒）现在在AI 领域，主要是视觉这一块做了一些事情。本来今天的项目里面有一个“无人驾驶汽车攻击”——如何让无人驾驶汽车识别一个错误的东西，不过很遗憾这个项目在比赛前两天选手选择了退出。

我想跟大家说，我们现在提出的 AI 安全挑战是面临争议的。

计算机视觉发展了这么多年，很难。到现在来说也发展得并不好。为什么计算机视觉这么难？

▲上图为一家人躺在沙发上的图片

从1956年开始，最早人们做计算机图片识别的时候，机器只是懂得0和1，读像素还是用数字。比如说这张图，我们看到旁边是沙发的边缘，但是当时对机器来说就很难；让机器标注出来这是一只狗而不是沙发靠垫，更难。正常人看到这个图片是一家人看电视，但是 AI 理解不到这一点。如果我们提一个问题，计算机你看到什么了？你看到前面的小屁孩衣服是什么颜色？它就更难去做了。

现在计算机视觉识别在标注方面不错了，发展得非常迅速。知道哪个是狗，哪个是人了。之所以计算机视觉在 AI 发展里面扮演这么重要的角色，因为人的大脑70%的信息都是来自于视觉。

▲谷歌猫

这其中必须要提到一点的是谷歌猫的事情。借助“谷歌大脑”，在没有任何培训和指令的情况下，就可以利用内在算法从海量数据中自动提取信息，学会如何识别猫。也就是说，2012 年谷歌计算机已经实现了无标签的输入。2012年到2014年这个时期内，计算机视觉识别率也一直提升，2012年27%的错误率，2014年只有3.5%的错误率，而同样条件下人的错误率是4%。也就是说现在 AI 识别图象的能力基本和人相当。   

这其实就是完全借助了深度学习的方式。深度学习这是一个统称，包括像阿尔法狗，卷积神经网络都用了深度学习其中的一个模型。

谷歌猫使用了深度学习技术

这是特斯拉最新的自动驾驶，它标注车、物体都非常地准确，这是非常令人兴奋的应用。但是站在黑客的角度，我们想到了一些事情。大家知道在极棒现场，包括我们安全领域都是在黑掉汽车方面做过一些事情的。

但是，我们黑掉一个 ATM 机和黑掉一个 PC 没有什么区别；我们黑掉无人机和手机也差别不大。我们能否有更酷的方法？你可以看到这辆车行驶的过程中旁边有一个穿白衣服的人。成熟的系统当然认为那是一个人，但是不是我们能够欺骗它，让它认为是一个树桩或是消防拴？如果有人能这样黑掉的话，我特别欢迎。2016年的时候，极棒美国硅谷专场的时候有专家在这方面做了一些研究。

我们调查的时候发现，做 AI 的人对安全的了解不太多，做安全的了解 AI 也不太多。我们去年找到了在谷歌工作的Ian Goodfellow，他验证了我们的想法，他现在做出的这个结果和我们想要的结果类似。我们发现其实人工智能的模型都非常类似：通过大量的学习样本，深度学习作出决策，这是人工智能的学习方法。于是我们挖漏洞的过程就是：

生成大量的样本，交给软件，改变数据流程，最后导致一个错误的决策。

通过这样一个模型，Ian到我们的现场展示了另外一个东西。他在一个离线的状态下，利用了猜测机器学习的过程。

人眼看到的这是一只狗，随便掌握人工智能的系统都可以把它识别成一只狗。

但是这个图经过修整，就骗过了很领先的识别系统，很多系统坚持认为这是一只鸵鸟。

还有一个这张噪点图片，识别系统坚持认为它是一只熊猫。

除了图像识别之外，语音识别同样有这样的威胁。

去年微软推出了人工智能聊天机器人。但是，刚推出一天它就开始说脏话。在它学习了半天的时候，看到很多人跟它说脏话，它认为这是人跟人之间正常的交流沟通方式。

▲微软的聊天机器人 Tay

所以我觉得，到了人工智能时代，人人都可能成为黑客。互联网时代的代表是搜索引擎，搜索结构被污染还是需要技术的，但微软机器人被污染不需要技术和代码，只需要你对它说脏话。

我一直把现在攻破的智能设备很不客气定义为伪智能，它只是替代了我们的手和脚，还不能代替思考。弱智能时代总有一天会变成强智能、超强智能时代。那一天来临的时候，是不是要让它安全的为人类服务呢？

刚才我说了图象和语音，其实我还想再举个例子。

▲上图为人打掉机器狗正在搬运的东西， 通过各种“虐待”来提高机器狗的运输可靠性和反应能力。

大家知道这个波士顿动力出的机器狗。波士顿动力是不同于图象和语音的智能，这是一种行为智能。行走的过程中学习生物保持自身平衡。

看看这个机器狗是怎么被训练的。用脚踹让它维持平衡，为难它。大家也许觉得这个人很恶心，机器狗很可怜。但我们从黑客的角度看到了就脊背发凉。如果这个机器人觉得踹一脚或是给别人一拳是正常的呢？

▲超能查派

有一个电影《超能查派》，这个小机器人刚做出来就被劫匪抢了，他出来以后觉得戴着粗金链子拿着这枪抢钱是正常的工作。我希望如果时代的发展，从伪智能到弱智能到强智能。真的走到哪一天，我们有义务让 AI 为我们安全地服务。

也许有人认为我是杞人忧天，但我认为恰恰相反。

AI 的决策错误现在通常被理解为仅仅是错误。但是安全领域里的经验告诉我们：现在的安全漏洞在很多年前也仅仅是错误，用黑客思维理解，就会明白很多错误其实就是可以利用的漏洞。

有人认为黑客思维对 AI 没有实质性帮助，我认为恰恰相反。

AI 之父图灵在二战的时候，也就是提出“机器会思考吗”的十年前，也是一名典型的黑客角色。黑客的逆向思考可能会帮助当前 AI 正向模拟神经网络中遇到的困难。

今年10月24日极棒大赛的时候，我们会公布新规则。有两个部分，一个是PWN  AI，一个是AI  PWN。左边是把人工智能干掉，也就是欺骗；右边是用人工智能干掉一些东西。

2014 年有个人在美国 Blackhat 上公布一个技术，在几十米外看到一个人输入密码键盘，从行为上就可以判断出他输的密码是多少。他的论文没有用到人工智能的部分，于是我们和人工智能的专家进行了沟通，如果输入一堆密码，通过机器学习的方法判断我输入的是什么密码——无论是单指是双指输入——去破坏掉安全，我们也欢迎这样的黑客。

如果我们利用自己的特长，能够未雨绸缪提前做一些事情，帮助 AI 正常的发展，非常有意义。这一步可能走得有点早，但我觉得只要走得早，一定有大收获。

小结

王琦觉得，“脑洞大开”是黑客大赛的使命。

为此，他已经把战场搬到了在公海飘荡的游轮之上。

王琦回忆起第一届 GeekPwn 破解秀，在彼时用各种姿势攻破智能硬件可谓奇思妙想。但他坦诚地告诉雷锋网：

近些年 GeekPwn 上的项目确实创新不足。中国黑客在智能硬件上最 Low 的漏洞都可以超越美国人一大截，但大多都局限在“命题作文”。如果不去提示，很多人就不会去尝试新的破解领域。所以，十月的 GeekPwn 大赛我准备把主场放到美国，在中国我也要去主动划定新的研究目标。

带领一帮本身就领先于时代的黑客们去尝试，未尝不是一件辛苦的事。但这几乎是他唯一的使命和选择。

据此，AI 可能就是 GeekPwn 的下一个靶心。

本文作者史中（微信：Fungungun），雷锋网主笔，希望用简单的语言解释科技的一切。

。