雷锋网 AI 科技评论按：Jeff Dean是谷歌首席架构师、谷歌研究院的高级研究员，也是谷歌的人工智能团队谷歌大脑（Google Brain）的负责人。身披华盛顿大学博士、美国工程院院士、ACM（计算机协会） fellow、AAAS（美国科学促进会）fellow名誉的Jeff Dean在谷歌负责过许多大型项目，支持谷歌运行的超大规模计算框架MapReduce和机器学习的标志性软件TensorFlow就是在他的领导下开发的。近两年Jeff Dean还推动了一个谷歌大脑培训生计划（Google Brain Residency Program），给对人工智能感兴趣的各界人士提供一个来到谷歌大脑进行一年进修的机会。
近日，Jeff Dean在科技自媒体Talking Machines接受采访，谈到了他的早年经历、在谷歌大脑领导的几个研究项目以及谷歌大脑培训生计划。雷锋网 AI 科技评论听译。
您是如何做到现在的职位的？
Jeff Dean：我成为一个谷歌人已经差不多17年了吧。我小时候的旅行特别多，在许多地方生活过，11年制和12年制的学校都上过。从夏威夷到波士顿、乌干达、再到波士顿、阿肯撒州、夏威夷、明尼苏达、索马里、明尼苏达、亚特兰大、日内瓦、西雅图，最后到了这儿（加利福尼亚州Palo Alto），大概20多年没挪窝，终于定居了。挺好的，我小孩的童年终于不用像我自己那样一直跑来跑去的了（笑）。
我长大之前就对电脑很感兴趣，因为我父亲是一位医生，他很感兴趣电脑能不能用来帮忙解决健康问题。所以当他在杂志封底看到当时第一台组装电脑Altair 8800的广告之后立刻就买了，那时候我才9岁，然后我就看着他折腾、帮他折腾，后来我就能自己编程了，多数是游戏，我买了一本游戏源代码的书，照着书上的往电脑里输，然后自己也开始修改；这时候我也就是十二三岁吧。
这之后我开始感兴趣电脑能不能用来解决实际问题，因为我很喜欢在电脑上可以描述解决方案、可以快速尝试得到结果知道怎么样可行怎么样不可行、可以拓展或者修改软件的这些特点，很吸引人。然后我就在明尼苏达大学读了计算机和经济学本科，当时为了获得毕业荣誉我需要写一篇高级论文，我的论文内容就是研究如何并行训练神经网络（记者：哇！！），这是人工智能第一次热潮中的热门话题。其实现在的计算机的计算能力都不完全够，那时候就更不用说了，所以用并行训练的方法就可以调用更多计算力来解决问题。那时候我想了一些好玩的算法，在64台电脑连成的集群上做流动梯度。那时候的神经网络可以用有趣的方法完成一些小任务，但是没办法用来解决真正的问题；实际上缺的就是计算能力。
然后我就先把这事儿放在脑后了，在世界卫生组织工作了一年，这算是在学校时候的暑期工作，给HIV疫情做一些软件建模预测。这算是读研读博前的一个间隔年（记者：抽时间帮联合国做事情，轻松加愉快），对，然后在华盛顿大学读计算机科学的研究生。这之后本来想根据前几年研究神经网络的经验，继续学习并行计算的，结果被别人带跑到研究词汇语言的编译器优化去了，不过也挺好玩的。
然后我就来到了Palo Alto，在数字设备公司的西部研究实验室工作了大概3年，做了很多不同的事情，这也就是我喜欢这个实验室的一点，很多不同的人在做很多不同的事情。我做过操作系统级别的解析、研究过计算机架构、做过信息提取，然后就沿着信息提取这条路逐渐来到了谷歌。
您现在在谷歌大脑这里做着各种各样新奇的事情，那您手头的事情里最吸引您的是哪件？
Jeff Dean：你知道，整个机器学习界都非常吸引人，有很多有趣的前沿研究，电脑能学会、有能力做的事情越来越多，有很多研究已经投入实用了，我们想办法把证明有效的技巧应用在更多的领域里。然后对于计算机系统，我们要能够扩大它们的规模、提高计算能力，来满足前面这些方法的计算力需求。我们还要构建合理的底层硬件平台才能达到我们现在能在神经网络、机器学习项目看到的这种结果，就是，数据越多，计算能力越强，结果就越好。那么，如何建立更强的计算能力来达到这个目标，就是最吸引我的事情，实际做的时候也会有很多惊人的成果。
棒极了。我近期看到您说您对医疗和机器人方面的应用也很感兴趣。给我们介绍一下这些方面的研究吧。
Jeff Dean：好。在医疗方面，人工智能可以实现很多现在需要由专业医生才能做到的事情。我们其实在医学图像方面早已有所投入，我们过去5年的研究就足以证明计算机视觉可以很好地解决这些问题，只要能搜集到大规模的带标签图像，然后用大规模深度卷积神经网络去学习这些图像。医学图像处理问题和其它的计算机视觉问题其实没有多少区别，我们觉得有很大机会可以做出能够帮助医生做多种医疗图像诊断的系统。
厉害！您觉得这样的实际应用什么时候会出现呢？近几年还是近几十年？
Jeff Dean：肯定不需要几十年那么久。现在的问题主要在监管、隐私、敏感信息方面，而不是技术方面。如果你有大量的带标签图像， 比如研究了很久的根据视网膜照片做糖尿病诊断，我们已经有了一些早期的结果，效果很好，很有希望，我们CEO Sundar Pichai在今年谷歌I/O大会上也简单提到过。我们觉得其它医疗图像问题的结构、复杂度都是类似的，在机器学习面前都不是难题。
棒极了！ 我听说您最近启动了一项谷歌大脑培训生计划，培训谷歌内部的或者其它背景的人。能不能跟我们讲讲这个计划进度如何了？有没有引起各种经历的人都对机器学习产生兴趣？
Jeff Dean：我们启动这个计划的初衷就是训练更多的人，让他们学会如何做机器学习研究。现在这个领域的状况是，有很多人加入进来，都对做这件事很感兴趣，不过全世界没有那么多学术机构可以让很多人学习神经网络。我们以前招过一些短期的实习生，而这个进修计划则是一年期的，面向更多的、我们也不确定有怎样的教育或者工作经历的人，不过很多人申请，大概有2400个人，然后我们第一期的进修计划班选了27个人。
我很喜欢的一点是，我们选的这些人以前的经历多种多样，40%本科学历、35%左右硕士学历，其余的是博士或者某些领域的博士后；有一半的人在业界工作过，一半的是直接从大学过来的。他们之前的领域也有好几种，三分之一是计算机科学的，三分之一是数学或者统计学，其它的人就是来自各种科学专业，比如物理学家、生物学家，还有来自医药学的，计算机金融的。所以有这么多种不同的人挺好的，以前我参与的让不同经历、不同特长的人聚在一起的项目就经常能够比只有一两类人参与的做得更多更好，因为一群人聚在一起以后就能解决很多没办法单独一个人解决的问题。
所以这个进修计划就跟目前机器学习的热潮很相符，您在做的这种来自业界的内部培训，所能提供的基础研究的环境和大学实验室是同等的。您觉得随着机器学习方面吸引人的事情越来越多，这样的做法会如何改变工业界和学术界呢？
Jeff Dean：对，我觉得这事儿挺有意思的。当你把机器学习社区看作一个整体的时候，你就能感觉到它发展得非常块。我开始是做计算机的，最近四五年开始做机器学习，然后我的感觉就是，大家一旦写好了论文就会马上把它传到arXiv上去，以免被别人抢先了（笑）；全世界每个实验室都会搜集一下本周新出的上百篇论文是哪些，快速浏览下其中有意思的，然后对它们做一些修改和完善、加一点自己的想法， 就很快又发表到arXiv上去了。那么现在大家的思考时间就是一两周，而不是以往子领域里慢得多的传统方式，你要把论文投递到会议，9个月以后论文被接收了以后你才会考虑在会议正式开始之前把论文放到网上。那时候的思考时间大概是9个月或者1年，现在就只有一两周，很震撼。
而且我发现机器学习可以影响很多很多的领域，除了计算机科学，还有很多理论研究、医疗保健、机器人等等，整体看来机器学习领域里面还有很多的东西可以挖，对人工智能基础研究和实际应用都有很大的影响。确实很厉害，可以把这么多不同背景的人聚集到一起，这也就是我们发起这个计划的初衷。明年我们还会做一期，所以现在就可以开始申请了，实际开课的时间大概是在1月份。我们希望这会是另一批很棒的参加者，心里装着有趣的点子的各种各样不同的人。
真不错。您在谷歌大脑的团队非常棒，有很多厉害的人，那有没有什么您自己特别感兴趣的课题呢？
Jeff Dean：我对机器人很感兴趣，我们在这方面的研究也非常积极。利用机器学习可以对机器人的端对端控制带来不小提升。我们先建立一个神经网络，然后有个摄像头提供输入，就可以用输出直接对机器手臂做电机的扭矩控制，不用单独的机械手控制算法什么的，直接就可以搞定手眼协调、用手臂做事情之类的任务。我们还从壁橱里找到了二十个没人用的机械臂做了一个机械臂社团，都是一个谷歌收购的公司里本来要作为产品卖的，但是后来改了路线图；我们研究员发现它们的时候特别惊喜。这样我们就有了一个“农场”，其实我更喜欢的名字是“垃圾堆”，不过最后还是决定叫它“机械臂农场”了。在这个实验室里我们就可以研究许多机器人之间的并行数据，你知道，大部分数据都会是相同的，但是有些地方会有微秒的区别，比如摄像头不一样、摄像头的位置不一样，有的摄像头没有精确校准到肩膀以上一定的位置 – 我不知道还能不能把那里叫肩膀。 （记者：那就叫“关节”吧）这样能用真实的机器人做实验就很好；同时我们也在积极研究机器人模拟器，就是即便你有20个机器人，能做的实验也还是比较有限的。这事儿就挺让人激动的。
我们还有很多别的让人激动的事情，语言理解、计算机视觉，我们在改进机器翻译方面也下了很多功夫，（记者：谷歌神经机器翻译系统，Google Neural Machine Translation）对，很棒的，我们刚刚发了一篇很好理解的论文到arXiv上，而且还有第一个正式的语言对：中文到英文和英文到中文现在都上线了，未来几周到几个月的时间里我们还会上线更多的语言对。相比以前基于词汇对的概率翻译模型，翻译质量得到了巨大提升；现在的系统用的是神经网络，端到端训练的，语言之间转换又轻松又好看。
那么下一步是把人类所用的所有语言都添加到里面，还是继续提升翻译质量？
Jeff Dean：我们关注的事情有好几件，谷歌翻译这个产品支持的语言翻译已经有上万种 – 上百种语言中的一种到上百种语言中的另一种，所以让翻译系统支持所有的语言是最终的目标之一；不过我们同样关心如何提升翻译质量，我们有很多的好想法，有可能在目前的提升的基础上再跨越一大步，我们自己也很期待。 我们小组的研究员和翻译产品团队之间的合作也非常愉快。
您的小组最近有一篇论文我很感兴趣，主题应该是“监督学习中的公平机会”，我理解它好像是关于继承性歧视的。能详细讲一下吗？
Jeff Dean：当你给机器学习模型输入很多数据的时候，它能够识别其中的模式，有一些结果是我们想要的、有用的，但是有一些结果只是真实情况的客观反应，而不是我们想看到的样子。那么这项研究的核心点是，一个经过训练后的机器学习系统会有不同的行为，有没有可能根据它的行为来矫正模型，这样不管这个系统是如何训练出来的，都能让它保持公正，比如不管什么肤色都有一样的机会获得贷款，即便机器学习系统可能会把其它的属性和肤色联系到一起从而导致肤色影响获得贷款的可能性。我觉得这个问题挺重要的，如何让机器学习系统具有我们想让它们拥有的特质，比如公平、无偏见。论文里采用的方法我很喜欢，任意一个机器学习系统都可以在最后额外增加这个保证公平的算法，而不是只能跟某一两种机器学习系统紧密联系起来。
学术界和工业界对其它一些道德问题有没有想到什么能够做成系统一部分的方法呢？
Jeff Dean：我们几个月前也发表过另外一个方面的成果，跟UC伯克利、斯坦福和一些OpenAI的人一起做的，是关于人工智能安全中的实际问题的。不过这个就是安全问题而不是道德问题了。我觉得人们经常谈起对计算机取代人类的恐惧，一开始我觉得大家担心这种事情担心得太早了、太偏了，没什么道理；不过我现在觉得近期确实会有一些具体问题是需要我们研究和改善的，要改进或者想办法对机器学习系统的行为加以限制。即便它们是用数据训练出来的，但是当它们遇到来自分布与训练集不同的数据的时候，我们也要保证它们的行动也都安全、合理。这篇论文提出了五六个这种问题，这个问题就是其中一个。在我们看来这些就是具体的研究方向，它们迟早会变成真正的问题，我们要抓紧行动起来。对于真实世界中的机器人、接触人类的机器人，这些问题就会得到体现，我们希望它们能安全行动，不要伤害别人，不要因为是用成人的数据训练的就会把小孩踩在脚下，所以我们就要提前考虑、想到稳妥的办法预防这些问题的出现。机器学习社区应该多考虑、多研究这些问题。
您曾经提到过一个机器学习社区内部的问题，就是对于这些学习计算机的、做研究的人来说，性别比例和少数族裔比例并不理想。您觉得有什么好办法让更多的人学计算机、让更多不同的人参与思考和研究呢？
Jeff Dean：这件事也是我非常关心的一件事。从我个人在许多不同地方长大、能看到许多不同来历的人的经历来说，我希望学习计算机科学的人的比例能反映出全世界的人群多样性，而不仅仅是其中少数拥有这些机会的人的状况。我觉得很重要的是要代表全世界范围内研究这个领域的人的多样性，我们鼓励女青年学习计算机科学，而不是在高中时候就被同班的男同学说“你不应该学数学”。我们要想一些更广阔的方法，把它看作涵盖了整个教育过程、需要我们以很多不同的方法参与解决的问题；种族问题和社会地位承认的问题也一样。有的人家里没有机会买电脑，中学也没有，没有机会玩或者研究，那么他们即便想学习计算机科学也会处于劣势；他们甚至可能意识不到自己需要学习计算机。我觉得想办法让这些人能够接触到计算机就是一件重要的事。
您在TensorFlow当中参与很多，它差不多改变了一切。那么您对TensorFlow的未来有什么打算？
Jeff Dean：TensorFlow一开始是为了我们的内部研究和机器学习生产需求开发的开源系统。从一开始我们就决定要把它开源，所以花了9个月才做出我们自己觉得满意的初始版本；到现在已经开源了差不多一年了。我们都在准备蛋糕和蜡烛要开party庆祝开源一周年了（笑）。
我们一开始决定开源有这么几个原因，其中一个原因是，如果我们能够拿出与论文中所做的事情相符的算法实现，那么就可以复现我们的结果。因为你知道写技术论文的时候会省略掉很多细节，比如我们如果在论文里写“我们选用了较低的学习速率”，那读者就会问“较低的学习速率具体是多少？”那么我们就觉得通过做出一个可重复的产品，可以加速科学到知识的转化，而不仅仅是往arXiv上传论文。第二个原因是，我们自己内部觉得这可以让整个社区获益，这样的系统可以让算法的研究和生产实现用同一个系统完成，不用由于负载提升了就重写整个系统，这件事会变得简单得多。而且我们还希望它有一定的便携性，可以在数据中心或者台式机的GPU上训练算法，然后在手机的应用程序里运行同一个算法，这样手机也就可以从深度学习受益了。
我们现在就基本达到了这些目标，而且我们在初始版本发布后的几个月里还发布了一个分布式版本的TensorFlow。我们下面会开源一个连接到系统的编译器，这样就可以对TensorFlow图中的一部分节点做计算、生成优化代码，而不需要做整体的矩阵乘法或者比例操作，类似这种，我们觉得这对性能有很大的改进；还有很多别的好处。我们现在还在考虑具体的细节，等到我们把这部分代码开源出来的时候肯定很让人激动。社区成员们一直在想办法拿出越来越有用的模型，它们可以有效地解决各种各样的问题，我们也会好好写好文档，TensorFlow一开始受到欢迎，就跟我们的入门教程有关系，我们不仅展示和描述了机器学习的思路，而且也解释清楚了如何在TensorFlow中实现这些方法。这样用的人一看就知道要怎么建立自己的模型了。
所以结果的可重复性也是机器学习方面的一个重要问题，尤其是有越来越多的人对机器学习感兴趣，arXiv也一直推进这方面发展得非常块。学术界和工业界还需要做什么提高可重复性、可持续性的事情，来让大家能够跟上发展的脚步吗？
Jeff Dean：我觉得有一件事是，希望大家有更多的标准数据集可以选择用来做自己的研究。还有就是，当我们看到别人发表的具有可重复性的算法实现的时候，理想状况下，按下开始按钮，几小时或者几天以后就会得到一个和论文里的某个表格里一样的结果，感觉起来很顺畅，不过我们还要更努力才能达到这个目标，这样也对整个社区更好。
（完）
via The Talking Machines，雷锋网(公众号：雷锋网) AI 科技评论听译
相关文章：
谷歌大脑的2016实现了哪八个小目标？Jeff Dean亲自撰文回顾
Jeff Dean解析谷歌大脑中的深度学习工作以及TensorFlow的前世今生 | AI Frontiers
。
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/126528.html