阿里“NASA”首个重磅武器亮相：机器学习平台PAI2.0 | 云栖2017深圳

雷锋网(公众号：雷锋网)AI科技评论按：3月29日，阿里云在云栖大会·深圳峰会上重磅亮相了阿里“NASA”首个武器——机器学习平台PAI2.0 ，而后阿里云首席科学家周靖人做了《ET 智慧工厂- 阿里云机器学习》的主题演讲。文末附雷锋网整理的阿里云人工智能科学家闵万里对于PAI平台的采访问答。

阿里“NASA”首个重磅武器亮相：机器学习平台PAI2.0：

• 全面兼容TensorFlow、Caffe和MXNet深度学习框架

• 集成100余种算法组件

3月29日，阿里云在云栖大会深圳峰会上正式发布机器学习平台PAI2.0。相比1.0版本，PAI 2.0有多项重大更新，除增加了100余种算法外，更重要的是对主流深度学习框架TensorFlow、Caffe和MXNet的全面兼容。

3月初，阿里巴巴董事局主席马云宣布启动内部代号为“NASA”的计划，将面向未来 20 年组建强大的独立研发部门，建立新的机制体制，为服务 20 亿人的新经济体储备核心科技。 同时，马云还动员阿里巴巴全球两万多名工程师投身“NASA”计划。在技术大会上，机器学习、芯片、IoT、操作系统、生物识别被明确提及，智能化的产业基础和应用被放在了突出位置。

两年前，阿里云对外发布国内首个机器学习平台PAI。此次版本的重大升级，标志着阿里云在构建AI核心技术能力上又进一步。据悉，阿里“NASA”计划将为PAI平台使用者提供强大的技术后盾。 

此次PAI2.0的重大升级主要包括以下方面： 

1、全面拥抱开源 

PAI2.0编程接口完全兼容深度学习框架：Tensorflow、Caffe以及MXNet，用户只需要将自己本地编写的代码文件上传至云端就可以执行。

Tensorflow、Caffe和MXNet是目前全球主流的深度学习开源框架。Tensorflow开源算法和模型最丰富；Caffe是经典的图形领域框架，使用简单；MXNet分布式性能优异。

对于底层计算资源，PAI2.0提供了强大的云端异构计算资源，包含CPU、GPU、FPGA。在GPU方面，PAI2.0可以灵活实现多卡调度。

借助这些框架以及强大的计算资源，用户能非常方便地就可以将计算任务下发到对应的分布式计算机群上，实现深度学习模型训练与预测。

2、更丰富的算法库

 PAI2.0提供100余种算法组件，涵盖了分类、回归、聚类等常用场景，还针对主流的算法应用场景，提供了偏向业务的算法，包含文本分析、关系分析、推荐3种类别。

“算法全部脱胎于阿里巴巴集团内部的业务实践，所有算法都经历过PB级数据和复杂业务场景的锤炼，具备成熟稳定的特点”，阿里云首席科学家周靖人说。

3、支持更大规模的数据训练

PAI 2.0 新增了参数服务器（Parameter Server）架构的算法。不仅能进行数据并行，同时还可将模型分片，把大的模型分为多个子集，每个参数服务器只存一个子集，全部的参数服务器聚合在一起拼凑成一个完整的模型。

其创新点还在于失败重试的功能。在分布式系统上，成百上千个节点协同工作时，经常会出现一个或几个节点挂掉的情况，如果没有失败重试机制，任务就会有一定的几率失败，需要重新提交任务到集群调度。PS算法支持千亿特征、万亿模型和万亿样本直至PB级的数据训练，适合于电商、广告等数据规模巨大的推荐场景。

阿里云首席科学家周靖人说，在过去的一年时间里我们协助客户落地了多项重大的人工智能应用。但人工智能要想真正成为成为普惠科技，需要一款更加通用的生产工具。PAI2.0正是为此而生。

人工智能综合了多门学科的技术，对人才要求极其高，除了懂统计学中各种复杂的机器学习算法，还要懂实现逻辑以及分布式架构理论。PAI可以大幅的降低人工智能的门槛以及开发成本。

从操作界面来看，PAI没有繁琐的公式和复杂的代码逻辑，用户看到的是各种分门别类被封装好的算法组件。每一个实验步骤都提供可视化的监控页面。在深度学习黑箱透明化方面，PAI也同时集成了各种可视化工具。

PAI的基础设施和计算框架建立在阿里云飞天计算平台之上，通过云的模式大幅降低了计算成本，支持MR、SQL、MPI、PS、GRAPH等多种分布式计算框架，对于底层的CPU和GPU计算机群可以灵活调用。

两年时间里，PAI在阿里巴巴内部已经被广泛使用。以淘宝搜索为例，搜索结果会基于商品和用户的特征进行排序。通过使用参数服务器，淘宝可以把百亿个特征的模型，分散到数十个乃至于上百个参数服务器上，打破了规模的瓶颈。

在阿里云的客户当中，广东省气象局对PAI的使用最具代表性。他们使用PAI对临近预报(0-3小时内)的降雨量进行建模预测。通过拖拽操作就完成了数据清洗、特征工程，非线性机器学习算法训练以及结果评估的工作。

PAI还被应用在各种前沿科技领域。华大基因联合阿里云科学家，正使用PAI对肺腺癌患者基因进行分析，试图寻找到导致肺腺癌病发的关键基因突变。

雷锋网将现场就PAI平台对阿里云人工智能科学家闵万里的采访整理如下：

提问：各所之间都是一个小数据库在里面，但是同时，它又想享受整个链条的东西，所以整个过程当中，比如说三汽重工跟阿里云合作以后，通过智能总结分析，阿里是承诺我们只把三汽重工用于三汽重工上，但是它的同行共性的部分，共性的东西通过阿里公共云服务来做？

闽万里：这一点很重要，就取决于配方共用到什么程度而且又是隐私的，用什么工具方法论，比如说PAI2.0的哪一些函数找最优配方，我把我找这个最优配方的工具组合，用了什么类型的数据，用了多少的数据配合起来，数据是你的，是他的还是他的，自己去搞。有一点像打猎，第一步是在哪里？把这些东西抽象出来。最后成了一个什么呢？形象全行业的解决方案，就是怎么找到给你这一台机器的东西。怎么找到你这一台机器的东西。这因为量身订作。

商业上来说，这个难度很大，但是这个行业你做成龙头企业，那就非常厉害了。因为毕竟它智能机器和过程这一块是大有可为，在协鑫光伏做了以后，我在中测那边只用了一个月，在协鑫光伏那边用了六个月。为什么呢？因为到协鑫光伏做的东西抽象出来跨行业还能用，为什么能跨行业呢？因为这九及行业都有一个共同形成，流程制造，一环扣一环，所以我们做成了抽象，然后做出来的东西就有可复制性，我的编辑成本就越来越小。

提问：现在PAI在NASA体系中的重要性如何？

闽万里：我们希望它对NASA的体系影响越小越好，打一个比方说，比如说今天我要灯上火星，如果你的技术深度依赖某一个火箭就出问题了，可能这个火箭没有跑到那个地方就会出问题，任何一个这么大的战略规模都不能依赖于某一个产品甚至是某一组产品，因为它也有可取代的东西，事实上讲，没有不可取代的东西，我从技术的角度，负责任的角度是这样讲。但是目前的这个情况下，PAI是我们内部的工程师自己去经常用的东西。

提问：PAI2.0是首次对外开放吗？ 具体开源到什么程度呢？

闽万里：1.0模式主要是自己在用，我们都是不断的在演化不断在做。就像我刚才讲到PAI2.0和NASA来说是微不足道，开源手段来说也是微不足道的，就是一定不是在一个平台上来做，所以我觉得更加重要我们的贡献是什么呢？我们要告诉大家有了好的人工智能可以产生积聚的价值。今天有一个武功秘籍，你可以去做各种各样的事情。你有了这些功能以后，你朝这个方向走会产生价值，而且能够可执行，可以产生。这样的力量。这个对于我们来说是客户价值。谈到协鑫光伏这个案例，我不会说我们用PAI2.0做协鑫光伏，我们想让更多人知道如果协鑫光伏这一类的企业嫁接到人工智能的话是会更加有发展。

提问：有很多工艺是有特殊性的，同时我们讲数字化紧接着智能化，过去数字化的时候有很多应用，比如说中测橡胶，有管理性，还有徐工有自己的运营的系统，我们从IaaS到PaaS的时候，针对厂商与传统供应系统的是不是不愿意合作？

闽万里：我们特别希望跟他们合作。在协鑫光伏我们花了相当长的时间，因为有人不愿意合作，所以我们又要去整合他们的数据，这就像我们做城市大脑一样，过去智慧城市的建设，各个局、各位委，各个不部门都有自己的数据中心，都很难打通。所以对于我来说是数据没有打通，这个就希望可以跟他们合作，然后在它的机器上然后可以外接进去。但是现在没有办法，没有办法怎么办呢？我们的方式是我不看它的机器内容，只读读数。我就自己写一些代码兼容它的OPC协议，然后把这个协议兼容以后，就能读它的数，从机器供应商变成工艺供应商，要提升它的工艺管理，这是一个常态化的需求。就可以变成一个服务商，所以合作商也是一样的。

提问：有很多工艺是有特殊性的，同时我们讲数字化紧接着智能化，过去数字化的时候有很多应用，比如说中测橡胶，有管理性，还有徐工有自己的运营的系统，我们从IaaS到PaaS的时候，针对厂商与传统供应系统的是不是不愿意合作？

闽万里：我们特别希望跟他们合作。在协鑫光伏我们花了相当长的时间，因为有人不愿意合作，所以我们又要去整合他们的数据，这就像我们做城市大脑一样，过去智慧城市的建设，各个局、各位委，各个不部门都有自己的数据中心，都很难打通。所以对于我来说是数据没有打通，这个就希望可以跟他们合作，然后在它的机器上然后可以外接进去。但是现在没有办法，没有办法怎么办呢？我们的方式是我不看它的机器内容，只读读数。我就自己写一些代码兼容它的OPC协议，然后把这个协议兼容以后，就能读它的数，从机器供应商变成工艺供应商，要提升它的工艺管理，这是一个常态化的需求。就可以变成一个服务商，所以合作商也是一样的。

。