为什么全栈式AI解决方案对AI落地至关重要？| CCF-GAIR 2019

编者按：7月12日-7月14日，2019第四届全球人工智能与机器人峰会（CCF-GAIR 2019）于深圳正式召开。峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交流合作平台。

未来，AI将变得无处无在。相信大部分人并不会反对这样的观点，但要实现AI无处不在的愿景除了需要解决算力、算法、数据的三大挑战之外，还面临着成本、复杂性、可扩展性、数据隐私等多重困难。既然AI大规模落地复杂程度如此之高挑战如此之多，技术的创新有多重要？全栈式AI解决方案能否显著加速AI技术的落地？

AI带来了什么改变？

AI智能音箱、手机AI语音助手、AI拍照、AI美颜都是普通消费者已经触手可及的AI产品和功能。虽然这些AI产品还不能让消费者感到十分满意，但AI显然是吸引消费者购买产品的一大卖点。

相比消费领域用AI作为产品的卖点，在金融、工业、物流等领域，AI正在改变这些行业。电网领域应用了诸多的AI技术，比如，现在很多电线杆沿河架设，并且线路架不高，尽管有很多“禁止钓鱼”的告示和巡逻人员，仍然有很多钓鱼触电的事件发生。赛特斯信息与电网公司合作开发了钓鱼监控系统，如果检测到河边电网线路下有人钓鱼就进行广播劝离。据介绍，钓鱼监控系统在2019年4月部署上线，到7月一共驱离了280余位电网线路下钓鱼人员，并且自系统上线后钓鱼监控系统监控范围内没有新增的钓鱼触电事件。

基于AI技术的钓鱼监控系统显著减少了安全事故，但AI的价值显然不止于此。在快递领域，如何降低交付运营成本，提高服务和运作效率是一大诉求。韵达快递利用AI解决这些挑战，最终有效提升了快递物流系统的运作效率，大幅降低人工劳动的强度和人力成本，节省成本高达7000万美元。

AI视觉技术在工业领域同样成效显著，在大规模产品的制造过程中，以往通过人眼识别对产品进行检测并发现缺陷不仅效率低，准确率也不高。美的利用AI技术进行缺陷检测时，图像预处理的性能提高了4倍，模型推理时间缩短16倍。

在医疗图像分析领域，健培科技利用AI技术能够高效完成 X 射线、CT、MRI 和其他医疗成像来源的推理，医学数字成像和通信（DICOM）图像分析性能提升了 8 倍。

还有一个很酷的AI应用，欧洲核子研究组织（CERN）负责运行大型强子对撞机(LHC)，每秒要进行四千万次的对撞，会大概产生约1PB的数据，这给计算和存储带来了巨大挑战。他们希望过滤出对研究分析有价值的数据，把每秒产生的数据量从1PB减少到10TB。借助AI，他们最终成功实现了端到端全数据管道粒子分类器，且易于扩展。

上述案例中，280余位、7000万、4倍、8倍、16倍、1PB到10TB这些数字代表着安全、成本、效率的提升，这是AI已经带来的量化的改变。这些量化的显著提升背后，既是英特尔与各个行业合作伙伴的深度合作，相互协作解决技术难题，更是英特尔AI技术平台和全栈解决方案实力的体现。

英特尔高级首席工程师兼大数据技术全球首席技术官戴金权

端到端的大数据处理+分析平台是AI部署的关键

无论韵达快递、美的、健培科技还是CERN，他们更关心的是软件方案如何支撑他们的业务，这也是AI部署中的痛点。英特尔高级首席工程师兼大数据技术全球首席技术官戴金权在CCF-GAIR 2019期间接受雷锋网(公众号：雷锋网)等媒体采访时表示，与客户合作的过程中，我们发现拿到一个深度学习的模型和算法并不难，真正把它落地或部署在大规模的生产环境里，大量数据分析的整个流水线整合并不容易，这也是很多用户的痛点。

他还举例表示，一家非常大的美国互联网公司已经设立了非常大的专用计算集群，有分布式训练，并且分布式软件也做的非常好，但他们找我们合作。开始我们很好奇为什么他们已经有这个能力还找我们合作，后来了解到他们虽然开发了很多先进的AI模型，能够用一些样本数据在笔记本上得到一个满意的原型。但碰到一个很大的挑战，要在生产数据或者历史数据试这个模型需要大量的数据，把数据拷贝出来并不是一个长久的方法，因此他们希望有一个端到端的平台，把生产数据利用起来。

吸引这家互联网公司与英特尔合作的是英特尔统一的大数据分析和人工智能平台Analytics Zoo以及BigDL。BigDL是一个建立在大数据平台（Hadoop/Spark）上原生的分布式深度学习库，它提供了在Apache Spark上丰富的深度学习功能，以帮助 Hadoop/Spark成为一个统一的数据分析平台，为整个数据分析和机器学习过程提供比现有框架更加统一和集成化的支持。

据悉，自BigDL 2016年10月正式开源，已经有众多用户使用BigDL构建深度学习应用。雷锋网认为，基于Hadoop/Spark分布式系统基础架构够在很大程度上降低AI部署的门槛。

为了能够进一步降低AI部署的门槛，构建一个完整的端到端大数据处理加深度学习应用，英特尔在去年又开源了Analytics Zoo新项目，基于Apache Spark，TensorFlow等更高阶的人工智能的流水线和平台。也就是说，整合了不同的库和框架后的Analytics Zoo，能够助用户无缝从笔记本的生产原型无缝地扩展到集群或者生产化部署。

英特尔与美的的合作就是应用Analytics Zoo一个很好到的例子，美的利用人工智能的流水线进行缺陷检测，有大量的图片需要进行处理，先用Spark进行图片大规模分布式处理，之后可以直接使用TensorFlow的API，几行代码就可以将数据接入到TensorFlow定义的目标检测模型，进行分布式训练、推理和测试。得到训练好的模型之后，就需要部署，利用Analytics Zoo能将训练出来的模型直接作为一个单机的Python推理代码嵌入到JAVA的service上，进行实时的推理。整个过程利用了Analytics Zoo平台，实现了人工智能从云到边缘计算完整的流水线，提高开发效率的同时也大大提高了运行效率。

AI一定是硬件+软件的融合

不过，软件的能力需要硬件作为支撑。据雷锋网了解，全新硬件架构每实现一个数量级的性能提升，软件就能带来超过两个数量级的提升。AI时代，软件和硬件需要不同的策略。软件的层面，AI的部署需要一个完整的更高级的流水线，还需要像OneAPI这样统一的软件平台，解决不同的硬件器件来学习不同的编程框架、编程工具、编程接口的问题。

软件需要统一，硬件却需要异构。原因很简单，现在90%以上的数据是在过去几年中产生，其中大概50%是在过去两年中产生，数据大量产生的同时，数据类型也更加丰富，除了CPU擅长处理的标量数据，矢量、空间数据、矩阵数据也大量产生，对应的也需要GPU、FPGA、ASIC处理不同类型的数据。因此，AI时代软硬融合的重要性更加突显。因为不同的硬件需要相应的软件才能充分利用硬件资源，但处理器异构会带来软件复杂性大增的挑战，为了更好发挥硬件性能，还需要更全面的创新。

戴金权接受采访时表示，在AI越来越普及之后，大家都对AI提出更高的期望，要解决更复杂的问题，对存储的技术、安全、连接等都提出了一系列的要求。所以从AI长远发展的角度看，需要一个综合性方案来解决未来AI发展挑战。

我们看到，英特尔提出了超异构计算的愿景，通过提供多样化的标量、矢量、矩阵和空间架构组合，以先进制程技术进行设计，由颠覆性内存层次结构提供支持，通过先进封装集成到系统中，使用光速互连进行超大规模部署，提供统一的软件开发接口以及安全功能。

其中，架构创新又是六大技术支柱中的关键，不仅因为架构创新能实现更显著的软件应能提升，也因为架构可以把制程&封装、内存&存储、互连、安全、软件六大技术支柱有机的结合在一起。

英特尔认为，架构创新在未来十年会是主流，也会是创新的主要驱动力，这里面会有多种不同的架构互相组合、比拼，具体需要看AI的不同需求。架构创新将继续带来指数级的扩展效应。

AI普及需要全栈式AI解决方案更需要广泛合作

可以看到，英特尔致力于提供AI全栈式解决方案，在底层的内核或者库上有MKL-DNN，还有图形编译器nGraph，可以将神经网络编译到各个平台上。再上层有针对各种机器学习和深度学习框架上的优化，包括Python等常用的机器学习、深度学习库也进行了大量的优化工作。最上层，提供了更高阶开源工具的套件，包括神经网络推理的加速工具库OpenVINO，统一的大数据分析和人工智能平台Analytics Zoo。

全栈的解决方案不仅能够降低AI开发和部署的技术难度，还能根据用户需求提供更加灵活的解决方案，这对于AI的普及至关重要。

但是，AI已经被应用到众多的行业，需求也非常多样，现在每一个行业大家都在快速拥抱AI能力，且每个特定行业碰到的挑战也有所不同，有的领域可能是技术上的挑战，比如计算力需要不断加强，也有一些领域的挑战是技术之外的，比如在医疗领域，还面临如何保护病患隐私的挑战。

因此，技术的提供方在提供定制化解决方案的同时，与生态合作伙伴更好的合作，才能更快促进AI的落地。针对医疗、金融、交通、政府、零售、教育、制造、能源等行业，英特尔定制了从商务到技术的不同模式来匹配，在国内与京东、腾讯、银联、美的、韵达快递、中国人寿、宝信软件等众多企业深度合作，支撑中国以及全球AI产业的发展。

最后值得一提的是，英特尔上个月宣布在中国成立大数据分析和人工智能创新院，加快技术创新与应用，希望加快统一的数据分析和人工智能数据的创新和应用。

相关文章：

对话戴金权：英特尔如何构建软硬件协同统一的大数据分析+AI平台？

。