港科大刘明：低速无人驾驶系统的应用关键要素|CCF-GAIR 2019

新智驾按：2019 第四届全球人工智能与机器人峰会（CCF-GAIR 2019）于深圳正式召开。峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交流合作平台。

越来越多的玩家正在挤进自动驾驶的赛道，在业内玩家积极探索自动驾驶的商业化落地的同时，产学研自动驾驶团队也在蓄势发力。

香港科技大学自主驾驶中心主任刘明认为，自主物流是无人驾驶领域最容易落地的行业，进一步细化包括最后一公里的递送、监控、和仓内的点到点运输。

刘明及其团队选择了以深度强化学习为框架，工程模块化系统作为辅助的无人驾驶技术路线；在原型车上，采用了二类商用车底盘的配置。刘明认为，一台好车应该是“无人驾驶二类商用车底盘 + 完整的可量产无人车解决方案”的组合。

本届的CCF-GAIR智能交通专场，雷锋网(公众号：雷锋网)邀请港科大自主驾驶中心主任刘明发表演讲。以下为刘明演讲全文，雷锋网新智驾进行了不改变原意的编辑：

今天我演讲的内容是低速无人驾驶系统的应用关键要素，同时也分享一下团队近期的技术发展和量产方面的合作进展。

过去十余年里，我们的团队参与了欧洲首部无人驾驶车、中国首部无人驾驶公交车的研发工作，领导了香港首部无人车的落地。

我分析了无人驾驶行业的近几年发展，同时也不断接触了无人驾驶的实际应用。从落地角度来看，我认为自主物流是最容易直接落地的场景。自主物流进一步细化包括最后一公里递送、监控和仓内的点到点运输。国内大部分行业领导者与巨头企业都这对些落地场景做了基本肯定。

现在物流行业有一个基本的共识：未来三到五年，可能每天都会达到“双十一”期间的物流量，每天有十亿只包裹。但物流行业面临的问题是什么？面临着中国劳动力人口急剧下降的问题，人口红利从2016年就开始消失了。与此同时，包括农批市场、工业生产在内的劳作场景仍采用人力消耗的方式来做运输。

需求越来越多，人力越来越少，唯一的解决方案是无人系统，只有无人系统才能解决人越来越少的问题。想要找到答案，就要尝试不同的路径和过程。

无人系统有什么核心需求？提起园区内低速的无人驾驶系统，往往会让人联想到单一场景。其实不尽然。我们在某个园区实际场景的无人驾驶已运行半年，园区里有行人、自行车、货车，还有外来的轿车等复杂因素。我们能做的是，在高精度地图的基础上，利用5G或4G网络提供平台层的的调度，通过车体自身的智能实现无人车点到点或者线到线的控制。

但园区内外的运输都面临着挑战，其中之一是场景的复杂性，如无引导的左转。我们的园区住着十几万的厂工，遇到上下班高峰时，无人驾驶车会淹没在人群和自行车群中。车不仅要开动，还要负责左转的复杂场景。这种情况每天都在发生，半年里我们接受了众多的考验。另一个挑战是无人驾驶在公开路面是否能出行？因为最后一公里的递送过程会涉及部分的公共路面。

面对这些挑战，低速无人驾驶应该选择怎样的技术路线？目前无人驾驶的技术分为两大类，一类是以端到端深度强化学习为主的模式，是偏高速车的常用方案；另一类是比较传统的工程模块化系统。我是学汽车出身，有五年汽车研究和十年无人驾驶研究的经验，很多时候倾向用工程模块化系统解决具体问题。

事实上，这两种技术路线各有优劣势。端到端深度强化学习的优势在于容易做出working demo，劣势则是场景迁移能力比较弱，对样本的数量和质量都有较高要求。工程模块化系统的优势在于完成决策系统后，其他地方不会有太大纰漏，劣势在于实现精准的系统定位、障碍检测、决策、控制，需要大量的技术积累。

所以我们选择了以工程模块化为框架，深度强化学习作为辅助的模式，大致定义了一套从运营逻辑及数据接口、到无人系统核心技术模块、再到核心支撑技术的路线。简单来说包括感知系统、决策与预测系统，规划与控制以及相应的支撑技术六方面。

在感知系统方面，我们利用三维感知建图与定位，多视觉惯导融合系统、单个实时雷达来获取场景。得到三维场景之后，我们会进行实时的三维几何场景分析、三维语义场景分析、视觉场景语义分析，然后利用嵌入式平台实现基于像素点的语义分割。在三维激光场景上，可以实现实时的激光场景语义分析、手持及车载大范围实时建图，路面环境可行区域检测等技术。各位有兴趣可以到我们实验室的网站ram-lab.com做进一步了解。在感知方面，我们可以说是世界级水平。

得到三维模型的下一步是决策预测，决策预测系统包括了实时多车间协调控制、多信息的融合等技术。车辆模型辅助动态决策利用视觉和激光检测的结果，对动态物体运动行为进行预测，结合车身的动力学模型，实现控制路径的决策和规划。

近几年行业在深度强化学习点到点导航、环境探索、多机器人任务分配方面投入比较多。但我们很早就建立了机器人感知实验室，是国内最早将深度强化学习应用到真实机器人上的机构。我们在2015年IROS上（International Conference on Intelligent Robots and Systems，国际智能机器人与系统大会）发表了文章，相关论文工作取得一些成绩。

除了决策预测，如何实现三维场景下的路径规划、基于迁移学习的强化学习、对复杂控制系统（如无人船、无人车）的控制都是需要解决的问题。

以上的内容都属于算法类型，与每个算法相对应的是后台的硬件或平台支撑。与感知系统对应的是传感器技术。我们目前有一款包含激光、视觉、惯性导航等七个传感器在内的集成硬件同步触发产品，并在产品基础之上开发了相当数量的算法，涵盖了姿态估计、建图、定位、识别、跟踪等，这套多感知内容获得了IEEE IROS最佳学生论文奖提名。

在算力方面，除了传统的CPU、GPU模式，我们也立项了FPGA模式来作为算法方案。近年来在算法方面，我们获奖20余项，包括中国人工智能最高奖吴文俊科技进步奖、和IEEE相关论文奖项12篇。

但最重要的是，无人车技术要落实到车辆上。算法就算再前沿，车本身才是决定量产的关键。我们做了一款近乎量产的车型。该车型可以安装36个10号国标周转箱，整体载重最高达1.5吨，目前在各个园区做相关推广以及部署尝试。我们会根据实际应用场景的需求来做配合工作，比如客户提出不同的标准箱要求，我们会进行箱体数量的排列、优化箱体设计与配重设计，电池换电、转向系统等一系列工作。在初始阶段，我们会采用标准商用车底盘将原型车先做出来，然后以量产件实现交付。

刘明团队研发的无人车

基于以上内容，我们将这些技术用到了实际场景，涵盖从生产厂机到仓储企业，物流企业，码头，油田等各种场景。结合5G发展的大趋势，我们6月份参加了工信部的5G峰会，在现场提供了远程驾驶、无人驾驶等等观众体验平台。观众可以在数公里之外做到实时操控。

我们的无人驾驶车辆在某大型物流华东总部已经运行了一段时间。以前需要人力的运货使用无人车后，可以实现仓到仓的转运。从技术来看，无人车可以在有人的横道线前停车，其行驶速度跟一般园区行驶的物流车速度是接近的。我们将其控制在20-40km/h左右，这是无人车在无人驾驶模式下可以达到的真实速度。从效率上讲，无人车的效率与面包型物流车接近，还可以实现完全一致的载货量。

此外，我们跟韩国邮政协会达成了初步的三方战略协议，为其提供两台用于韩国邮政物流的无人车，这是韩国的首例无人货运车。我们也和台湾的中华邮政达成合作，20多位专家前来了解我们无人车的部署方式，希望共同解决台北物流园的最后一公里的问题。

最后一公里是无人车将货运到楼下，那最后一百米如何解决？没有电梯的情况下，货物如何上楼？我们的解决方案是相对小巧的爬楼机，其整体宽度在65-70cm，载重超100kg，它可以自己上楼。我们将最后一公里和最后一百米连接起来，形成了相对完整的解决方案。

有了技术、原型车、场景之后，下一步是什么？我本身职业是香港科技大学教授，可能无法完全从工厂或设备的角度来做无人车的开发工作。但我认为，实现无人车最重要的理念是，首先要有一部好车。最好的车就是标准的商用车。我们选用的是无人驾驶的二类商用车底盘，包括夸父系列，里面的ABS（防抱死制动系统）、EPS（电动转向系统）、ESP（车身电子稳定控制系统）、iBooster（线控制动系统）、EPB（电子驻车制动系统）及电池管理系统胎压检测等配置都和一般商用车差别不大，甚至很多配置只有在高端商用车上才能见到。

目前我们跟各地政府在展开合作。下一步计划是在某地建立厂区。厂区大约占地300亩，从包括激光传感器、BMS和车载电子部分在内的关键零部件、到场景测试、性能测试、焊涂总装、动力转向、低温可使用电池以及研究院。传统车下线之后会有一完整的检验检测设备，包括四轮定位、侧滑、车速、淋雨线等。无人车需要在传统车的基础上增加激光、编码器、AR/VR及远程控制中心。

厂区还可以进行无人驾驶应用的研究工作。整个厂区都会在华为的支持下进行5G全覆盖，在无人车路线、车站上都做了详细的部署。政府对我们整体的投资力度较大，我们主要是解决技术问题和与当地车厂一起解决量产工艺问题。厂区年底应该能够建完。

。