东南大学机械工程学院副院长殷国栋：智能驾驶的几种关键感知技术剖析

雷锋网(公众号：雷锋网)·新智驾按：10 月 26 日 至 27 日，2019 第二届全球智能驾驶峰会暨长三角 G60 科创走廊智能驾驶产业峰会在苏州高铁新城正式举行。峰会主要聚焦“自动驾驶的量产时代、单车智能和车路协同的共演之路、新型的车内交互探索”三大主题，数十位来自高校、主机厂、Tier 1、科技公司的嘉宾与与会者共同探讨了智能驾驶的未来发展方向。

本次峰会由苏州市相城区人民政府主办，苏州高铁新城管理委员会、雷锋网(公众号：雷锋网)·新智驾承办，江苏省智能网联汽车产业创新联盟、江苏省人工智能学会智能驾驶技术专业委员会、清华大学苏州汽车研究院、中国移动通信集团等单位协办。

东南大学机械工程学院副院长、江苏省新能源汽车创新联盟执行理事长殷国栋的演讲主要剖析了智能驾驶的多种关键感知技术，雷锋网·新智驾对其演讲进行了不改变原意的编辑，以下为全文：

今天学术和产业界有智能驾驶、自动驾驶、无人驾驶、智能网联汽车等等多种名称，不同的单词，总体有狭义广义之分，但意思都是融合现有一些技术，提升汽车智能化的大平台。

在这种环境下，乘用车应用场景离真正实用化还有一定距离，但一直在研究。我们希望能够落地的场景也包括一些工业场景：限定场景的挖掘机、压路机等，农业上的自动农机。科技部、中国农村中心也有自动农机专项，支持提升农业装备智能化。百度、阿里都在做的物流车也是在推广的一种限定场景。

这个过程中要解决的关键技术是智能感知、决策、控制、路径规划的总体方案，包括车辆识别、人行道识别。

我们看到的是非常美好的场景，实际上困难非常多，研究场景与实际场景是不对称的，完全不是一个概念。

真实场景出现过很多问题，不是我们想象的那样，研究者、开发者要带着谨慎的态度。现在主流解决方案包括可见光相机、红外热成像仪、激光雷达等几种不同的感知方案。广义来说，这几种方案都能很好地确定车辆自身状态。

车辆状态信息感知技术

很多专家把无人驾驶汽车定义为带着四个轮子的机器人，这是一种非常巧妙的定义，代表智能车和很多场景机器人有类似的地方，但实际上车辆的状态是完全不一样的。汽车是行走的，不确定因素非常复杂。

现有的状态信息感知方法有 GPS/INS 组合导航，国家有自己的北斗导航系统，非常精确。

另外一个是视觉导航系统，可以识别各种不确定的小的障碍物，但是传统方法大部分是基于离线的。我们希望它在运动环境中能够提取自身状态。

再一个是激光导航系统，前天比赛中很多车拿到了非常好的成绩，也都在践行这种方法，激光导航系统可以根据当前相城区域的比赛场景，规划自己的真实路线。

我们希望用多传感器定位信息，在这个过程中要应对的问题非常多。车的最大要求是安全，多传感器融合的实时性、准确性是一定要保障的，在这个过程中，我们也实践了非常多的特殊场景。

第一种是农用拖拉机，做成无人驾驶，在特定场景下能够完成一定工作。第二种我们定义为小坦克，这辆车不是真正的车，但是可以把所有传感融合信息做出来。我们做的方程式赛车，把单目摄像头、雷达组合大脑用上去，效果非常好。另外是多车协同，多车是未来，我们希望把不确定多车定位系统融合进来。

而且，车行驶过程中的所有状态要估计出来，可能会有路面状态估计、车辆正常加速、质量的不平衡等等。

激光雷达感知技术

对于车辆而言，安全性是非常关键的。激光雷达应该说非常普遍了，它可以为智能车辆或机器人相关的一些智能装备提供可行性，价格也在不断降低，对于汽车产业而言非常重要。

激光 SLAM 大家用的比较多，它相对以前的设备更精确，信息更丰富，能够进行很多移动物体的检测。这个过程当中，我们希望把车辆的很多非线性状态，用卡尔曼滤波做一个很好的估计，包括预测、环境观测、地图更新。之后我们还可以把里面所有常规问题转化为图像处理。

粒子滤波是做大数据计算的非常好的方法。多线激光雷达能够通过环境地图的感知系统，搭建出当前的路径规划，进行实时定位和地图构建，在这个过程中，我们希望能够实时建构地图，为获取后面所有信息以及当前姿态做一个铺垫。

今天包括中国移动、无锡天安集团在做的车联网，都是在 5G 环境下，一辆车一定是和网路、和整个云平台结合起来的，这也是我们一直在做的。

视觉环境感知技术

很多传统方法已经不适应现在智能车联对于数据或信息获取的要求了，因为我们现在的行驶环境非常的复杂。

在传统视觉方法的基础上，我们要融入现代的人工智能与深度算法做训练。要训练多少次才能把当前速度实时反映出来？训练次数越多，对于走到实际环境当中的车辆，精确度越高。我们要做交通场景识别、真实场景识别、交通标识识别，然后再分类，目的就是得到精确的人、车以及静态、动态的各种障碍物的位置。

精确分割精度越来越难。利用视觉进行状态估计，就是车辆在行驶中，对外部行驶状态的一种估计。

红外环境感知技术

因为是在良好天气状态下，这次比赛很少用到红外，如果是晚上去比赛，我相信很多比赛车队就会放弃，因为我们没有开发适于晚上的场景。经常有人跟我开玩笑说，你这辆车能不能晚上出来帮我巡逻，起到警告作用，晚上 12 点钟加上旋转的警灯。我说晚上不行，技术不行，不敢晚上去做。

对现有传感器进行一个红外传感器的补充，晚上是能够识别的，而且简单实用，现在都要加进来。用红外传感器首先采集图像数据集，建立起一个非常好的数据库，用优质网络进行训练。

我们用的神经网络结构，可以把这条路上所有场景采集出来，包括把不同车型、不同物体的特征，放在红外里面进行特征提取。我们能够把这里面的小特征或者不具有明显特征的东西，提炼出来为我们所用。感知到才能做决策。

还有一个是红外目标动态跟踪，不仅要采集到这个人，还要跟踪。我们也开发了一个脑控电动汽车，说白了就是我想象它往左边就往左，欢迎大家去东南大学体验。

多传感器融合环境感知技术

单个传感器已经无法满足真正的感知系统，很多人都在研究多传感器融合的感知技术。传感器类型越来越多，无论几种，一定要分类清楚，最后才能做到信息融合，适应真正的场景。

这些技术方案放到真实场景中各有优缺点。一种方案能不能移植到另外一种方案上？不可以。场景变了，所有要求就变了，要求的精度改变，方案就要变化。

我们要用所有方案的优点解决可能出现的一些问题，把所有车型都加进来，才能够解决真正的问题。把这个问题解决好以后，我们建了一个双目数据库，要在春夏秋冬不同天气做采集，这是最难的地方。做好之后再进行标准匹配。再之后是红外热像图，首先是做人工标记和自动标记，采集各种障碍物，建立训练样本。最后再把训练样本放到大数据库里面进行标记。

我们联合南京大学，把这个数据库做得非常大，目标是能够利用双模态训练，快速适应真实场景。另外，我们不仅仅做理论前期研究，也验证一些虚拟平台，使车辆真正达到 24 小时随时适应不同天气的各种场景。

技术推进有很多有效方法，比如神经网络等等，这些方法不仅仅能够用在车上，还有很多场景，比如军事目标获取，都是一些非常规感知系统，智能交通的各种不确定性交通疏导，以及安全场所设定。我个人认为，环境感知中的复杂性，对我们提升车辆以及未来智能装备的智能水平有非常大的好处。

。