雷锋网新智驾（AI-Drive）按：贾兆寅，现任滴滴出行前沿业务技术负责人。上海交通大学本科毕业、康纳尔大学博士，于谷歌工作三年半，担任过从谷歌旗下无人车公司Waymo的技术经理。博士时期主要在感知领域进行研究，包括基于计算机视觉的一些具体算法比如物体识别、三维重建，并将其应用在机器人、自动驾驶汽车方面。
以下内容根据贾兆寅在知乎Live的分享整理，雷锋网(公众号：雷锋网)新智驾已获授权，并做了不改变原意的整理：
无人驾驶（雷锋网注：智能驾驶最高形态）研究大概是2000年从北美开始的，当时是斯坦福大学等名校参加一个名为“DARPA”的无人车挑战赛。这些学校的团队设计的无人车在封闭的道路上跑完全程，第一个冲过终点线的就是第一名。
DARPA里面有一些比较有意思的事情发生，比如说麻省理工学院和康奈尔大学两个学校的无人车有一次发生了碰撞——应该算是无人驾驶界的第一次事故。
他们详细分析了事故发生的原因，实际上是无人驾驶一些关键性的技术如障碍物感知、物体识别以及路径规划方面仍有很多问题存在。
正因为DARPA比赛的举办，从2013年开始，很多著名厂商开始跟进无人驾驶。比如说特斯拉开始做Autopilot，还有一些创业公司像Cruise Automation（后来被GM收购）。
无人驾驶也在很多领域进行了开展，比如最直接的接送乘客就是无人驾驶非常重要的商用领域；车厂也希望通过智能驾驶来让每一辆车的行车体验更好；包括像特斯拉也主打Autopilot让驾驶体验变得更好、更安全。
事实上，无人驾驶的技术手段也随着时间的推移在变化。一开始以激光雷达（LiDAR）为主流；后来因为深度学习和视觉技术的突破，摄像头开始被受车企和初创企业青睐；之后车上又加装了很多新的传感器（比如毫米波雷达）。此外，这些年计算机计算能力的提升以及新算法的出现，也对无人驾驶研究大有裨益。
摄像头
我们最常见的传感器就是照相机，其优点是非常便宜。它捕捉的是可见光，能得到物体非常丰富的细节信息。它的频率相对于其他传感器来说是非常高的，一般的正常照相机都应该是30-60HZ，对于自动驾驶领域要对高速移动的物体进行感知和识别来说，这种频率完全可以应付。
很多智能驾驶平台会配备多个摄像头，包括前向、侧向和后向，每个摄像头记录的信息合成车身周边360度的信息，再加上人工智能的算法，可以对周围物体进行感知，基于感知便可做车辆的路径规划。
此外，一些高清摄像头可以看得非常远，在没有障碍物遮挡的情况下，能够看到200米以外的物体，这对于智能驾驶来说是一个非常可观的感知距离。
激光雷达
另一种是激光雷达，其工作原理是发射一束激光（肉眼不可见），碰到物体后会反射回来，然后再测算这束激光从发射到反射中间花费的时间，可以具体知道这个物体的深度。
一束激光可以得到一个点的深度，多束激光便可得到多个点的深度，这就是所谓的激光雷达的线数。现在主流的LiDAR最多是64线，它把激光束排成像扇子一样，这个扇子以轴为圆心进行360度的旋转，这样每一束激光就形成了一道环，64束激光就会形成64道环，可以得到360度的图像。
激光雷达除了能得到物体的深度，还能测算出反射过来的激光信号的强度，根据激光信号的强度就可以得到一些其他的信息。比如说像人体就不是一个很好的光的反射面，所以反射回去的强度比较弱，像汽车的灯或者是一些标志符号会像镜子一样反射激光雷达，就会形成更强的反射。
但是，相较于摄像头（特别是高清摄像头），激光雷达的弊端是很难表现出这个物体比较丰富的变化。它可以描绘出物体大致的轮廓，但是细节上则表现得没那么好。
目前，激光雷达非常昂贵，比如说Velodyne的激光雷达一个可能都是上万美金。
毫米波雷达
还有一类传感器就是一般意义上的毫米波雷达，它根据多普勒效应来检测物体的位置以及速度，包括速度的方向和速度的大小。
而且毫米波雷达也可以检测非常远的物体，同时还可以穿透一般的障碍物，远方行驶车辆的信号是非常强的，所以很多智能汽车上都配备了雷达。
不过，毫米波雷达的劣势也是很明显。
第一，基于毫米波雷达的反射信号，它得到的位置以及速度信息是比较模糊的，只能得到一个大概的信息，误差可能在米这个范围内，远距离的误差会更大。
其次，毫米波雷达对金属的反射是非常好的，但对于非金属的反射相对来说是比较糟糕的，比如说行人或者是小动物。
第三，毫米波雷达必须是双方有一个相互速度才能够检测出物体的位置，因为它是基于多普勒效应的传感器，如果双方静止的话，便会失效。
除了这些主要传感器，智能驾驶还需要其他一些传感器。比如要进行精确定位便离不开GPS；要知道车辆车头的朝向、行驶的速度或者加速度转角，IMU（惯性测量单元）则不可或缺。
除了这些传感器之外，高精度地图对于智能汽车来说也是非常重要的。
高精度地图
如果想象智能汽车是一个机器人的话，那高精度地图的作用就是告诉机器人这个世界是怎样的。你给了这个机器人一些先验的知识包括车道线在什么地方、在路的什么位置、是不是有斑马线，斑马线上的行人可能更多，是不是要更注重行人的检测等。
高精度地图和普通地图的区别也是非常大的，高精度地图不仅要知道这条路整个的连接状况，更要知道这条路上有几个车道？每一个车道线是一个什么样的？甚至还包括一些车道的转角以及车道线之间的连接等细节信息。还需要非常频繁的来进行采样，精确还原道路实况。
路网信息是智能驾驶的一部分，另外一部分地图比较重要的工作就是整个世界的信息，包括车道具体有多宽，然后这些车道是什么样的形状，这些信息也是非常重要的。
这个图片就是三维的世界的重建包括比较成熟的一些SLAM建造的这个世界，你可以看到这个世界是由刚才我们说的激光点源构成的，从这个截图就可以看到，就是很多帧激光点源叠起来的一个状况，叠起来的地图我们就知道强在什么地方，具体的道路的路面是一个什么样的形状，它是有多少的比如说上坡、下坡或者是具体的转角都会有一个比较清晰的知识。
感知世界
得到这些先验的知识以后，后面的感知和路径规划相对来说就容易一些。比如说感知就可以把路面去掉，得到比如说障碍物在什么地方的信息；路径规划有了车道线的知识，更容易进行避障，知道哪些地方可以靠边，哪些不能。
但是，智能汽车对世界的感知也会遇到一些困难。
虽然道路上绝大多数的障碍会是汽车、行人、自行车、摩托车、助力车等这样的物体，但也会有比较低频出现的障碍出现。比如说道路上会有一些车爆胎留下的爆胎，比如超市里的手推车有时候会滑到路上，还有路面上的一些垃圾、砖块……这些障碍物可能需要开几百公里甚至几千公里才能碰到，但是当有足够的数据量以后，这些长尾问题也会成为比较重要的物体识别问题。
此外，恶劣天气、自然环境等等也会影响智能汽车的感知环节。
所以在智能驾驶中可以看到，特别是现在基于深度学习的感知方法，数据量是关键。一个是因为更多的数据量，学习出来的模型会更好；另外一个是大的数据量，也能收集到更多的低频事件数据。
当然，这些小概率事件以及恶劣的天气、环境除了对感知造成影响，也对车辆控制提出了新的挑战。比如当地面湿滑之时，如何能够精准控制智能汽车的转向和刹车，同时给智能系统正确的技术反馈？这些都是有待研究的问题。
应用现状
智能驾驶在一些高端的汽车上已经有了一些具体的应用，比如说有一些车上面已经有相关的ADAS应用进去，可以进行必要的辅助驾驶，比如制动和转向、防碰撞预警等。当然，真正的让人手离方向盘还需要一定的时间，肯定是一个循序渐进的过程。
相对来说，在一些交通状况不那么复杂的地方，智能驾驶可能会率先应用起来。比如一些工业区、旅游区等。此外，未来利用自动驾驶汽车进行货物的运输，甚至是通过自动驾驶汽车进行共享出行也都是很有前景的。
当然，智能驾驶最可贵的效果是，可以避免一些不必要的人为操作造成的交通事故，提高锤形的整体安全性。
对我个人而言，能够在这个时候参与到这个过程中推动智能驾驶技术，是非常令人高兴的一件事情。也希望更多人参与进来，让科幻电影、小说里的技术变成真正的产品。
问答
问：摄像头怎么感知距离？
贾兆寅：比较传统是用双目摄像头来做，通过两颗摄像头来检测同一个物体。如果你知道这个物体在两颗摄像头里面具体的图片中的位置，那如果两个摄像头中间有一些距离，你可以知道这个位置的视差，通过这个视差再加上一些几何上的过程，可以知道具体物体的位置。
但是它会制约于几个因素，第一个因素是车载的物理限制。因为像人的双眼一样，两颗摄像头之间的距离越大，可以检测的物体的深度越深。但是搭载在车身的摄像头相互间的距离是受限的，不可能无限大。
另外一个就是双目摄像头来测量深度会局限在具体的匹配算法，如果两颗摄像头里面会出现两张图片，那怎么样把这两张图片相同的物体联系起来，然后通过这种对应的算法得到视差，这也是一个算法上的问题。如果这个算法出现一些偏差的话，距离感知就会有误差。
还有一种使用单目摄像头来感知距离，原理如下：如果一个照相机照一个平面，平面上的物体在照片里都是近大远小，或者物体与地面接触的那条线越低，就表示离照相机越近。如图所示，照相机照路面，在相片里是一个梯形，物体1和地面接触于蓝色线，物体2与地面接触于红色线，红色线在照片里“高于”蓝色线，就说明物体2比物体1远。
问：三维重建一般需要哪些传感器的共同配合？
贾兆寅：对于三维重建来说，我们一般会把摄像机、LiDAR还有IMU、GPS这些结合起来，配合行程对整个场景进行重建。一般的三维重建会进行一些数据的采样，得到比如说照相机和LiDAR对于世界的描述，然后再通过说GPS、IMU把一帧一帧的信息联合起来做三维的重建。
问：5G的到来会帮助解决智能驾驶的部分技术难关吗？在刚刚结束的WMC上，很多巨头通信公司把无人驾驶作为5G的载体。
贾兆寅：这个高速网络的到来会对智能驾驶各个领域都有一些帮助，比如说可以迅速得到地图的更新，然后大的数据可以迅速与服务器进行一些交互，新的数据传输方式也可以催生一些在智能驾驶、车联网方面的新的应用。
问：智能驾驶何时能真正到来？
贾兆寅：这个要看我们怎么定义“到来”。智能驾驶有不同的维度和发展阶段，一些技术我觉得已经在很多车厂进行比较广泛的应用，比如说刚才我提到的盲区检测、车道线检测、CMB、ACC等等，其实这些对于驾驶来说都具备一定革命性，而且开始慢慢融入到我们日常体验中。未来肯定会有更多种智能驾驶的方案并行，而且这些智能驾驶方案会相辅相成。
。
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/110775.html