从人机交互到计算机视觉&人工智能，UC Berkeley到底潜藏了多少面向产业化的自动驾驶技术？ | GAIR硅谷智能驾驶峰会

很多前沿产业化成果都是从校园和研究机构脱胎的，自动驾驶领域中也是如此。

如果说哪个大学拥有孕育汽车智能和自动驾驶技术产业化落地的摇篮，位于美国旧金山湾区的UC Berkeley（加州大学伯克利分校）应该算一个。

这所世界知名的公立学府，曾送走了包括英特尔创始人之一戈登·摩尔、苹果公司联合创始人斯蒂夫·沃兹尼亚克、特斯拉联合创始人马克·塔彭宁在内的一系列时代颠覆者。那么它在自动驾驶领域做了些什么呢？在本文中，雷锋网·新智驾将和读者聊聊UC Berkeley旗下两大与汽车智能相关的实验室——InterACT和Berkeley Deep Drive。

Anca Dragan和她的InterACT实验室

在自动驾驶领域，人机交互是个不算新但绝不过时的话题，在真正意义的高阶自动驾驶落地前，已经不停有人在问出这些问题：人类如何完全信任自动驾驶车？自动驾驶车如何理解和预测人的行为？人类驾驶汽车和机器自动驾驶汽车如何在交通环境中共生？

而对于这些问题，Anca Dragan认为她能够或正在寻找一个答案。

年仅30岁的Anca Dragan，是个罗马尼亚人，现任加州大学伯克利分校的电子工程与计算机科学助理教授。年纪轻轻就颇有学术建树的她，也曾荣登福布斯罗马尼亚30岁以下精英榜单。

今年年中，她又获得一份来自MIT科技评论的奖项，后者称她为“远见者”，原因是“她致力于确保机器人与人类可以和谐地共同生活”。而这，在许多业者看来，是与机器本身智能化并重甚至更为重要的事情。

Anca Dragan认为：

机器与人类协作的冲突多来自于双方对彼此的不了解，所以，机器人与人工智能的正确观点应该是机器人试图优化人的目标函数。机器人不应该将任何客观的功能视为理所当然，而应该与人类一起去发现他们真正想要的是什么。

为了令机器人更好地协同人类工作，Anca Dragan带领InterACT实验室开始专注于人机交互算法的研究，试图将复杂或模糊的人类行为转化为机器人能理解的简易数学模型。

InterACT ，全称Interactive Autonomy and Collaborative Technologies Laboratory（交互式自主和协作技术实验室），是UC Berkeley旗下专注于人机交互研究的实验室。他们研发的算法，不只是关注机器本身相对孤立的功能，而是将机器行为的分析和学习也纳入到与终端用户的交互和协作中。InterACT 研究成果能应用在各种机器人领域和场景中，例如辅助型机器人、制造业等。

当然，该研究在短期之内最重要的应用，莫过于帮助自动驾驶汽车与传统汽车预判对方可能的行为。据雷锋网(公众号：雷锋网)·新智驾了解，这也是Anca Dragan以及InterACT 实验室目前重要的研究方向之一。

值得一提的是，2018年1月16日，雷锋网新智驾将在旧金山湾区举办GAIR硅谷智能驾驶峰会（更多详情访问：https://gair.leiphone.com/gair/gairsv2018），来自顶级学界、互联网巨头、传统车企以及新兴技术企业的众多从业人士和探路者将到场分享。届时，Anca Dragan也将带着她在自动驾驶领域人机交互行为研究的最新成果发表演讲，感兴趣的读者可以到现场与她交流。

InterACT背后的Berkeley Deep Drive

回到InterACT实验室，其实它的学术成果还有一个去向，就是赋能于一个名叫 Berkeley Deep Drive (BDD) 的研究项目并形成产业化。后者是一个将人工智能与汽车产业结合的行业协会组织，依托多个学术实验室，InterACT就是其中之一。

具体而言，Berkeley Deep Drive主要专注于将计算机视觉与机器学习技术相结合，并应用于汽车产业的不同场景中。Berkeley Deep Drive认为，虽然目前计算机视觉领域已经取得了诸多颠覆性进展，但其中的很多技术还没有被很好地移植到汽车产业中进行应用，比如他们涉猎的技术场景包括：对于车辆的深度增强学习、理解驾驶员对智能汽车的认知、基于优化自动驾驶车辆交通环境的深度增强学习、关于安全和隐私保护的深度学习，等等。

Berkeley Deep Drive的研究成果也并非停留在实验室阶段，而是与产业界结合紧密，目前他们的合作伙伴中，诸如博世、采埃孚等Tier 1供应商，大众、本田、现代等车企，NXP、英伟达等芯片厂商，以及华为、驭势科技等中国公司均在列。

*Berkeley Deep Drive研究项目的合作伙伴和赞助者矩阵

之前雷锋网·新智驾曾报道了包括图森未来CTO侯晓迪、Pony.ai CEO 彭军、驭势科技CEO吴甘沙、现禾多科技创始人倪凯、Auto X创始人肖健雄等人组成的“自动驾驶天团”齐聚CVPR参与圆桌讨论的事情，

当时还有一名“天团”成员，正是来自Berkeley Deep Drive项目的研究员Fisher Yu（下图中左一）。

雷锋网通过资料发现，Fisher Yu还有一个身份，就是曾在普林斯顿大学师从CV界学术明星肖建雄，众所周知，肖一直是唯计算机视觉论的代表支持者，他推崇仅依靠视觉技术实现自动驾驶。有这么一层关系，Fisher Yu选择在专注计算机视觉与汽车产业结合的Berkeley Deep Drive项目组工作，是非常顺理成章的。

说到这儿突然想到，肖建雄也是GAIR智能驾驶峰会的演讲嘉宾之一，那就再广播一遍，2018年1月16日，雷锋网新智驾将在旧金山湾区举办GAIR硅谷智能驾驶峰会（更多详情访问：https://gair.leiphone.com/gair/gairsv2018），除了上文提到的Anca Dragan，还有CV界大神肖建雄同台讲演，感兴趣的读者可以到现场与他交流。

人机交互在自动驾驶中的应用

再聊聊Anca Dragan的人机交互项目，他们的研究成果到底如何在人机博弈中体现出更好的协作呢？在自动驾驶中的具体场景应用又如何？日前，Anca Dragan在Conference on Robot Learning (机器学习大会，CoRL)上发表了一段演讲，以下是雷锋网·新智驾对内容不改变原意的整理摘要：

Anca Dragan的演讲题目是《人类进入机器人方程》。在传统的机器人路径规划问题中，机器人通常将人类视为和其他不能移动的物体一样的避障目标，而Anca希望将人类作为机器人决策的一个“变量”实现和人类的最优交互。

最简单的状态，只有机器人和交互的物体，则机器人的效用函数为UR，该效用函数包含的变量包括初始状态x0以及运动轨迹uR。

但现实中，机器人需要和三类不同的人打交道：在运行环境中的其他人、其使用者，以及其设计者。

出于安全的考虑，以往通常将人视为机器人行动和路线规划中需要避让的“障碍物”；

但在人类交互当中往往存在某种博弈行为，如这个超车变道的例子，黑色小车意图超车，但银色卡车寸步不让。如果我们与他人的交互都像这个司机一样，则会造成许多冲突，但无人驾驶车不会像小汽车司机这样做，他们会感知到这里可能没有足够的超车空间，会选择减速在卡车后变道。

如果我们将人视为需要规避的障碍物进行建模，那意味着我们将人类视为这个例子中不会改变主意的卡车司机一样进行建模。

另一个Google Car无法顺利通过四面都有停车标志的十字路口的例子。在这个例子中，传感器会一直探测到有人类司机并进行避让，而人类司机可以通过一寸一寸向前挪动让Google无法行动。

漫画：“你先走还是我先走？”在图中，无人车让人类先走，但行人并不打算走而是挥舞手臂，则会让无人车困惑。

机器人与人类的互动。此时机器人的效用函数UR包含三个变量：初始状态x0、机器人运动轨迹uR以及人类运动轨迹uH，此时人类的效用函数UH也包含三个变量：初始状态x0、人类运动轨迹uH以及觉察到有机器人后的隐形影响因子θH；

我们现在在做的研究：人并不是障碍，而是将其视为需要通过自己效用函数进行优化的智能体，但我们并不知道其效用函数，参数是隐藏的；机器通过人的动作估计隐藏状态，估计其下一步行为，如果机器人对人的下一步动作有估计，那么机器人会将其加入到自己的效用函数中：如果这件事情发生，我应该怎么做才是最好的选择。

当人类也考虑机器人的行为来调整自己的行为时，其效用函数UH变为四个变量：初始状态x0、人类运动轨迹uH、机器人运动轨迹UR及觉察到有机器人后的隐形影响因子θH。有不少证据表明人们实际上并不一定去在博弈中实现均衡，因为人类是通过计算达到平衡的。

我们如何说明机器人对人类行为的影响？

举一个无人车与人类司机交互的例子。上图中的橙色汽车是无人驾驶车，UR是无人驾驶车轨迹，UH是人类驾驶轨迹，如果我们考虑的是在特定的UR下，UH应该如何达到最优，这样人类可以更好地响应机器人的行为。

在这个例子中，这是一个保证效率和安全的博弈。人类的参数是隐藏的，我们通过反向优化控制来猜测这些数据，机器人收集这些展示人们将如何与机器人互动的数据，设置一个最大似然观察，然后机器人去解决这个嵌套优化问题，即当人不可避免地受到我所做的事情的影响时，我该怎么做才能最大限度地将我的效用最大化？最终会达到人和机器人的和谐协作。

接下来Anca展示了一些简化后的例子。如果将人类车辆当做一个需要避障的目标并推断其行为，无人车通常在人类车辆后变道。在少数情况下，人类车辆之前有充足的空间的时候，无人车会超车变道，因为在这个嵌套优化中，机器人知道，如果它按这一方式超车变道，那么人的反应就是放慢速度，让无人车进入。

在这一模式中，机器人不再处于被动状态，而是更好地和人进行互动。

Anca称她最喜欢的一个例子是，仍然是四面停止标志的十字路口，当处于僵持、没有乘客的无人车（橙色）需要表示“你先走”的时候，无人车会稍稍后退，在这个路口中，人类司机同样在进行效率和安全的博弈，而当无人车后退的时候，车辆相撞的几率变小，此时人类司机就会通过路口，达到人类车辆效用函数的最大化。这是一个无人车影响人类效用函数的例子，同时也是很令人惊异的发现，因为人类司机从不会通过后退表示让对方先走。

同样在这个漫画的例子中，无人车也可以通过稍稍后退让行人先走打破僵局。

上图是三种模型下，真实用户不同反应的影响。

不过这一模型仍然存在某些局限性，如效用局限于已知的Feature的线性组合，假设感知问题已经得到解决，对车辆运行进行了简化，等等。

而且我们不能用一些线下训练的模型来用来套到实际的驾驶中，万一遇到之前那个不肯避让的卡车司机就麻烦了。所以需要对每个司机的行为进行具体的估计。

通过对人类司机驾驶轨迹的观察，可以推断出司机的驾驶风格：比较激进或者比较保守，并采取正确的策略。如判断对方是一个保守型的司机的时候，在其前面变道超车对方通常会避让。

像这种情况的激进型司机，无人车只能放弃变道。

而在十字路口的例子中，无人车需要判断这个司机是否注意其他车辆的动作。

通过上述研究，机器人可以从丰富的指导模式中学习。简单来说，如果机器人能够理解它可能对人类情绪造成的影响，就可以更好地进行决策，并在更广泛的领域与人类进行有效协作。

其中的部分成果可能被整合到Berkeley Deep Drive的研究项目中，并借由汽车产业链中的公司形成落地应用。

PS：2018 年 1 月 16 日，雷锋网新智驾将在旧金山湾区举办 GAIR 硅谷智能驾驶峰会（更多详情访问：https://gair.leiphone.com/gair/gairsv2018） ，来自学界、互联网巨头、传统车企以及新兴技术企业的众多从业人士和探路者将到场分享。届时Anca Dragan将到场进行主题分享。

。