商汤科技：幕后技术解析之幕前“智能车舱”新体验

解决车与乘客关系的智能车舱的最高境界是什么？

对个人来说，是一位懂你的机器“知己”。你心里心外的喜怒哀乐，以及各类需求，都会得到及时准确的回应。

而商汤科技将此形容为，智能车舱的高境界“智能”是接近于“无感的舒适”。

什么是“无感的舒适”？作为一家刚刚成立五年人工智能平台公司，商汤科技在本次上海车展期间展示了其完整的“智能车舱”产品与解决方案，能为未来新一代车载智能系统提供身份识别、疲劳检测、分心检测、刷脸开门、视线追踪、手势识别、乘客属性分析七大功能。

商汤科技其核心技术在于计算机视觉与深度学习，进而实现智能车舱具备高精度的优势，并可支持不同的软硬件平台，为在不同车辆上的落地推广提供便利。

其实，像上述刷脸开门、身份识别、手势识别等功能在不少车型上搭载应用。

但相比于其他智能车舱产品，商汤科技的这套解决方案对于硬件要求比较低，其用自身多年积累的图像图例算法可以弥补硬件的不足，而这关乎整车厂非常看重的成本，稳定高效且成本低廉正是商汤科技的核心竞争力所在。

轻度体验智能车舱

事实上，智能车舱出现在中高端车上，实现功能大同小异。到底商汤科技的智能车舱感受如何？雷锋网新智驾按照其体验功能与流程描述。

刷脸开门&身份识别：当“司机”靠近车辆触发门把手处的微动开关时，人脸识别功能同时被唤醒，此时，人脸识别系统会抓拍人脸，并与云端注册过的车主进行比对，确认车主身份并解锁车门。

此外，在人脸比对的过程中，系统还同时启动了活体检测提高安全性，无需驾驶者做出多余动作即可完成该监测。

通过刷脸通过认证解锁车辆的同时，其实身份识别也就同时完成了，这一功能的实现其实可以拓展出许多个性化功能，例如在车主上车时便根据车主信息自动调整好座椅、方向盘和后视镜的位置，空调设定好温度等。

值得注意的是，该智能车舱系统在车内布置有两个成本很低的常规摄像头。

商汤科技产品与战略执行总监许亮告诉雷锋网(公众号：雷锋网)，两个摄像头其中一个用于采集驾驶员的信息，另外一个用于采集车内乘客的信息。

也就说，这一智能车舱的车主身份认证等一系列图像识别处理能力的实现依靠的是两个常规摄像头。

对此，许亮进一步说道，基于商汤自主研发的深度学习平台SenseParrots，不需要后台有大规模的服务器，在端上就能完成轻量级计算，目前该平台大量布局在手机、汽车、楼宇等垂直场景。

此外，商汤在北京、上海、东京设立了超算中心，有超过15000块GPU来支持算法训练，其中包含17个GPU的集群，每个集群针对一个垂直算法领域做特定化的训练。最大一个集群的规模接近2000块CPU。超算中心带来的强大算力，是他们支撑人工智能算法不断迭代的核心要素之一。

疲劳检测&分心检测：为了保证司机的安全，该智能车舱利用驾驶员传递出的信息可以实现疲劳检测、分心检测和视线追踪等功能。

具体体验来看，通过摄像头捕捉人脸信息，以及对眼睛睁闭眼状态、打哈欠频率进行综合判别，必要情况下给出疲劳报警信号；

通过对驾驶员头部的转动和视线方向进行追踪，已确认驾驶员的注意力是否在路面上，并输出3个等级的分心驾驶报警信号；

通过捕捉头部和眼睛动态，实时识别驾驶员正在注视的车内区域，如遮阳板、路面、仪表盘、中控显示屏、内后视镜、车外后视镜等，并可根据不同客户需求定制出不同的功能，比如中控显示屏的自动开启和黑屏、HUD显示内容的随动等。

手势识别：在实际体验过程中，印象深刻的是该手势识别可以“隔空”点赞收藏音乐，据雷锋网了解，目前，商汤科技已开发超过20种标准动静态手势, 并可支持订制，在体验车上用到了其中的11种。

此外，商汤希望把手势识别加上头部识别和人脸识别的内容，进行综合娱乐的交互，这才是真正能够落地的状态，才能真正替代掉触摸屏。

乘客属性分析：车内另一摄像头可采集车内乘客信息，在不同光照条件以及不同光照角度下，可以精准识别车内人员的性别、年龄、车内位置，甚至是情绪等，并可根据需求实现定制化的物品检测，比如说手机、电脑等贵重物品。未来，这一功能可应用于对后排儿童乘客的特别看护、遗失物品检测与告知等场景。

在体验整个智能车舱的过程中，可以发现商汤科技利用摄像头就可以满足客户和消费者所需要的智能化脑洞。其实，这一切都依托于商汤科技在计算机视觉与深度学习技术领域的深厚积淀，从而推出了完整的智能车舱产品与解决方案。

实战智能车舱的核心技术

近年来，在人工智能、新能源、共享出行和V2X 等社会趋势的支持下，汽车产业迸发出无限的发展空间。从近期的上海车展就可以看到，智能车舱产品备受业内关注。

但在商汤科技看来，智能汽车市场的整体反馈周期比较长，不同类型车辆所搭载的芯片、硬件设备都有差异，面向人群的针对性也不同，因此智能车舱的全面落地还需要持续蓄力。

许亮以手势识别应用举例道，目前来看，手势识别是很多人关注的功能，通过对手势的识别，可实现车辆功能的控制，如调节音量、切换歌曲、控制车窗等。但实际应用中，由于不同客户对于手势代表含义的定义可能不同，这使得消费者需要记住每个手势所代表的含义，反而增添了操作上的麻烦。

因此，在不断提升手势识别精度和复杂度的同时，也应当推动行业形成统一的手势含义标准，让这一功能真正方便消费者的使用，而不是仅追求“炫酷”。

此外，不同车辆搭载的芯片等级、容量不同，想要推进只能车舱的普及，就需要不断提升自身SDK产品的普适性。尤其是车载主机日趋小型化、轻量化，单一SDK提供的功能越多，对于主机的占用量就越少，使用体验也能够得以提升。

据雷锋网了解，目前部分整车企业、互联网公司、汽车零部件厂商、电信运营商、自动驾驶公司都有投入研发并推出自己的智能车舱。

那么，对比于其他供应商，商汤科技的核心技术体和优势体现在哪里？

商汤科技交付管理总监陈永波表示，商汤科技智能车舱具有以下四大优势：

其一解决方案内容完备：只需借助IR摄像头，配合车规主流芯片就能覆盖车内和车外的完整视觉解决方案。等同于将人脸识别设备、疲劳检测设备、注意力检测设备、手势识别设备、分心动作识别和属性检测设备六合一的效果。

其二识别算法高精度：针对红外摄像头深度优化，迎接车内复杂的光照条件的挑战, 满足全天候识别检测需求。

其三低成本：CPU指令集级优化，毫秒级响应，更低成本硬件平台同样技术性能。

其四多平台支持：支持不同软硬件平台，X86，GPU, ARM 架构芯片和Linux/Android系统。

同时，商汤智能车舱DMS的实地验证和测算已经大面积展开，同时该智能车舱还将结合公司在智慧城市、手机、互联网娱乐、金融、零售等行业场景的丰富经验，深耕V2X物联网应用，开拓汽车与支付、导航、娱乐等的跨界结合。

主机厂环绕的商业路线

2018年，商汤科技智能车舱产品实现量产落地以来，收获了多家国际Tier 1供应商，更有超过10家国内和国际OEM厂商定点商汤作为车载视觉技术提供方，例如奔驰、凯迪拉克、奥迪、上汽、比亚迪、威马等，部分如下：

与伟世通合作：在本届上海车展上，商汤科技也与伟世通达成战略合作。通过合作，伟世通与商汤科技将共同研发，将商汤的驾驶员身份识别、疲劳检测、分心检测等技术，与伟世通先进的SmartCore和DriveCore相结合，为满足不断提升的智能化人车交互需求。

与威马合作：2018年10月，搭载了商汤人脸识别技术的威马EX5正式上市交付。商汤技术不但帮助威马EX5实现了驾驶员身份验证，降低盗抢风险，提升车辆安全性，同时能依据个人习惯进行车辆配置，极大提升驾驶者的个性化和智能交互体验。

与上海国际汽车城合作：2019年3月，商汤科技提供的智能车舱解决方案落地上海各区域38条线路上的“驿动班车”，实现驾驶员身份识别，疲劳、分心等状态实时监测与提醒。同时，商汤科技还为“驿动班车”乘客提供了刷脸乘车的智能体验与服务。双方还联合开展交通工况数据采集、交通场景大数据分析和处理，推动面向人工智能的基础数据平台建设。

由此来看，商汤科技既然在汽车垂直领域拥抱了十多家主机厂，就深知主机厂对智能车舱有哪些要求。

按照陈永波的说法，目前主机厂的痛点是在传统汽车向智能汽车升级的过程中，技术创新同样面临巨大的考验，对传统汽车主机厂商来说，想要跟上产业智能化转型的浪潮，新技术的积累与应用是必不可少的。

对于智能车舱产品来说，产品的交互性、体验性、个性化需求，已经成为主机厂商深度关注的问题。

因此，商汤科技智能车舱产品除了目前已经实现的功能外，还会继续开发ARHUD抬头显示、AR高精度导航、车内刷脸支付等功能，多样性的智能化功能有望推动车辆从功能时代进化到智能时代。

智能车舱下个风口：懂你

未来智能车舱的体验会是立体式的。

据雷锋网了解，真正的智能是要理解人的需求，智能车舱要能懂得人，做到服务找人。

因此，内容的智能化会是一个具有前景的方向。

在理解提高产品体验这一方面上，商汤科技从安全性和智能体验两大方向出发：上述的刷脸开门和身份识别的产品功能，以及驾驶员监控系统。

此外，商汤科技将基于对驾驶员人脸的识别应用，延伸到手势、眼球视线，创造别具一格的智能人车交互娱乐体验；同时，还可将识别范围扩展后排乘客，实现全舱的智能一体化，让智能车舱更具“未来感”。

也就是说，智能车舱接下来的重点发展方向一定是让整个系统更加懂得人，理解人的需求。

许亮认为，从市场来看，OEM市场的等待期比较长，一般需要一年半到两年的时间，而商用车市场的等待期通常相对较短。商汤将会配合市场持续推动智能车舱产品的落地，让消费者更快享受到技术带来的便利。

下一步计划

目前，商汤科技的智能车舱团队约有100人，主要集中分布在北京、上海、深圳。

此外，据雷锋网了解，商汤智能车舱与自动驾驶业务同属移动智能事业群，由于技术研发和产品需求上有所区别，分别由相应的团队负责各自部分工作。

按照商汤的规划，预计在2019年实现智能车舱大部分功能模块的量产，并期望在2020年上半年实现智能车舱的全面落地，从而以AI不断加码对智能汽车行业赋能，推动智能汽车产业升级与发展。

一直以来，通过对自动驾驶、智能车舱领域的深度探索，商汤科技希望充分发挥计算机视觉技术的赋能价值，更好地平衡车辆安全性与体验性，让每个人享受到AI带给汽车的安全守护和科技感，让未来出行更加安全、便利和智慧。

。