突破“二向箔”的束缚，详解三维触控技术

雷锋网(公众号：雷锋网)按：本文首发“前哨团”。作者李一雷，UCLA博士生，高通（射频组）实习工程师，矽说（微信号：silicon_talks）主笔。

| 触摸屏技术的回顾

触摸屏技术至少可以追溯到上世纪70年代的美国伊利诺伊大学，当时科学家们把这项实验室里的最新成果安装到了PLATO IV计算机上用于课堂辅助教学，触摸屏由此第一次走出实验室正式进入实际应用阶段。不过，触摸屏的技术并不成熟，商用价值在此后的很长时间内也并没有被发掘出来。到了90年代，触摸屏出现在高端PDA（年纪稍长的读者一定还记得快译通和文曲星）中，可惜仍然不温不火。

一方面，PDA的市场规模并不大，另一方面由于触摸屏的精度有限，大多数PDA用户还是更喜欢直接用实体键盘操作。2004年，任天堂的掌上游戏机NDS在全球热卖，其最大的卖点就是NDS拥有两块屏幕并且其中一块是触摸屏，于是触摸屏随着NDS的流行而进入了更多人的视野。

不过，直到那时候，触摸屏的使用还是局限于特定的人群。
真正让触摸屏走进千家万户还是要归功于苹果的乔帮主。2007年，初代iPhone发售，它重新定义了智能手机。在iPhone发售之前，智能手机的定义是“用户能够自主安装软件的手机”，而在iPhone发售之后，智能手机的定义变成了“屏幕可以滑的手机”，触摸屏对于iPhone来说是标志性不可或缺的模块。实际上，在手机上搭载触摸屏苹果并非首创，但是苹果iPhone使用触摸屏完全更新了手机的操作方式，在iPhone中引入了拖曳，缩放等手势操作，极大地改善了用户的操作体验。随着iPhone销量节节攀升，三星、HTC等公司也不甘示弱，纷纷推出了搭载触摸屏且操作方式类似iPhone的智能手机。一夜之间，地铁上再也听不到手机的按键声，因为所有人都开始用触摸屏“滑”手机。

触摸屏首次出现在PLATO IV计算机中(左上，此后陆续出现在快译通(右上)，NDS(左下)等设备中，最后苹果推出的iPhone(右下)让触摸屏真正走进千家万户

在iPhone推出之后，触摸屏并没有停止更新。

苹果iPhone使用的电容屏，极大地提升了操作手感，几乎使滑手机屏幕变成了一种享受。另一方面，为了使手机变得更轻更薄，屏幕制造技术也经历了out-of-cell到on-cell直至最薄的in-cell。相对于十年前的触摸屏，今天的触摸屏更薄，操作手感更好。

| 突破二向箔的束缚：三维触控

然而，人们对触摸屏交互方法的探索并没有到此为止。这里不妨再梳理一下手机与用户交互方式的进化过程。

最初，用户只能通过按手机上若干位置固定的按键来操作手机，这种方式可以称作一维的操作方式。在苹果引入触摸屏以及手势操作后，用户可以在手机触摸屏的二维空间里自由动作，因此可以称作二维的操作方式。如果我们的触摸屏不再进化，那么用户与手机的交互维度将会被限制在二维，就像《三体》中被二向箔击中的文明一样。

很自然地，我们会想到：既然人类生活在三维的空间里，为什么用户与设备的交互只能是在二维空间里呢？有没有可能实现三维的交互方法呢？

要实现三维交互，就必须能够实时捕捉到用户的手在三维空间中的坐标，并且根据用户手的三维坐标（及其变化）做出相应回应。

 幸运的是，科学家和工程师们已经开始开发三维触控来实现超越二维的人机交互。在具体地分析技术之前，我们不妨先来展望一下三维人机交互方法都能带来哪些革命性的应用？ 

1、游戏（含VR）

说到三维触控，大家首先想到的就是在游戏中的应用。确实，游戏是所有应用中对于交互方式要求最高的。使用与游戏相配合的专用交互设备，玩家才能完全体会到游戏的魅力（不信你用键盘玩赛车游戏试试），这也是为什么一些游戏需要开发专用外设（如早年《热舞革命》的跳舞毯，《吉他英雄》的吉他，各类赛车游戏的方向盘等等）。

当触摸屏在手机上刚普及时，《愤怒的小鸟》，《水果忍者》等一批完美利用触摸屏交互特性的游戏也获得了大家的青睐。当触摸屏可以捕捉到人手在三维中的动作时，在游戏中可以实现许多新的玩法。一个非常有潜力的方向就是和VR技术结合，例如类似《水果忍者》的游戏可以在三维空间内通过玩家的手势进行，《街头霸王》等格斗游戏的出招可以由玩家的真实手势触发，从而使玩家的代入感大大增加。

 3D触屏结合VR技术可以极大地增加游戏可玩性 

2、增强现实(Augmented Reality, AR) 

三维触摸屏很有潜力成为AR应用中人机交互的基础技术。

在AR技术中，用户佩戴的专用眼镜作为显示屏，通过计算机视觉技术将AR的图像界面与现实世界有机地结合在一起并投射到用户眼睛的视网膜上。当用户的手做出动作时，AR设备必须能准确地捕捉到手的实时位置并根据用户手的动作做出相应反应。三维触摸屏正是能够捕捉到手的精确位置，从而成为AR人机交互的基础技术。在AR技术普及后，不仅仅手机、电脑会用到三维触摸屏，甚至日常家具（如桌子，橱柜）的表面都可能需要支持三维触摸技术，从而让用户随时随地能使用AR。

增强现实将计算机图像与现实结合在一起（左），AR与用户交互方式需要能精确地捕捉用户手的三维位置（右）

| 三维触摸屏候选技术 

目前三维触摸屏技术尚处于探索阶段。现在最有希望商用的三维触摸屏技术有两种，一种基于毫米波雷达，另一种基于电容感应。 

基于毫米波雷达技术的三维触摸技术以Google的Project Soli为代表。今年五月份，Google正式发布了代号为Project Soli的三维触控模组。

那么，Project Soli的毫米波雷达是如何实现三维触控的呢？首先我们要清楚雷达的原理。

大家一定都看到过探照灯：在漆黑的天空中，探照灯的光束方向上的物体位置可以被看得一清二楚。探照灯通过不停地旋转改变光束照射方向，于是整个天空中所有方向上物体的位置就可以被一一探知。雷达也是一样，不过雷达发射的不是肉眼可以看到的光束，而是电磁波波束，并通过检测电路来探知波束方向上物体的位置。很显然，雷达也可以用在三维触控上：手就是需要检测的物体，通过雷达我们可以实时监控手在空间中的位置并让设备做出相应反应从而实现三维的人机交互，这也是Project Soli的原理。 

探照灯通过改变光束方向来探测目标（左上），雷达通过改变波束方向来扫描目标（右上），Project Soli利用和雷达原理来探测手的位置从而实现三维触控（下） 

那么什么是毫米波雷达呢？

它与电视里出现的那种巨大的雷达有什么区别呢？原来，雷达的分辨率和它发射电磁波的波长有关，发射的电磁波波长越短则分辨率越好，也即对物体探测位置越精确。但是，电磁波波长越短则在空气中的衰减会越大，因此如果物体距离雷达很远就会检测不到。

因此物体探测精度和探测距离是一对矛盾。

传统军用和警用雷达使用的是微波波段，因为传统雷达需要检测的物体通常尺寸很大，微波波段能做到大约10cm级别的分辨精度已经很够用了，一方面传统雷达需要有足够的探测距离才能满足使用需求。然而，10cm级别的分辨精度对于三维触控来说完全不够用。

另一方面，三维触控所需要检测的距离很短，通常手距离触摸屏的距离不会超过20cm。

最后，三维触控模组的体积必须足够小。

因此，Project Soli使用了波长为毫米数量级的毫米波雷达，理论上可以实现毫米级别的分辨精度。该雷达可以集成到硬币大小的芯片中，从而可以安装在各类设备上。 

下图是Project Soli使用的毫米波雷达传感芯片。

芯片大小约为8mm x 10mm，上面白色的小点应当是用来把芯片固定到主板上的焊锡球（bump）。芯片上还有天线阵列（绿色框内）用来实现波束成型。根据天线的大小我们可以估计出Project Soli使用的毫米波雷达波长大约在2mm-5mm之间。 

毫米波雷达用来实现三维触控可以达到很高的精度。然而，它的劣势在于功耗太大。目前即使最领先的毫米波雷达芯片也至少需要100mW以上的功耗，因此用在移动设备上会导致电池很快就用完了。这样一来，毫米波雷达触控比较适合使用在电源不是问题的设备上，例如大型游戏机或者电视机上的三维触控。 

另一种非常有前景的三维触控技术是电容感应技术。毫米波雷达技术利用的是动态电磁波，而电容感应技术利用的是静电场。电容感应型三维触控技术是目前电容触摸屏的增强版：电容触摸屏可以感应到与屏幕接触的手的位置，而电容感应式三维触控技术则增强了感应范围，在手尚未接触到屏幕时就能感应到手在空间中的三维位置，从而实现三维触控。

为了理解电容感应式三维触控的原理，我们不妨想象有许多热传感器组成的阵列，而传感器阵列上方有一个火苗（热源）。根据传感器的相对温度分布（即哪里温度比较高，哪里温度比较低）我们可以知道火苗在哪一个传感器上方（即火苗的二维位置），根据传感器的绝对温度（即传感器探测到的绝对温度有多高）我们可以知道火苗离传感器有多远（即火苗在空间中第三维的位置）。结合这两条信息我们可以得到火苗在空间中的三维位置。 

热传感器阵列可以通过相对温度分布和绝对温度来判断火苗在三维空间中的位置 

电容传感式三维触控的原理也是这样，只不过这里探测的不是火苗带来的温度改变而是手指带来的静电场改变。通过探测哪一个电容传感器探测到的静电场改变最大我们可以感应到手指的二维位置，而通过电容传感器探测到静电场改变的绝对强度我们可以感应到手指的第三维坐标，从而实现三维触控。 

电容传感式三维触控的优势在于传感器的功耗可以远远小于毫米波雷达（大约仅仅是毫米波雷达的十分之一甚至更小），因此可以安装在对功耗比较敏感的移动设备上。但是电容传感也有自己的问题需要解决，就是传感器之间的互相干扰。我们同样拿热传感器感应火苗位置来作类比。现在我们假设除了火苗会发热以外，热传感器自己也会发热。这样一来，如果火苗离热传感器距离较远，那么它带来的温度变化相对于热传感器自己的发热可能微不足道，从而热传感器需要相当高的探测精度才能根据温度变化检测到火苗的位置。

电容传感式三维触控也是如此：电容传感器之间的电场会互相耦合形成很大的电容，因此手指造成的静电场变化需要精度非常高的探测器才能检测到。好在随着电路技术的发展，即使微小的变化可以由高精度模拟放大器检测到，因此电容传感式三维触控在未来的前景非常光明。

目前在电容传感式三维触控已经出现在微软的pre-touch screen demo中，该demo可以实现离屏幕较近距离（1-2cm）的三维触控。

另一方面，不少顶尖高校的实验室也展示了基于电容传感原理的三维触控模块。

例如，普林斯顿大学由Naveen Verma教授领衔的团队成功地展示了基于薄膜电子的三维触控(目前成立了SpaceTouch公司)，有机会可以用在未来可弯曲屏幕上。

此外，UCLA由Frank Chang教授和Li Du博士带领的Airtouch团队使用传统低成本CMOS工艺制作的芯片配合普通手机触摸屏已经可以实现距离屏幕10cm范围内的三维触控。该芯片最初于2015年在国际固态半导体会议上发表（ISSCC，全球芯片领域最高规格的会议，号称芯片界的奥林匹克盛会），之后团队又乘热打铁将深度学习与三维触控芯片结合在一起用于高精度三维手势识别，并应邀在2016年的自动设计会议（DAC，全球电子设计领域最高规格的会议之一）发表了最新成果。

Airtouch芯片功耗仅2 mW（远远小于Google的毫米波雷达触控方案），且与普通触摸屏兼容，将来可以广泛地应用于手机等移动设备的三维触控。 

| 结语 

触控技术经历数十年的发展，到今天已经能够超越传统二维触控而进入三维触控领域了。三维触控会带来人机交互方式的革新，可以用于游戏、AR/VR等等应用中。目前较有希望商用的三维触控方案包括毫米波雷达（Google Project Soli为代表）和电容感应（UCLA Airtouch为代表）。我们可望在不久的将来就看到三维触控走入千家万户，成为人机交互的基本方式。                                        

。