凌海滨：未来AR要实现非平面的识别和跟踪 | 微软亚洲研究院院友会 |

11月14日下午，微软亚洲研究院院友会在微软大厦成立。活动上，亮风台的首席科学家凌海滨介绍了关于AR的一些情况，他表示，传统的AR主要基于较为简单的平面跟踪，未来在技术层面上还需要实现非平面的跟踪。

亮风台首席科学家凌海滨

凌海滨回忆自己2001年离开研究院，现在已经有15年时间了。他在2012年成立了专注于AR技术的公司亮风台。今年，关于AR方面，最具有标志性的两件事是AR游戏Pokemon GO，和腾讯QQ的AR火炬传递。以往AR多数应用在 toB 领域，而这两件事让AR大规模地应用在 toC 领域。

QQ的AR火炬传递由他们提供技术支持，能实现2D平面的相机追踪，算法精确度很高，但局限于平面上。Pokemon Go用到了类似slam技术，但很弱，还有很多提高到的余地。同时，这两件事也说明了AR技术还有待提高，不过从市场层面看，AR一定程度上到了爆发点，“好的产品设计和内容，和相对弱的AR技术结合，可能也会非常成功”。

QQ火炬宣传图

在他看来，传统AR基于较简单的平面，像Hololens、Tango都是基于多模态联合会更精准。另外，传统AR上，很多语义没有接入，主要因为一是发展的惯性，其次是语义理解很大程度上依赖于计算机视觉的发展，计算机视觉近年来发展也很快，可是AR的特点是集中在移动端。而移动端计算能力不够，如他们参与的QQ火炬传递，当时要求在iPhone 4上实现实时，所以语义理解上面还有待提高。

随后，他介绍到AR算法的基本原理。

先是通过摄像机拍到真实世界的视频后，加入传感器，如一些深度传感器。接着完整的AR系统要做两方面的理解，一是对环境的理解，二是作为闭环系统，要有交互理解，知道用户想干什么，才能去做交互。再有就是虚拟世界的3D模型，其实泛指就是内容部分，然后把模型根据理解在合适的地方放上去，也就是做渲染这块，合成视频，最后传到人的感知系统里面。这是AR的一个基本工作原理。

目前的AR项目，包括他们自己做的项目，大部分还是2D平面的识别和跟踪。跟踪平面很简单，但真实世界是3D的，如果对真实世界能有实时、精准的跟踪，就不需要对2D平面跟踪。

这也说明，AR技术公司需要努力的一些方向。从2D到3D的突破，他介绍到亮风台现在主要是做非平面物体的识别和跟踪，以及对真实环境实时的理解感知。他也介绍到，公司在slam技术上的一些进展。

发布会上的AR演示

不久前，他们在北京刚刚发布了新的AR眼镜HiAR Galsses，雷锋网(公众号：雷锋网)在文中曾写到他们slam技术上的三个特性。首先，能在移动端如手机上实时运行；保证流畅，因为没有系统能保证在跟踪过程中不丢，如果丢了，可以快速重新定位，让用户感觉不到；多平面检测建模。

同时，在非平面物体识别跟踪方面，由于手机要考虑到速度，模型不能太大，他们现在采用了简化版的深度学习算法，能实现实时。最后，他解释到，以前用平面几何体来承载AR内容，我们对世界的理解不仅是平面立体的东西，还有语义，比如我知道是人脸、脸上的眼角等等。现在他们人脸和手势上面有一定的进展。人脸方面，最新研发171个定位点，被应用到美图手机上。

。