详解“全息传送”黑科技首秀——天猫双十一晚会“明星到你家”是如何实现的

今年天猫双11晚会上，一场别开生面的“明星到你家”AR互动活动令人印象深刻。晚会现场，范冰冰、卢靖姗瞬间穿越到了所有观众家中。

这场活动不仅有大牌明星助阵，还有大量黑科技：真人动态三维建模与传输和SLAM、平面监测等AR技术。核心的真人动态三维重建与传输由创业团队Owlii实现，雷锋网特意采访了Owlii团队，全面解析“明星到你家”背后的技术实现和应用落地。

晚会现场的效果很魔幻。范冰冰走进一个魔术盒子，瞬间就消失在了舞台上。在现场连线范冰冰时，她已经出现在了观众的家里。这不是视频录制的效果，因为冰冰同时出现在了成千上万人的家里。 

这是如何实现的呢？ 

舞台上的魔术当然只是一个幌子，实际上是手机AR将范冰冰的“动态三维影像”投射到了每个人家里的真实环境中。

观众参与的方式是：打开手机天猫/淘宝 App→首页摇一摇→进入“明星到你家”界面，点击立即开启→前后水平移动手机，将光标对准地面或平面。

范冰冰和卢靖姗的3D影像就出现在了“千家万户”，更为神奇的是，观众可以走进摄像机的拍摄范围，与范冰冰和卢靖姗一同合影。这可不是和一个平面影像拍照，你甚至可以围着冰冰绕一圈，拍到冰冰的各个角度。 

在几分钟的瞬间传送结束后，卢靖姗还调皮地说，希望下次到观众家，能给做点好吃的！ 

真人动态三维重建与传输

据雷锋网了解，“明星到你家”活动的技术主要由两部分构成，真人动态三维重建和传输、手机AR技术。整个活动由天猫AR团队和一家专注“动态三维重建与传输”技术的创业公司Owlii合作完成。

Owlii负责生成范冰冰和卢靖姗的动态三维影像。Owlii告诉雷锋网(公众号：雷锋网)，他们采用了多个深度摄像头来拍摄，捕捉真人的外貌、表情和动作，然后再用软件处理深度图，点云，网格，合成贴图，形成三维动态影像。 

动态三维重建技术早已不新鲜，之所以说是黑科技在于压缩和传输技术。动态三维影像的体积通常特别大，而要在手机上传输则需要压缩在20M以下，这是非常难实现的。动态三维重建与压缩正是Owlii的核心技术。

雷锋网发现，“明星到你家”这个活动可以被称做是AR互动，但是却与现在我们通常见到的AR互动有本质的区别，从“全息传送”来理解这个活动的意义更为合适。

（微软Holoportation演示)

微软最先提出“Holoportation全息传送”这一概念。2016年微软在Build大会上演示了基于HoloLens的Holoportation全息传送技术。在Holoportation的演示视频中，我们看到远距离对话的两个人的影像都被传送到了对方所处的环境中，全息影像还可以被放大、缩小。

大部分的AR应用的内容是由计算机生成的三维虚拟物体。而“全息传送”以及“明星到家”的关键在于对真人进行三维动态重建，把人的动态影像传送到另一个环境进行交互。即使相隔万里，也能瞬间以全息影像的方式进行交流，可以说是人类传播技术的终极目标。“明星到家”这个活动的技术实现方式其实和微软全息传送是一样的，都是依赖动态三维影像重建与传输和AR技术。但是微软的是实时的和多人的，而“明星到家”是离线的和单向的。

目前，国内外有一些专注于动态三维建模和传输的公司，除了微软，还有美国公司8i。8i成立于2014年，专注VR/AR领域的3D人物成像，2017年获得由时代华纳领投的2700万美元B轮融资。

Owlii CEO 温子煜告诉雷锋网，“在实时这个上面，目前只有微软和Owlii做到了。”今年8月底在硅谷举行的2017SIGGRAPH计算机图形学大会上，Owlii展示了其基于手机AR的“全息传送——三维人物的重建与传输技术”。通过手机AR看到身处北京的工程师被“全息传送”到美国洛杉矶SIGGRAPH现场。

要做到实时传输，最关键的是三维影像的压缩技术。“去年，微软做实时的传输需要1Gbps的带宽，今年他们做到了50Mbps，而我们将实时传送的全息媒体流压缩到了10Mbps，离线的仅为2.5Mbps，仅用手机4G LTE的无线网络就可以实时加载和交互。虽然压缩的同时要保持图像质量很难，但是单说压缩到这么小，就是很难的事情。”

目前动态三维重建需要多个摄像头的拍摄环境，动态影像合成的工具，压缩的特殊算法，这些都导致技术在大规模应用上的障碍。温子煜强调他们的技术全球领先，但是他们也一直在寻找一个合适的应用场景，使得真人三维动态重建与传输技术让人眼前一亮。

手机AR实现“全息传送”

天猫双11晚会对新科技、新玩法一直很大胆。去年天猫双11晚会上就尝试了跨屏的AR互动，天猫请来了台湾女神林志玲，志玲姐姐在晚会现场将她身上穿的风衣脱下来，对着镜头扔出去，风衣穿过电视屏幕进入观众的手机屏，在手机屏上开展了一场抢风衣的AR游戏。

天猫一直在布局AR/VR技术。在2016年的双11，天猫推出了VR Buy+平台，支持VR购物。用户通过HTC Vive或者手机360度全景视频可以去到美国第五大道购物天堂，巴黎时尚商店。今年天猫推出了AR Buy+平台，全面发力AR购物，并且发布了自己的AR技术开放平台，支持更多开发者利用天猫的技术开发AR应用和内容。今年的双十一晚会上当然少不了秀一秀他们的AR技术。

Owlii完成对范冰冰和卢靖姗的动态三维重建和压缩之后，后面的工作由天猫团队完成。负责此次“明星到你家”活动的是天猫工程师蔡建平。蔡建平介绍到，此次活动采用了苹果ARKit工具来实现AR功能，而其他无法使用ARKit的安卓机则使用天猫自身的AR平台的SLAM、平面监测和运动追踪技术。结合owlii的解码sdk，和天猫、淘宝的渲染引擎，经过反复的适配和调适，天猫做到了适配全部高、中、低端手机，安装了天猫/淘宝App的上亿用户都可以参与这场“明星到家”的活动。

据Owlii介绍，由于这场活动是大牌明星、晚会盛宴，天猫对他们的真人三维重建的影像效果要求十分严格。尽管天猫因为Owlii领先的技术质量选择了Owlii作为本次伙伴，但是为了让消费者能够体验到更惊艳的互动效果，双方对人像质量设定了更高的标准，促使Owlii对软硬件系统进行了全新的升级，在提升人像质量的同时还将文件压缩到了更小的体积。Owlii针对不同手机终端压缩生成了多个内容版本，这些版本中最大的码率也不超过 5Mbps。

“明星到你家”这场大规模的互动活动正是Owlii想要寻求的令人惊艳的落地应用。同时天猫让上亿用户直接接触了“全息传送”这个黑科技，也熟悉了AR应用的玩法。未来手机AR和真人动态三维重建与传输技术或许会擦出更多的火花。

 当然“全息传送”是我们希望实现的目标，而不是止步于这样的离线式的、单向的互动。8i目前主打的是以真人三维动态重建来记录人的三维影像，保存记忆。而温子煜告诉雷锋网：“三维动态重建和传送技术是跟照片和视频一样等价的媒介，以前照片和视频能做什么，都可以换成3D的形式，以前拍照片来记录自己美丽的时刻，现在用3D重建来全方位完整记录场景，保存回忆，以前视频可以做远距离会议，现在3D重建和传输可以让你真的出现在会场。”

相关文章：

照片/视频/直播都弱爆了！Owlii要以实时全息传送改变社交

。