以AR视频记忆球重现场景记忆，详解ARKit应用Rememball

生命中总有很多美好的瞬间，我们渴望能够重现。

去年，迪士尼和皮克斯共同打造的动画电影《头脑特工队》就带领我们在大脑记忆中来了一场奇幻之旅。

我们看到在主角茉莉的大脑中，有一座记忆图书馆，这里存储着黄色、红色、蓝色、绿色、紫色的水晶球，装满了我们欢乐的、愤怒的、忧伤的、厌恶的、恐惧的记忆。当控制这些情绪的小人拿出不同的水晶球，茉莉就会重新经历当时的场景。

“如果记忆有形状，应该就是水晶球的样子”，Rememball团队负责人王思前这样说到。

受到头脑特工队的启发，王思前和他的团队一起打造了一款AR应用——Rememball，以AR视频记忆球的方式重现我们的记忆。

Rememball是一款基于苹果AR平台ARKit的应用，11月初上线iOS应用商店，目前已有几千的天使用户。

还原记忆到真实场景

打开Rememball，手机自动开启相机，点击屏幕下方的球形按钮，就可以录制视频。

视频录制完之后会生成一个AR视频球，它会悬浮在你视频录制的位置。通过应用界面，你能看到你录制的所有AR视频记忆球，并且能围绕它们走动。视频记忆球上有角度的标记，当你移动到标记的角度时，你能看到视频球与拍摄的环境重新融为一体。就像将其在同一地点再现了一般。

正如他们的标语：You are more real than video。他们希望以AR+定位的方式将视频记忆保存在现实场景中，并且能够将视频记忆还原到当时的场景，就像是记忆重现一样。

目前，Rememball针对的目标用户主要是亲子。

他们此前曾经做了三年的视频通讯产品，认为目前的视频通讯产品都不能达成沉浸式的真实沟通。从垂直领域来看，他们观察到目前的家庭结构在逐渐崩塌，亲子之间的互动和陪伴越来越少。他们想做一款沟通、陪伴的视频产品。他们在做视频通讯时发现80-90%的视频录制都是发生在亲子、亲友之间。

基于ARKit的开发与产品设计

自苹果9月正式发布iOS 11及ARKit以来，国内外不少团队开始使用ARKit打造AR应用。雷锋网此前曾报道多篇关于ARKit的技术解析文章，也介绍了多款基于ARKit开发的应用。ARKit提供了三大基础的AR技术：平面检测、手机的六自由度位置和坐标数据、场景照明。这样，AR游戏可以在现实世界获得一个平面，然后将AR内容放置在平面之上，AR内容和人可以有运动交互。但是目前的ARKit由于还不能理解环境、识别物体、多人游戏、语音交互等问题限制了应用的场景和设计。

在与国内首款ARKit打僵尸游戏《Dead Lands》团队探讨时，雷锋网也发现，ARKit的平面检测功能还不够稳定，经常出现扫描失败，AR内容出现在错的位置等问题。另外，用户也反馈难以理解AR应用的使用方法。

Rememball如何面对这些ARKit开发的“坑”的呢？

雷锋网在体验后，发现Rememball在产品交互设计上有不少细节处理。首先，用户在进入App之后，会看到一个记忆球中漂浮着的卡通熊猫，语音会引导你绕着记忆球转圈。在这个语音引导的过程中，Rememball想要告诉用户，用户可以动起来，通过走近走远来改变与记忆球的交互。

点击屏幕中间唯一的按钮录制视频后，语音会提醒你向上滑动记忆球就能保存，向下则是抛弃。

保存下来的记忆球上带有位置和角度信息，这样当你根据记忆球上的角度信息去观看时，你会发现记忆球中的内容与场景完全融合，就像时间倒流一样神奇。

Rememball的关键是要把视频录制的内容与背景环境无缝结合，这是怎么做到的呢？

王思前告诉雷锋网，Rememball在录制视频时会记录几个信息，LBS+GPS+ARKit本身的相对位置，同时还加入了图像识别的功能去做记忆球中的视频内容与真实环境之间的匹配。加上图像识别是因为仅靠位置信息是不够准确的，必须加别的信息来做辅助定位。

在还原的时候有一套特定的算法，计算角度信息和记忆球与用户的相对位置、在视野中占的比例，然后再还原为拍摄时的场景。

王思前认为AR应用的所有操作都应该与真实的行为一致，应该去掉屏幕点击这些操作，目前他们的应用除了录制视频按钮，没有任何的按键。他们在应用中内嵌了行为分析，如果用户一直点击手机屏幕则说明用户没有理解AR应用的玩法，那么Rememball会再出现语音提示。

未来想实现的是全息通讯

王思前告诉雷锋网，Rememball的想法产生于一年多前，9月ARKit发布后他们的想法才成形，在11月初上线到现在的一个月，他们每周能迭代三个版本。由于王思前做了好几年的视频通讯产品，他很熟悉如何去做一款to C的产品。

现在用户看到的还是Rememball的初代产品，其功能在不断地迭代。

王思前告诉雷锋网，目前AR视频记忆球还是2D的，但是他们希望做成3D的，也就是以后记忆球可以直接展开，就像人物重新回到了场景里。而更远的未来，他们希望能够做到全息通话，通过多个深度摄像头进行三维重建，然后实现三维的影像通话。

在雷锋网看来，“全息”当然是我们渴望的未来通讯方式，目前，国外微软、8i，国内的Owlii等团队都在努力用”动态三维重建与传输“技术与AR显示来实现”全息传送“。”三维重建“也被用来保存记忆，例如8i就主打亲子，录下妈妈与孩子之间的互动。但是目前三维重建实现起来成本还很高，需要多个深度摄像头，强大的后台压缩传输能力。

8i目前已经录制了很多名人、艺术家的三维重建影像，但是他们似乎没有找到一个真正让这些内容应用爆发的点。

Rememball的特色在于他们利用了ARKit的AR技术，同时加入了图像识别等AI技术，使得用户可以轻松简单地保存记忆。当然，三维影像与Rememball也会很合适。

雷锋网此前也报道了国外一款AR与LBS结合的图片分享社交应用Placie，Placie相当于是一个LBS版本的Instagram，而Rememball要做的是真正的重现场景，更为沉浸，更为私密。

但是，雷锋网(公众号：雷锋网)体验多次之后发现，Rememball的这种方式需要用户很高程度的参与，毕竟，他们要做的不是泛社交的视频平台，而是深度的视频通讯应用。

王思前和Rememball团队5-6个人属于第一视频集团旗下，第一视频投入了不少资金孵化这个项目。关于商业模式问题，王思前认为他们目前主要是积累用户，以后可以依靠APP的开屏广告，AR内嵌广告等盈利。

。