2017是苹果发力AR的一年,其带动了2017下半年AR市场的整体发展。
这一年,CEO库克在各个场合强推AR,在他看来AR对苹果的重要性,正如iPhone对苹果的重要性一样。
苹果在AR硬件和软件上都取得了很多突破。 6月苹果推出ARKit,使得上亿的iPhone设备一夜间拥有高品质的AR功能;9月上线搭载ARKit的iOS 11上线至今,App Store中已经有超过1000款AR应用;iPhone X搭载专为AR优化的A11仿生芯片、原深度摄像头和神经网络算法;苹果AR眼镜将采用独立芯片、搭载rOS系统,最早2020年发货。
ARKit改变AR生态
苹果要做 AR 早就不是什么新闻,Tim Cook 也多次在公开场合表明看好 AR。WWDC上苹果公布了自己迈入 AR 领域的第一步——针对 iOS 11 推出 ARKit。
在WWDC上,苹果演示了宜家用ARKit实现的Ikea Place功能,在你选择家具的时候,可以直接把虚拟的家具放置在真实的房间中,虚拟家具会按照1:1还原,这样在购买前就可以很直观的看到家具的摆放效果。
苹果还演示了ARKit对Pokémon GO的升级。2016年7月,Pokémon GO火遍全球,上亿人加入了这场捕捉虚拟宠物精灵的AR游戏中,感受到AR的魔力。然而,Pokémon GO只是低端的AR应用,其实现方式只是将虚拟物体叠加在手机相机图像流之上,虚拟宠物精灵只能漂浮在现实世界中,没有真实可言。ARKit可以使得宠物小精灵站立在地面上,扔出去的精灵球还可以在地面上弹跳,也就是说虚拟物体与真实世界有了互动。
ARKit是苹果迈入AR的第一步,使得上亿设备瞬间拥有AR功能,也使开发者不需要任何别的工具,可以轻松利用ARKit开发AR应用。ARKit的推出直接改变了AR技术的格局,AR市场的生态。
硅谷AR投资人Matt Miesnieks指出,ARKit的基础技术是视觉惯性测量(VIO)系统、简单的2D平面检测。ARKit可以被看成轻便的SLAM系统,可以将3D虚拟物体放置在真实的平面中,使得虚拟物体在平面上运动,还可以追踪用户的相对运动。而ARKit神奇之处和攻破的难点在于其实现了单目3D成像、计量尺度获取。(延伸阅读:大神揭秘:苹果 ARKit 凭什么碾压对手?)
ARKit使用的VIO系统其实和市面上已经有的Vuforia 、谷歌Tango、HoloLens等没有差别。雷锋网了解到,ARKit的VIO技术来自于其收购的FlyBy公司,而该代码库已经授权给Google,成为 Tango 的 VIO 系统。大神Matt认为ARKit的优势在于苹果公司可以负担得起将 VIO 算法紧密耦合到手机传感器上,并花费很多时间来校准 VIO 系统,以减少计算空间位置时产生的误差。
谷歌Tango早于ARKit,但是Tango是一套独立的软硬件设计参考标准,当时支持Tango的只有联想的Phab 2 pro和华硕的ZenFone。Google的AR技术积累早于苹果,但是由于没有整合好软硬件,被ARKit抢占了先机。此时,Google显得十分尴尬,要么推出单目AR SDK,要么强推Tango让安卓手机硬件升级。
显然,Google选择了前者,在8月,Google发布了ARCore,正式与ARKit开战。ARCore被看作是轻量级的Tango,可以支持Samsung S8和 Pixel系列手机。Matt认为,“作为技术解决方案,ARKit和ARCore的能力非常接近。ARKit 在集成和跟踪方面具有一定的技术优势; ARCore 在建图和重定位方面具有一些优势。可是这两个优点大多是专业的计算机视觉工程师才能看到的。”(延伸阅读:大神解读:谷歌 ARCore 就是低配版 Tango,它比苹果 ARKit 好在哪?)
库克在采访中也回应了ARKit与ARCore的竞争,他说到:“Android的市场更大,但过于分散以至于谷歌无法确定手机新功能的诞生需要多长时间。尽管苹果和三星一直在争夺手机市场的第一把交椅,但苹果的手机销量远高于竞争对手。更重要的是,苹果公司自己打造手机制造软件和硬件,这使得它在AR和其他领域都处于独一无二的优势地位。谷歌也在对它的Pixel手机系列做同样的事情,并整合了良好的虚拟现实功能,但这些手机的销量并不大。”
苹果发布ARKit支持iPhone 6S及以上机型,瞬间就有上亿用户,而安卓OEM厂商接入ARCore或许还得等上大半年。不难看出,ARKit的推出刺激谷歌发布ARCore,让安卓市场也接入AR。但ARKit对AR格局的改变还不止于此。
阿里巴巴天猫互动技术专家蒋佳忆曾发文分析ARKit对AR眼镜厂商、AR SDK公司、AR软件玩家的影响。在他看来,ARKit首先以手机AR的形式教育大众,对AR眼镜未来的普及是铺垫作用。AR SDK玩家比较惨,近一年几乎所有SDK公司都在基于单目做SLAM算法的研发,而苹果解决这个问题后,这些玩家智能转而在ARKit基础上做扩展功能。例如,uSens凌感推出可以适配低端安卓机型的AR技术平台。AR软件玩家如Snapchat和Facebook受到影响也很大,Snapchat的World LenseAR功能推出时是创新,FaceU,B612这样的小玩家有了ARKit之后,就可以立马实现Snapchat的AR功能。(延伸阅读:如何评价苹果在 2017 WWDC 上发布的 ARKit?)
此外,值得注意的是,国内BAT在ARKit推出后,纷纷加入搭建AR技术平台和落地应用。阿里巴巴、百度、腾讯、网易、京东都纷纷开放了自己的AR技术平台,这些AR技术平台将帮助开发者、企业更快速地在这些大平台上实现AR功能。AR能够真正在落地场景中改变购物、社交和出行。2017年AR的基础技术和应用生态迅速铺开。(延伸阅读:腾讯详解 QQ-AR 开放平台,让全社会参与进来,专访赵刚 | BAT 之后,京东为何也加入 AR 战场?)
硬件升级,iPhone X专为AR打造
9月12日,苹果新品发布会发布了iPhone 8/8 Plus, iPhone X和搭载ARKit的iOS 11以及新的人工智能仿生芯片A11。
整个发布会,AR占据了很重要的位置。苹果营销副总裁Schiller 称iPhone X这是“第一款真正为 AR 打造的智能手机”。
此前,普通的手机利用一些AR SDK也能实现AR效果,例如去年春晚的AR抢红包。在AR场景中,摄像头是AR的入口。Schiller介绍到,新iPhone的摄像头专门为 AR 而校准,刷新率达到 60fps,全新陀螺仪和加速计,以及准确的动作追踪。此外,AR算法对GPU、CPU要求非常高,A11仿生芯片让 iPhone 的 AR 功能可以更好的实现,CPU 可实现较好的追踪,GPU 能渲染更真实的图像,以及 ISP 实时光照。
Oglass 苏波对雷锋网说:单纯从ID(Industrial design)来看,iPhone 8几乎没有什么创新之处。但是有了AR功能的iPhone相当于再一次发明了手机。如同最初,iPhone把功能手机进化为智能手机。这一次,智能手机又将进化到AR机。
WWDC上ARKit的推出让大家看到了苹果在AR技术上的实力,而在此次的新品发布会,苹果在软件和硬件两方面的AR布局更为清晰。很多业内人士相信,苹果或许会打造出一套新的AR操作系统。(延伸阅读:苹果大举押注AR,或将撬动整个行业?)
ARKit功能简单,半年来无爆款应用
前面分析的都是硬件、软件的基础技术进展,而ARKit给用户的生活带来改变还得看内容。发布会上,苹果展示了四款基于ARKit打造的内容。两款AR游戏《The Machines》和《Warhammer 40k:Free Blade》,MLB(美国职棒大联盟)的《At Bat》,还有一款可以看星星的《Skyguid》。
(《The Machines》游戏画面)
《The Machines》由上海创业团队Directive Games打造。《The Machines》是一款即时战略游戏,可支持两名玩家在战场上控制各自的英雄,对抗和消灭对方的基地和防御塔。这款游戏在China Joy演示时,一些玩家兴奋地围着桌子跑来跑去。
AR游戏不仅使得游戏以3D的方式呈现,最令人着迷的地方就是让玩家在真实空间中动起来。然而,这依然ARKit能支持的只是放置在2D的平面上的3D游戏,不是真正的与真实场景相融合的3D。
此后,App Store中的AR应用大幅上升,除了AR游戏以外,AR小工具,例如AR尺子、AR绘画等App数量最多。然而到目前为止,AR应用数量高达1000,我们依然没看到一个能超过《Pokémon GO》的爆款。(延伸阅读:苹果第一批AR应用上线,我们帮你试了哪个最好玩!)
体验过多款ARKit的内容之后,雷锋网(公众号:雷锋网)发现,目前ARKit实现的应用都需要有以下一些基本的操作:用相机扫描一个平面进行定位、将虚拟物体放置于平面、虚拟物体在平面上运动。根据ARKit开发的游戏让普通用户很费解。大多用户都无法理解在打开AR应用前,为什么要用相机去扫描平面,而且扫描经常需要20多秒的时间,还时常失败。
为此,苹果专门发文解释ARKit设计过程需要遵从的流程:如何让用户快速理解AR操作、AR的人机交互与智能手机有何不同等。比起已经有一套统一的规范和标准的手游,AR游戏的每一步都还需要开发者去探索,去填坑。(延伸阅读:苹果官方给ARKit开发者的22条建议,你家AR应用做到没?)
在WWDC上,库克大力赞扬ARKit,他对分析师们说:“这是我们将回顾的重大事件之一,是一个令人惊叹的开始。”但是在iPhone发布会上,ARKit却没有被大力提及。因为其实现在ARKit和ARCore都只是1.0版本。只给开发者提供了三个非常简单的AR工具:手机的六自由度位置和坐标数据、局部小型的平面、简单的场景照明。仅仅用这三个工具,你真的无法创造出令人印象深刻的东西。
AR要真的改变游戏、娱乐、购物等生活场景,需要很强的3D重建能力,也就是说原生AR应用要可以实现数字信息和物理空间或人的交互。例如,当你在桌面放置一个虚拟的水杯,这个水杯能被前面的台灯遮挡,这样你会分不清哪些物体是虚拟的,哪些是真实的,有了3D重建能力,这些AR物体还可以长久地停留在真实空间中。只有这样,我们才能真正实现,虚拟和现实相融合的愿景。
此外,AR其实是一种图像的输出,而AR要改变人们的生活场景,还需要更多的输入。这需要与AI的发展相配合。例如,美图应用将计算机视觉等AI技术与AR技术结合,产生了AR美拍、AR试妆、AR试穿等功能,这些功能将真的改变购物。雷锋网也了解到,微软正尝试将人工智能聊天机器人微软小冰与AR相结合,这样你就会拥有一个有虚拟形象的AI助手。在一些业内人士看来,在未来的人机交互里,AI是输入、AR是输出。
AR要改变大众的生活,单靠ARKit显然难以做到。(延伸阅读:大神揭秘:为什么ARKit失去了AR云的支持,就会毫无意义?, 独家| 阿里机器视觉专家李名杨:AR是AI的一种体现方式)
苹果AR眼镜或于2020年上市
2017年,苹果做AR眼镜的消息频出,但是苹果一直没有正面回应。
几年前,苹果便已经组建团队,致力于 AR 相关的项目开发。这支团队由 Mike Rockwell 带领,工程师已经达到数百人,现在他们进行着一项代号为“T288”的软硬件项目。该团队的第一个产品便是 ARKit。显然,下一步的进展便是AR眼镜。
关于苹果为何先推出手机AR,库克在10月接受《独立报》采访中回答到:“AR要理解世界需要大量的技术,目前的技术只能将AR运用于iPhone或iPad之类的先进设备中。如果将AR应用于其他设备上,那么你永远不会获得这样的商业机会,不会有1500万个设计者说我想借助AR释放我们的设计激情。”
手机AR可以帮助苹果迅速在AR市场布局,同时,AR眼镜的技术还需要时间来积累。库克也说道:“好的视场技术和高质量的显示器都尚未出现,”他说。像所有产品一样,苹果公司只会在保证品质的前提下进军新的领域。“我们不在乎成为第一,但我们想成为最好,提供一流的用户体验,”库克说:“但现在可以在市场上随时都会看到的东西并不是令我们满意的产品,我也不认为绝大多数人会感到满意。”(延伸阅读:苹果CEO蒂姆·库克:ARKit将和App Store一样成功)
早在2011年,Google就推出Google Glass消费版本,虽然失败,但是目前Google Glass企业版本在工业应用上很受欢迎。2012年推出的HoloLens依靠其强大的SLAM技术也已经斩获不少工业应用合作伙伴。国内外其他小厂也已经发布数款AR眼镜。苹果在AR眼镜上没有抢到先机,目前似乎只能采取稳妥的布局。
11月彭博社的一篇文章终于让我们看清楚了苹果在AR眼镜上的进展,包括其显示、芯片、操作系统、应用商店等。最振奋人心的是,彭博社透露苹果的目标是在2019年储备好AR眼镜技术,产品有望最早在2020年发货。
苹果做AR眼镜依然也很苹果。苹果正在自己研发 AR 头显的芯片。从概念上来说,这款芯片会跟苹果手表的芯片一样,集成度非常高。这样的芯片能把更多的元器件,比如说图形处理器、AI 芯片、CPU 等,集中在一小块区域,耗能也将减少。操作系统方面,苹果内部将其称为“rOS”(reality operating system),基于 iOS 系统。如同 Apple TV 的操作系统是 tvOS,Mac 电脑的操作系统是 macOS,Apple Watch 的操作系统是 watchOS 一样,rOS 将是苹果 AR 头显的操作系统。AR 头显也会使用已有的 APP Store,可以像 iPhone、Watch、Apple TV 和 Mac 一样,用户能自己下载内容。(延伸阅读:揭秘苹果AR眼镜:独立芯片、rOS系统,2020年发货)
苹果的AR眼镜令人期待,可惜Magic Leap抢先在2017年底发布了其Magic Leap One创造者版本。这款让大家等待6年之久的AR眼镜终于浮出水面。官方介绍Magic Leap One具备数字光场、视觉感知、持久显示、声场音效、高性能芯片、下一代交互界面。从Magic Leap One合作的应用我们看到,其AR应用已经开始改变音乐、游戏、社交等多个领域。Magic Leap的光场显示和场景理解能力可以说是目前AR技术的前沿,这些技术是否让库克满意,苹果的AR能超过Magic Leap One吗?这很值得期待。 (延伸阅读:耗时6年,总融资近19亿美金,外媒《滚石》万字长文揭秘AR眼镜 Magic Leap One(上))
总结
AR/VR被视为是下一代的计算平台、新的人机交互界面。各大巨头都在布局VR/AR,在AR上,苹果并没有抢占任何先机。而今年ARKit的推出,着实让人感到惊艳。凭借自身闭合的软件和硬件生产链,苹果让6亿iPhone设备瞬间拥有AR功能,成千上万开发者利用ARKit可以直接开发AR内容,大众不用购买任何新的设备就能体验AR。
ARKit改变了AR基础技术和AR应用市场的整体格局,刺激了2017年AR的整体发展,使得2017成为AR发展关键的一年,也成为苹果押注AR的关键一年。
当AR真正如智能手机一般成为我们生活必不可少的一部分,回头看,2017年会是值得纪念的一年。
。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/91917.html