大多数80后、90后都曾有过这样的经历，皎洁的月光下，你看到一个极美的风景，于是掏出手机来拍照，结果只能够得到一张黑乎乎看不清的照片。这并非手机出了问题或者使用者操作不当，只是7、8年前智能手机拍摄能力真的做不到。
作为一个体积极度受限、无法以更大的物理尺寸换来更大镜头光学组件、传感器的拍摄硬件，手机的光学成像能力相当“有限”，也让“手机永远不可能替代专业相机”的论断一度是所有消费者的共识。
但近些年“计算摄影”的加入，智能手机的拍摄能力获得了新的提升路径。通过在光学采集信息的基础上引入计算能力，催生HDR、人像模式、夜景模式、星空模式等全新拍摄模式。这些新功能持续浮现、高速发展的同时，也开始反过来对计算能力和硬件提出全新的需求。
以近些年发布的旗舰级手机为例，虽然官方都会提供HDR、夜景拍摄等功能，但一旦选择最高的4K分辨率或者其他分辨率下的高帧率画质，附带的计算摄影功能就会无法使用。最直接的原因在于现有的手机SoC平台无法强力、高效地处理这样的需求。
OPPO自研芯片马里亚纳 MariSilicon X在5lux亮度下视频表现
在今天开幕的OPPO INNO DAY 2021未来科技大会上，OPPO官方放出了一段差距明显、4K极暗条件下的视频拍摄效果对比。“马里亚纳 MariSilicon X原型机”的效果明显优于苹果iPhone 13 Pro Max和自家Find X3 Pro，秘密在于它塞进了OPPO首款自研芯片、影像专用NPU芯片“马里亚纳 MariSilicon X”，极大地提升了计算摄影的能力和参与程度。
在发布新自研芯片再次突破手机计算摄影能力“天花板”的背后，是OPPO对于“自研芯片”首次集中展示的决心，以及部分他们未来发展的思路。
最深海沟命名，“马里亚纳”成色几何？
大部分中国消费者对于“马里亚纳”的记忆很可能还停留在中学的地理课上，作为地球表面最深处，马里亚纳海沟最大深度达到11034米，平均深度也超过8000米。OPPO选择以此命名，显然是想表达自己对于手机最底层的芯片发起冲击。
至少从首款芯片“马里亚纳 MariSilicon X”的产品细节和能力来看，绝对超出了大部分人的预期。
OPPO首个自研芯片马里亚纳 MariSilicon X
作为全球首颗为影像而生的专用NPU芯片，“马里亚纳MariSilicon X”采用了目前芯片行业相当先进的台积电6nm制程工艺。微架构部分由“马里亚纳 MariNeuro”自研AI计算单元、“MariLumi”自研影像计算单元、配套的影像专用内存子系统和I/O组件组成。
“马里亚纳 MariSilicon X”在规模上也相当可观，这一点从算力上就可以看出。独立于SoC（片上系统）存在的它拥有高达18TOPS@int8的计算能力，在AI算力上已经超越苹果目前最新的A15 SoC处理器。
根据官方给出的对比，凭借强大的算力，在“马里亚纳 MariSilicon X”上运行AI降噪模型，比Find X3 Pro（骁龙888）快20倍，也让手机首次实现了“4K+20bit RAW+AI+Ultra HDR”的计算摄影处理水平，毫无疑问是目前手机计算摄影的新高度。
更难得的是，在实现高算力的同时，“马里亚纳 MariSilicon X”表现出了极高的能效比，在运行4K 40帧画面AI运算时，“马里亚纳 MariSilicon X”仅需0.797W的功耗，而Find X3 Pro的通用NPU的算力仅支持4K 2帧的AI运算，同时功耗高达1.693W，整体能效比相差约40倍。
除了最基础的算力和能效比之外，“马里亚纳 MariSilicon X”还将提升的目光聚焦到了过往影像升级的不起眼之处：将影像原始数据传输和计算的位宽进一步提升到20bit。这就好比把芯片原来通向传感器的“国道”被升级成了更宽的“高速公路”，传输相机传感器数据的能力大大增加。
这样的做法在通用芯片平台中比较少见，对于前者而言，影像的绝对能力并不关键，而是构建商业和产品性能之间的平衡。
马里亚纳 MariSilicon X Ultra HDR效果
全新等级的传输位宽，配合“马里亚纳 MariSilicon X”中的“MariLumi”影像处理单元，可以显著提升HDR（高动态范围成像）能力表现，OPPO官方将之称为Ultra HDR的表现。对于普通用户来说，将会在明暗对比强烈的场景中获得更好的最终成像结果。
要知道，安卓阵营刚刚发布的另外一个旗舰通用平台，也仅支持光比18bit，而第一次做芯片的OPPO就直接将性能拉满到20bit。看似不起眼的“2bit”，意味着画面光比整体提升4倍，直接从原来的25万:1，直接提升到100万:1。
最后是RGBW Pro模式，传统手机相机传感器都是采用经典的“拜尔阵列（RGGB，红绿绿蓝）”，传感器每一个像素实际上接收到的都是“被”过滤以后的光信号。为了提升暗光之下的表现，将其中部分的传感器像素替换成不需要进行过滤的W（白光）单元，就是一种非常主流的思路。
在OPPO此前发布的Reno7 Pro上，就搭载了全新的RGBW传感器，通过在每个像素中引入两个W像素，使得传感器整体的进光量增加了近50%。虽然传感器已经有所提升，但过往RGBW传感器过往输送给SoC平台的，其实都是转换之后的RGGB信号，造成相机传感器采集的数据直接被“损耗”。
在这次的新芯片“马里亚纳 MariSilicon X”中，OPPO创新地采用了“RGGB+W”双路信号传输，将传感器W像素带来的更多进光真实地保留下来，整体增幅黑暗场景的拍摄能力。根据OPPO官方分享的数据，凭借RGBW Pro模式，能够提升70%的解析力表现，提升8.6dB的信噪比。
全方位的新技术应用，最终才带来了开篇中4K极暗条件下视频拍摄效果的巨大差异。值得一提的是，虽然OPPO官方这次核心公布的场景只有一个，但作为NPU芯片，自身肯定具备神经网络和学习能力，代表着这颗芯片自然具备可拓展影像能力。
当然，仅有以上的表现无法被成为对计算影像提出了新标准。这次OPPO自研的马里亚纳 MariSilicon X中，最有价值和深意的，实际上是计算影像链路革新。
过去无论骁龙还是联发科的处理器，都要在YUV域（手机成像的一个特定格式阶段）内进行处理。这种做法极大地降低了手机通用平台和相机传感器的兼容性难度，但同时也导致传感器的大量原始信息丢失。手机厂商所能做的更多是通过后期弥补已有的损伤，远没有达到相机传感器的真实性能水平。
而这次在自研芯片中，OPPO将计算链路前置，能够实现实时的RAW域计算。熟悉摄影的朋友对RAW这个名词必然不陌生，因为这代表着原始数据。OPPO之所以一定要将计算放在RAW域，最根本的目的，就是要让画面无限还原，尽可能保证画面的“原汁原味”。而在业内看来，这也是未来计算影像的重要方向和标志。
马里亚纳 MariSilicon X提出的计算影像黄金点
马里亚纳 MariSilicon X
“高举高打”，OPPO自研芯片的宏大野心
在OPPO之前，国产手机厂商中也有别的厂商尝试自研SoC中的ISP模块，但无论从硬件能力还是实际应用效果上来看，都和OPPO这次造芯产出的NPU还是有所差异。
原因主要有三点：一是“马里亚纳 MariSilicon X”独立于SoC存在，具备完整的计算模块、存储模块和I/O模块，是一个独立的芯片，更可以被看作是一个“简易版SoC”；二是“马里亚纳 MariSilicon X”采用了台积电的6nm先进工艺，意味着OPPO大概率已经进入台积电的重点客户名单。三是OPPO将会把这颗芯片实际运用在下一代的Find X系列产品中。
先说第一点，手机行业目前普遍采用的是SoC平台架构，即将手机正常运行所需的各种芯片模块，例如CPU、GPU、ISP、DSP、内存、基带等等，全部封装到同一颗芯片之上。
“马里亚纳 MariSilicon X”本质上则是跟SoC“平起平坐”的独立芯片，不仅拥有完整的计算模块、存储模块和I/O模块，“马里亚纳 MariSilicon X”在功能上还与相机传感器直接相连，超前于SoC的运转。这不止体现了OPPO更强的自研芯片的实力，更让人对于OPPO未来做芯片的想法浮想联翩。
其次非常关键的是制程工艺，众所周知手机芯片在芯片制程上的“战争”一直非常激烈，每年高通、联发科、苹果都会争抢台积电最先进的工艺制程产能。“马里亚纳 MariSilicon X”能用上6nm，首先证明OPPO真的愿意花钱。根据此前产业链中的传闻，OPPO这一次“马里亚纳 MariSilicon X”的流片（芯片在晶圆厂的试生产流程）非常顺利，但仍花费了近亿元。
对于台积电而言，其实也一直试图寻找一个能进入高阶制程的大陆新玩家。但在先进制程芯片背后，其实需要厂商自身具备相当强的芯片设计能力、芯片规划能力以及未来的资金储备。目前中国有能力设计6nm制程芯片的厂商大概率仅有4家——华为海思、联发科、OPPO以及阿里。
从结果来看，台积电显然是对OPPO的产品和发展思路有所认可。尽管OPPO只是第一次做芯片，尽管只是一颗专用的影像NPU芯片，台积电依旧给分配了6nm先进制程的产能。有了这次合作的基础，二者未来的合作必然会更加顺利、也更加紧密。
最后是实际运用，自2019年后，借芯片概念进行“技术宣传”一度非常流行，但很多自研的“新芯片”却迟迟没有出现在终端产品中。相比之下，OPPO敢于将自研芯片推向消费级旗舰产品，就是其芯片能力最强的自我证明。
参考官方目前公布的各种参数、性能所透露出来的芯片规模，参考芯片行业的相关数据，“马里亚纳 MariSilicon X”单颗芯片成本可能就高达几百元级别。在激烈的手机行业中如此大胆地进行成本上的“加码”，OPPO对于芯片投入的胆量可见一斑。
值得一提的是，OPPO早在2019年就成立了自研芯片团队，当时官方宣布3年研发投入500亿元。“马里亚纳计划”在2020年OPPO内部发布的文章《对打造核心技术的一些思考》中就已经提到。
巨额投入换来的是庞大的芯片研发力量，根据第三方研究机构透露的信息，OPPO的芯片子公司泽库员工人数已经超过2000人，已经成为仅次于华为海思的“国内第二大芯片设计公司”。
这样的人员规模，显然不只是为了完成一个“马里亚纳项目”，而是将自研芯片的战略持续贯彻下去，创造出更大的可能性。OPPO CEO陈明永在今年INNO DAY上的讲的一句话，其实也表达了这样的深意：
“我们会持续投入资源，用几千人的团队，去脚踏实地做自研芯片。”
造芯，中国手机厂商的唯一“出路”
纵观无论智能手机行业还是互联网行业，造芯已经成为共识。
尤其是在苹果近两年凭借M1系列芯片，在平板和笔记本的实际性能和功能表现上，实现了远超芯片硬件本身性能提升的发展速度之后。进一步推动消费电子产品软硬件整合，通过自研“芯片+算法+应用”的垂直优化路线已经成为消费电子领域大势所趋。
以拍摄能力为例，相比苹果的“SoC、传感器、算法、应用”闭合生态，安卓智能手机阵营的高度产业细分已经开始成为阻碍。SoC、相机传感器厂商都有自己的研发计划，相互之间没有深度的配合，夹在中间做下游整合的手机厂商只能迁就于上游厂商，在有限的时间内边“打补丁”边“寻找”和其他手机厂商差异化的空间。
“吃力不讨好”的行业现状，唯有手机厂商自研芯片能够打破。以OPPO这次的“马里亚纳 MariSilicon X”为例，因为其完全独立于手机SoC存在，OPPO将自研算法写入传感器内，通过硬件的深度配合、算法的持续升级持续提升拍摄能力。后期还可以反过来作为SoC AI算力的补充，为一些AI应用提供额外的支持。
放眼未来，即便是在影像之外，像“马里亚纳 MariSilicon X”这样的外置DSA芯片同样有潜在需求。尤其是在目前手机各种SoC无法更快、更省电地完成相同任务的前提下，手机厂商完全可以持续迭代自研的DSA性能和功耗表现，与更轻量化的高通、联发科SoC平台配合，以“一机双芯”乃至“一机多芯”的方式提升用户的整体体验。
当然，无论是延续外置芯片的新路线，还是未来直接升级到自研SoC的老路线，最核心的挑战其实都是自我芯片实力的提升。OPPO显然想明白了这个道理，通过对芯片提前而持续的投入，OPPO已经获得国产手机行业下一场竞赛的先机。
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/211879.html