旷视论文三连发,揭秘COCO +Places 2017比赛获奖模型

雷锋网 AI 科技评论按:今年 ICCV 2017会议期间,COCO +Places 2017挑战赛公布了获奖榜单。在COCO Challenge 和 Places Challenge 两个板块的七项比赛中,旷视科技(Face++)拿下了 COCO Detection/Segmentation Challenge(检测/分割)、COCO Keypoint Challenge(人体关键点检测)、Places Instance Segmentation(实体分割)三个项目的冠军。

旷视论文三连发,揭秘COCO +Places 2017比赛获奖模型

旷视论文三连发,揭秘COCO +Places 2017比赛获奖模型

有趣的是,Places Challenge 中允许提交五次成绩,旷视在实体分割项目上第一次提交的成绩就以0.27717 Mean AP远远甩开了其它队伍中的最好成绩0.24150,最终的第三次提交更继续提升到了0.29772,稳坐第一名。

近日,旷视科技就在arXiv上连发三篇论文,内容包括了自己在COCO +Places 2017挑战赛中的获奖模型。雷锋网(公众号:雷锋网) AI 科技评论把这三篇论文简单介绍如下,感兴趣的读者欢迎查看原论文仔细研究。

Light-Head R-CNN: In Defense of Two-Stage Object Detector

  • 轻量头部 R-CNN:守护两阶段物体检测器的尊严

  • 论文地址:https://arxiv.org/abs/1711.07264 

  • 论文简介:这篇论文中,作者们首先探究了典型的两阶段物体检测方法没有YOLO和SSD这样的单阶段检测方法运行速度快的原因。他们发现,Faster R-CNN 和 R-FCN 在候选区域产生前或后都会进行高强度的计算。Faster R-CNN 在候选区域识别后有两个全连接层,而 R-FCN 会产生一张很大的分数表。这些网络由于有这样的高计算开销的设计,运行速度就较慢。即便作者们尝试大幅度缩减基准模型的大小,计算开销也无法以同样幅度减少。

    作者们在论文中提出了一个新的两阶段检测器,Light-Head R-CNN,轻量头部 R-CNN,意在改善当前的两阶段方法中计算开销大的缺点。在他们的设计中,通过使用小规模的feature map和小规模的R-CNN子网络(池化层和单个全连接层),网络的头部被做得尽可能轻量化。作者们基于ResNet-101构造了一个轻量头部的R-CNN网络,在COCO数据集上超越当前最好水准的同时还保持了很高的时间效率。更重要的是,只要把骨干结构换成一个较小的网络(比如 Xception),作者们的 Light-Head R-CNN 就可以在COCO数据集上以102FPS的运行速度得到30.7mmAP的成绩,在速度和准确率两个方面都明显好于YOLO和SSD这样的快速单阶段检测方法。相关代码将会公开发布。

旷视论文三连发,揭秘COCO +Places 2017比赛获奖模型

检测精度与推理时间对比图

Cascaded Pyramid Network for Multi-Person Pose Estimation

  • 用于多人姿态估计的级联金字塔网络CPN

  • COCO Keypoint Challenge 第一名

  • 论文地址:https://arxiv.org/abs/1711.07319 

  • 论文简介:多人姿态估计这个课题的研究成果近期有了很大的提升,尤其是在卷积神经网络快速发展的帮助下。然而,还是有许多情境会造成检测困难,比如关键点重叠、关键点不可见以及背景复杂的情况都还解决得不理想。在这篇论文中,作者们提出了一种新的网络结构 Cascaded Pyramid Network,级联金字塔网络 CPN,意在解决这些困难情境下的关键点识别问题。具体来说,他们的算法包含两个阶段,GlobalNet 和 RefineNet。GlobalNet 是一个特征金字塔网络,它可以找到所有“简单”的关键点,比如眼、手;重叠的或者不可见的关键点就可能无法准确识别。然后RefineNet 是专门用来处理“难”的关键点的,它会把 GlobalNet 中所有级别的特征表征和一个难关键点的挖掘损失集成到一起。总的来说,为了解决多人姿态预测问题,他们采用了一个逐步细化的流水线,首先用检测器生成一组边界框,框出图中的人体,然后用级联金字塔网络 CPN在每个人体边界框中定位关键点。

    根据所提的算法,作者们在COCO的关键点检测比赛中刷新了最好成绩,在COCO test-dev 数据集上取得73.0的平均精度,并在COCO test-challenge 数据集上取得72.1的平均精度。这一成绩比COCO 2016 关键点检测比赛的最好成绩60.5提升了19%之多。

旷视论文三连发,揭秘COCO +Places 2017比赛获奖模型

CPN 的部分检测结果

MegDet: A Large Mini-Batch Object Detector

  • mini-batch很大的物体检测模型MegDet

  • COCO Detection/Segmentation Challenge 第一名

  • 论文地址:https://arxiv.org/abs/1711.07240 

  • 论文简介:基于CNN的物体检测研究一直在不断进步,从 R-CNN 到 Fast/Faster R-CNN,到近期的 Mask R-CNN,再到 RetinaNet,主要的改进点都在于新的网络架构、新的范式、或者新的损失函数设计。然而mini-batch大小,这个训练中的关键因素并没有得到完善的研究。在这篇论文中,作者们提出了一个大mini-batch物体检测模型MegDet,从而可以使用远大于以往的mini-batch大小训练网络(比如从16增大到256),这样同时也可以高效地利用多块GPU联合训练(在论文的实验中最多使用了128块GPU),大大缩短训练时间。技术层面上,作者们也了提出了一种学习率选择策略以及跨GPU的batch normalization方法,两者共同使用就得以大幅度减少大mini-batch物体检测器的训练时间(例如从33小时减少到仅仅4个小时),同时还可以达到更高的准确率。文中所提的MegDet就是提交到COCO2017比赛的mmAP 52.5%成绩背后的骨干结构,这个成绩也拿下了检测任务的第一名。

旷视论文三连发,揭秘COCO +Places 2017比赛获奖模型

同一个物体检测网络在COCO数据集上训练的验证准确率,mini-batch数量为16的运行在8块GPU上,256的运行在128块GPU上。mini-batch更大的检测器准确率更高,训练速度也几乎要快一个数量级。

“4.6亿美元融资”、“姚期智院士加盟”、“人脸识别方案应用于多款手机上”,再加上COCO比赛相关的技术成果和比赛成绩,仅近期的几则消息就可以说明旷视科技已经走得很大、很稳了。雷锋网 AI 科技评论也祝福旷视科技做出更多的研究成果,在世界范围内取得商业和学术的双丰收。

相关文章:

旷视科技产品总监李晨光:详解人脸识别的应用场景(含PPT)

旷视科技成立 6 周年,我们和孙剑聊了聊

对话旷视科技:请姚期智出山是为本质创新,未来想成为国内首家上市的纯人工智能公司

雷锋网版权文章,未经授权禁止转载。详情见。


旷视论文三连发,揭秘COCO +Places 2017比赛获奖模型

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/128940.html

(0)
上一篇 2021年8月30日
下一篇 2021年8月30日

相关推荐

发表回复

登录后才能评论