今日 Paper | 小样本学习；视觉情感分类；神经架构搜索；自然图像抠像等

为了帮助各位学术青年更好地学习前沿研究成果和技术，AI 研习社重磅推出【今日 Paper】栏目，每天都为你精选关于人工智能的前沿学术论文供你学习参考。以下是今日的精选内容——

基于深度学习的步行者惯性导航：方法、数据集和设备推理
用于视觉情感分类的多源域自适应
用多尺度自监督表征提高小样本学习的表现
在神经架构搜索里使用权值共享真的有效、可靠吗？
通过引导的上下文注意进行自然图像抠像

基于深度学习的步行者惯性导航：方法、数据集和设备推理

论文名称：Deep Learning based Pedestrian Inertial Navigation: Methods, Dataset and On-Device Inference

作者：Chen Changhao /Zhao Peijun /Lu Chris Xiaoxuan /Wang Wei /Markham Andrew /Trigoni Niki

发表时间：2020/1/13

论文链接：https://paper.yanxishe.com/review/8987?from=leiphonecolumn_paperreview0117

推荐原因：这篇论文尝试将深度学习进一步应用于惯性导航研究中。

惯性测量单元被广泛部署在智能设备和移动机器人上。在新兴的物联网中，利用惯性数据获得准确可靠的行人导航支持是一项重要的服务。近年来，运用深度神经网络处理动作感知和坐标估计逐渐变得流行。但是，缺乏足够标注数据来训练和评估基线模型成为这一应用的限制。这篇论文的贡献是提出了一个名为Oxford Inertial Odometry Dataset（OxIOD）的新数据集，即首个用于深度学习惯性导航研究的数据集，在每条序列中都有微调好的标注信息。进一步，为了在边缘计算上保证更高效的推理，这篇论文还提出一个新的轻量级框架，从原始的IMU数据上学习和重构行人轨迹。实验表明所提数据集与方法能够在资源受限的设备上获得精准的行人惯性导航信息。

用于视觉情感分类的多源域自适应

论文名称：Multi-source Domain Adaptation for Visual Sentiment Classification

作者：Lin Chuang /Zhao Sicheng /Meng Lei /Chua Tat-Seng

发表时间：2020/1/12

论文链接：https://paper.yanxishe.com/review/8988?from=leiphonecolumn_paperreview0117

这篇论文考虑的是视觉情感分类问题。

视觉情感分类任务的现有域自适应方法通常是针对单源场景。在这种场景中，模型从充分标注好的源领域数据学习完毕后，迁移到只有较宽松标注或无标注数据的目标领域。不过在实践中，从单一源领域来的数据通常容量有限，很难覆盖目标领域的全部特征。为了解决这个问题，这篇论文提出了一个新的名为多源情感生成对抗网络的多源域自适应方法，用于处理视觉情感分类。为了处理来自多个源域的数据，新模型通过端到端的循环一致对抗学习，学习如何找到一个统一的情感潜在空间，在该空间来自源域和目标域的数据共享相似的分布。在四个基准数据集上的实验证明，在情感分类任务上，这篇论文提出的新模型显著优于目前的最佳模型。

用多尺度自监督表征提高小样本学习的表现

论文名称：Few-shot Learning with Multi-scale Self-supervision

作者：Zhang Hongguang /Torr Philip H. S. /Koniusz Piotr

发表时间：2020/1/6

论文链接：https://paper.yanxishe.com/review/9112?from=leiphonecolumn_paperreview0117

推荐原因

从深度学习流行以来，需要大量数据的这一特点就经常被指责，更有人指出人类的智慧只需要几个甚至一个样本就可以学会某个任务或者某种概念 —— 这就是小样本学习，有许多研究人员就在这个方向做着努力。近期，“二阶池化”（second-order pooling）的方法在小样本学习中发挥了很好的效果，主要是因为其中的聚合操作不需要对CNN网络做修改就可以处理各种不同的图像分辨率，同时还能找到有代表性的共同特征。

不过，学习每张图像的时候只使用一种分辨率不是最优的方法（即便整个数据集中所有图像的分辨率都各自不同），因为每张图像中的内容相比于整张图像的粒度粗细不是固定不变的，实际上这受到内容本身和图像标签的共同影响，比如，常见的大类物体的分类更依赖整体外观形状，而细粒度的物体分类更多依赖图像中局部的纹理模式。也所以，图像去模糊、超分辨率、目标识别等任务中都已经引入了多尺度表征的概念，用来更好地处理不同分类粒度。

这篇论文里作者们就尝试了在小样本学习中引入多尺度表征。他们主要需要克服的困难是，要避免多尺度表征把标准方法的使用变得过于复杂。他们的方法是，在二阶池化的属性的基础上设计一个新型的多尺度关系网络，用来在小样本学习中预测图像关系。作者们也设计了一系列方法优化模型的表现。最终，他们在几个小样本学习数据集上都刷新了最好成绩。

在神经架构搜索里使用权值共享真的有效、可靠吗？

论文名称：Deeper Insights into Weight Sharing in Neural Architecture Search

作者：Zhang Yuge /Lin Zejun /Jiang Junyang /Zhang Quanlu /Wang Yujing /Xue Hui /Zhang Chen /Yang Yaming

发表时间：2020/1/6

论文链接：https://paper.yanxishe.com/review/9111?from=leiphonecolumn_paperreview0117

推荐原因

神经网络架构搜索（NAS）是让深度学习自动化、在指定任务上获得最佳模型的一个好办法。但NAS的问题也很明显，模型结构需要迭代更新，每个更新出的结构还需要经过训练才能了解表现如何，所以从头开始做NAS非常消耗能源和时间。

近期有一些研究用权值共享的方式，节省了评估结构表现的时间；具体来说，权重共享是首先获得一个大网络的所有权值，然后对于在大网络基础上简化出的小网络，就直接使用对应的权值。但是这种做法是没有经过严谨的理论证明的，实际使用中的影响也还没有得到完善的研究。

这篇论文就对现有的权值共享方法做了详细的实验研究，作者们发现，1，来源稍有区别的模型之间可以有巨大的表现差别；2，即便子网络之间的表现有很大差别，训练那个大网络也很有价值；3，不同子模型之间的干扰是造成表现区别的重要原因；4，适当降低权值共享的程度可以有效降低表现波动、提高表现

通过引导的上下文注意进行自然图像抠像

论文名称：Natural Image Matting via Guided Contextual Attention

作者：Li Yaoyi /Lu Hongtao

发表时间：2020/1/13

论文链接：https://paper.yanxishe.com/review/8989?from=leiphonecolumn_paperreview0117

推荐原因

这篇论文考虑的是自然图像抠像的问题。

基于深度学习的方法在自然图像抠像（natural image matting）方面取得显着进步。受基于亲和力方法与上下文注意力机制的成功启发，这篇论文开发了一种新的使用指引的上下文注意力模块的端到端方法。指引上下文注意力模块会根据学习到的低级关联信息，直接在全局范围内传播高级不透明信息。新方法可以模仿基于亲和力方法的信息流，并同时利用深度神经网络学到的丰富特征。在Composition-1k测试集和Alphamatting.com基准数据集上的实验结果表明，这篇论文提出的新方法在自然图像抠像方面优于之前的最新方法。