今日 Paper | 精简BERT；面部交换；三维点云；DeepFakes 及 5G 等

为了帮助各位学术青年更好地学习前沿研究成果和技术，AI科技评论联合Paper 研习社（paper.yanxishe.com），重磅推出【今日 Paper】栏目，每天都为你精选关于人工智能的前沿学术论文供你学习参考。以下是今日的精选内容——

ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
Deep Learning for 3D Point Clouds: A Survey
Causal Discovery with Reinforcement Learning
A Survey of Multi-Access Edge Computing in 5G and Beyond: Fundamentals, Technology Integration, and State-of-the-Art
From Drinking Philosophers to Wandering Robots
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
Bayesian Learning via Stochastic Gradient Langevin Dynamics
Computational model discovery with reinforcement learning
Quantum Adversarial Machine Learning

ALBERT：一种用于语言表征自监督学习的精简BERT

论文名称：ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

作者：ZhenzhongLan /MingdaChen /SebastianGoodman

发表时间：2018/10/30

论文链接：https://paper.yanxishe.com/review/8078?from=leiphonecolumn_paperreview0106

推荐理由：bert模型开启了自然语言理解的预训练时代，很多和语义解析的相关任务都可以通过bert模型来提高效果，但是这也带来了一些问题，bert参数过多，模型过于复杂，需要较大的计算能力才可以支持，所以这导致了很大的问题，如何让模型变小，降低内存消耗，减少训练时间称为了当前的问题，也是必要的方向，albert正式解决这个问题的，它提出了两种降低内存消耗和提高BERT训练速度的参数约简技术。不仅解决了前面的问题，并且这种预训练模型比之前的bert的预训练模型的效果更好，在很多任务上都得到了超越。

今日 Paper | 精简BERT；面部交换；三维点云；DeepFakes 及 5G 等

FaceShifter：迈向高保真度和遮挡意识的面部交换

论文名称：FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

作者：Li Lingzhi /Bao Jianmin /Yang Hao /Chen Dong /Wen Fang

发表时间：2019/12/31

论文链接： https://paper.yanxishe.com/review/8077?from=leiphonecolumn_paperreview0106

推荐理由：这是北大和微软亚研院的联合工作，考虑的是人脸交换的问题。

这篇论文提出了一个名为FaceShifter的新颖的两阶段框架，用于实现高保真度和遮挡意识的人脸交换。与许多现有的人脸交换作品在合成交换的面孔时仅利用目标图像的有限信息不同，FaceShifter在其第一阶段通过充分自适应地利用和集成目标属性，以高保真度生成交换的面孔。这篇论文提出了一种新颖的属性编码器，用于提取多级目标人脸属性，并提出了一种经过精心设计的自适应注意力非正规化层的新生成器，以自适应地集成身份和人脸合成属性。为了解决具有挑战性的面部遮挡，FaceShifter附加了第二阶段，该阶段包括一个新颖的启发式错误确认细化网络。它经过训练可以以自我监督的方式恢复异常区域，而无需任何手动注释。在自然面孔上进行的大量实验表明，与其他最新方法相比，FaceShifter的交换结果不仅在感知上更具吸引力，而且还保留了更好的身份。

三维点云深度学习研究综述

论文名称：Deep Learning for 3D Point Clouds: A Survey

作者：Guo Yulan /Wang Hanyun /Hu Qingyong /Liu Hao /Liu Li /Bennamoun Mohammed

发表时间：2019/12/27

论文链接： https://paper.yanxishe.com/review/8076?from=leiphonecolumn_paperreview0106

推荐理由：这是国防科大关于三维点云深度学习的研究综述。

点云学习在计算机视觉、自动驾驶和机器人等诸多领域都有广泛应用。作为人工智能领域的主要技术，深度学习已被成功地用于解决各种二维视觉问题。但是，由于三维点云在处理过程中面临一些独特的挑战，所以点云领域的深度学习技术仍然处于发展初期。为了促进点云学习未来的研究，这篇论文全面综述了点云深度学习方法的研究进展。这些方法主要包括3D形状分类、3D目标检测和追踪以及3D点云分割。此外，这篇论文还展示了在当前一些公开可用数据集上的比较结果，提出了具有洞察力的观察结果和启发性的未来研究方向。

基于强化学习的因果发现

论文名称：Causal Discovery with Reinforcement Learning

作者：Zhu Shengyu /Ng Ignavier /Chen Zhitang

发表时间：2019/6/11

论文链接：https://paper.yanxishe.com/review/8075?from=leiphonecolumn_paperreview0106

推荐理由：这篇论文是华为诺亚方舟实验室被ICLR 2020接收的一篇满分论文，考虑的是因果研究中的因果发现问题。

作为下一个潜在的热点，因果研究已经吸引了机器学习和深度学习领域的的广泛关注。因果研究中一个经典的问题是因果发现问题，即从被动可观测的数据中发现潜在的因果图结构。这篇论文将强化学习应用到打分法的因果发现算法中，通过基于自注意力机制的encoder-decoder神经网络模型探索数据之间的关系，结合因果结构的条件，并使用策略梯度的强化学习算法对神经网络参数进行训练，最终得到因果图结构。这个方法比一些传统的因果发现算法和近期的基于梯度的算法在中等规模的图上的表现都更好，并且可以非常灵活地和任意的打分函数结合使用。

5G及未来的多接入边缘计算综述：基础知识，技术集成和最新技术

论文名称：A Survey of Multi-Access Edge Computing in 5G and Beyond: Fundamentals, Technology Integration, and State-of-the-Art

作者：Pham Quoc-Viet /Fang Fang /Ha Vu Nguyen /Piran Md. Jalil /Le Mai /Le Long Bao /Hwang Won-Joo /Ding Zhiguo

发表时间：2019/6/20

论文链接：https://paper.yanxishe.com/review/8074?from=leiphonecolumn_paperreview0106

推荐理由：这是一篇边缘计算相关的综述论文。

在新的计算密集型应用程序的出现以及物联网（IoT）的愿景的推动下，可以预见的是，新兴的5G网络将面临流量和计算需求前所未有的增长。但是，最终用户大多具有有限的存储容量和有限的处理能力，因此，最近如何在资源受限的用户上运行计算密集型应用程序已成为一个自然而然的问题。移动边缘计算（MEC）是新兴的第五代移动网络中的一项关键技术，它可以通过托管计算密集型应用程序，在发送到云端之前处理大数据，在无线接入网中提供云计算功能来优化移动资源。移动边缘计算支持严格要求实时响应的各种应用，例如无人驾驶车辆，增强现实，机器人技术和沉浸式媒体。在5G网络中成功实现MEC仍处于起步阶段，需要学术界和行业界的不断努力。这篇综述首先提供了MEC技术及其潜在用例和应用的整体概述。然后概述了有关MEC与将在5G及更高版本中部署的新技术的集成的最新研究。这篇论文还总结了用于边缘计算的测试平台和实验评估以及开源活动，进一步总结了从最新研究工作中汲取的教训，并讨论了MEC研究的挑战和潜在的未来方向。

从饮酒哲学家到漫游机器人

论文名称：From Drinking Philosophers to Wandering Robots

作者：Sahin Yunus Emre /Ozay Necmiye

发表时间：2020/1/2

论文链接：https://paper.yanxishe.com/review/8073?from=leiphonecolumn_paperreview0106

推荐理由：这篇论文考虑的是多机器人路径执行的问题。

在这个问题中，一组机器人从他们的起始点沿预定义路径移动到目标位置，同时要避免面对异步时发生冲突和死锁。这篇论文重构该问题为分布式资源重定向问题，具体而言，即是著名的哲学家饮酒问题（Drinking Philosophers Problem，DrPP）。通过精心设计获取共享资源的饮酒环节，这篇论文证明DrPP的任何现有解决方案都可用于设计集体无碰撞且无死锁的机器人控制策略。这篇论文提出的方法不需要机器人知道或估计其他机器人的速度曲线，并且不需要分布式控制策略。通过仿真，这篇论文验证了所提方法的有效性。

DeepFakes和更多：人脸操纵和假检测研究综述

论文名称：DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection

作者：Tolosana Ruben /Vera-Rodriguez Ruben /Fierrez Julian /Morales Aythami /Ortega-Garcia Javier

发表时间：2020/1/1

论文链接：https://paper.yanxishe.com/review/8072?from=leiphonecolumn_paperreview0106

推荐理由：这是一篇人脸造假相关的综述文章。

随着DeepFake的出现，现在人脸造假变得越来越容易，也引发了大量对抗此类造假技术的研究。这篇论文对操纵人脸图像的技术（包括DeepFake方法）以及检测此类操纵的方法进行了全面的回顾，包含四种类型的面部操作：全脸合成，面部身份交换，面部属性操作和面部表情操作。对于每种操纵类型，这篇论文回顾了有关操纵技术，现有公共数据库以及假冒检测相关的方法。

这篇论文也探讨了这个领域的发展趋势，以及一些正在进展中的工作，例如最近的DeepFake Detection Challenge。

基于随机梯度Langevin动力学的贝叶斯学习

论文名称：Bayesian Learning via Stochastic Gradient Langevin Dynamics

作者：Max Welling /Yee Whye Teh

发表时间：2011/1/18

论文链接：https://paper.yanxishe.com/review/8070?from=leiphonecolumn_paperreview0106

推荐理由：本论文提出了一种新的基于小批量在线学习的大规模数据集学习框架。通过在标准随机梯度优化算法中加入适量的噪声，证明了当迭代将收敛到真实后验分布的样本。这种在优化和贝叶斯后验抽样之间的接缝转移提供了一种内在的防止过度捕捞的保护。

然后论文还提出了一种实用的后验统计蒙特卡罗估计方法，该方法监测“采样阈值”，并在超过该阈值后采集样本。

通过强化学习发现计算模型

论文名称：Computational model discovery with reinforcement learning

作者：Bassenne Maxime /Lozano-Durán Adrián

发表时间：2019/12/29

论文链接：https://paper.yanxishe.com/review/8165?from=leiphonecolumn_paperreview0106

推荐理由：这项研究的动机是利用人工智能研究中的最新突破，为计算科学中遇到的重要科学问题提供新颖的解决方案。为了解决在发现降阶模型中人类智力的局限性，作者建议用人工智能来补充人类思维。

作者的三管齐下的策略包括学习（i）以分析形式表示的模型，（ii）经过后验评估，以及iii）使用参考解决方案中的全部积分作为先验知识。在第（i）点中，我们追求用符号表示的可解释模型，而不是黑盒神经网络，后者仅在学习期间用于有效地对可能的模型的大型搜索空间进行参数化。在点（ii）中，学习的模型将在计算求解器中动态评估后验，而不是基于来自预处理的高保真数据的先验信息，从而考虑了求解器的特殊性，例如其数值。最后，在（iii）点中，新模型的探索仅由预定义的积分量（例如雷诺平均或大涡流模拟（LES）中工程兴趣的平均数量）指导。我们使用耦合的深度强化学习框架和计算求解器来同时实现这些目标。强化学习与目标（i），（ii）和（iii）的结合将作者的工作与之前基于机器学习的建模尝试区分开来。

在此报告中，作者通过增强学习对模型发现框架进行了高级描述。该方法针对在微分方程中发现缺失项的应用进行了详细介绍。描述了该方法的基本实例化，该方法发现了Burgers方程中的缺失项。

量子对抗机器学习

论文名称：Quantum Adversarial Machine Learning

作者：Lu Sirui /Duan Lu-Ming /Deng Dong-Ling

发表时间：2019/12/31

论文链接：https://paper.yanxishe.com/review/8166?from=leiphonecolumn_paperreview0106

推荐理由：对抗性机器学习是一个新兴领域，致力于研究对抗性环境中机器学习方法的脆弱性，并相应地开发技术以使学习对对抗性操纵具有鲁棒性。它在各种机器学习应用程序中起着至关重要的作用，并且最近在不同社区中引起了极大的关注。

在本文中，作者在量子机器学习的背景下探索了不同的对抗场景。作者发现，类似于基于经典神经网络的传统分类器，量子学习系统同样容易受到精心制作的对抗性示例的影响，而与输入数据是经典数据还是量子数据无关。特别是可以通过对原始合法样本添加无法察觉的扰动而获得的对抗性示例来最终欺骗几乎达到最新精度的量子分类器。量子对抗性学习在不同场景中得到了明确证明，包括对现实生活中的图像进行分类（例如，MNIST数据集中的手写数字图像），物质的学习阶段（例如铁磁/顺磁阶和对称性受保护的拓扑阶段），以及对量子数据进行分类。

此外，作者表明，基于手头对抗示例的信息，可以设计实用的防御策略来对抗多种不同的攻击。作者的研究结果揭示了量子机器学习系统在对抗性扰动方面的显着脆弱性，这不仅揭示了将机器学习与量子物理学联系起来的新颖观点，而且为基于近期和未来的量子分类器的实际应用提供了有价值的指导量子技术。