今日 Paper | 从纯图像重建世界；层次递归网络序列；注意力神经网络；命名实体识别等

  目录

• 层次递归网络序列标注的转移学习

• 注意力神经网络序列标记模型中的特征

• 基于双向LSTM-CNNs的命名实体识别

• 通过双向LSTM-CNNs-CRF进行端到端序列标记

• 更好的物体表征，更好地从纯图像重建世界

  层次递归网络序列标注的转移学习

论文名称：TRANSFER LEARNING FOR SEQUENCE TAGGING WITH HIERARCHICAL RECURRENT NETWORKS

作者：Zhilin Yang /Ruslan Salakhutdinov

发表时间：2017/3/18

论文链接：https://paper.yanxishe.com/review/10864?from=leiphonecolumn_paperreview0214

核心问题：在序列标注问题中，为了解决传统的机器学习存在的需要手动构建特征的问题，这里常常使用神经网络的方式，但是神经网络常常需要大量的数据才可以，那么现在就面临一种情况，当数据量不足的时候，如何才可以解决这个问题呢？

创新点：在计算机视觉中，当面临数据不足的时候，我们常常使用迁移学习的方式，本论文也将探讨迁移学习的方法，其中使用具有丰富注释的源任务来改善具有较少可用注释的目标任务的性能

研究意义：通过这种方式可以将训练的模型参数和架构迁移过来，并且取得了不错的效果，事实上现在nlp中的重要预训练模型兴起，这也一定程度上证明了这种方向的可行性。

  注意力神经网络序列标记模型中的特征

论文名称：Attending to Characters in Neural Sequence Labeling Models

作者：Marek Rei /Gamal K.O. Crichton /Sampo Pyysalo

发表时间：2016/11/14

论文链接：https://paper.yanxishe.com/review/10863?from=leiphonecolumn_paperreview0214

推荐原因

核心问题：序列标注问题有一个问题需要处理，这个问题就是当一句话中出现的单词是陌生词的时候，那么此时就会出现问题。这种词称为OOV问题

创新点：创新点就是为了解决这个问题，首先单词有OOV问题，但是字符没有OOV问题，这里引入了字符级别的信息。然后引入了注意力机制，使用经典的attention+RNN+CEF的组合方式，这样通过将词级别和字符级别的向量相结合，从而达到非OVV的词的字符向量与其词向量相近。

研究意义：在许多数据集上达到了很好的效果，并且这种模型的参数较少。

  基于双向LSTM-CNNs的命名实体识别

论文名称：Named Entity Recognition with Bidirectional LSTM-CNNs

作者：Jason P.C. Chiu /Eric Nichols

发表时间：2016/7/19

论文链接：https://paper.yanxishe.com/review/10862?from=leiphonecolumn_paperreview0214

推荐原因

核心问题：本文解决的是命名实体识别的任务，这是nlp中非常具备挑战性的工作，传统的机器学习方法需要使用手工的方式，但是这种方式并不好。

创新点：本论文使用的是深度学习的方式，和传统的深度学习方法不同的是，这里搭建了一个新的神经网络结构，能够自动检测字级和字符级特征使用双向LSTM和CNN混合架构，消除了大多数特征工程的需要。除此之外本文还提出了一种新的方法，使用这个方法在神经网络中对部分词典匹配进行编码，可以取得较好的效果。

研究意义：实验表明，这种模型效果超过当前的模型，并且在多个数据集中取得了最佳的效果。

  通过双向LSTM-CNNs-CRF进行端到端序列标记

论文名称：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

作者：Xuezhe Ma /Eduard Hovy

发表时间：2016/5/29

论文链接：https://paper.yanxishe.com/review/10861?from=leiphonecolumn_paperreview0214

核心问题：本文核心是解决nlp领域中的命名实体识别的问题

创新点：在之前的常用的模型是LSRM+CRF，本论文搭建了一个端到端的神经网络模型，引入了CNN结构，这可以很好的处理局部信息

研究意义：这个模型的效果超过之前的模型效果。

  更好的物体表征，更好地从纯图像重建世界

论文名称：Contrastive Learning of Structured World Models

作者：Thomas Kipf /Elise van der Pol /Max Welling

发表时间：2019/9/26

论文链接：https://paper.yanxishe.com/review/10860?from=leiphonecolumn_paperreview0214

人类可以从眼睛观察到的视觉信号理解还原出世界中的物体、物体间的关系、层次等等，这是人类认知能力的重要组成部分，也是机器学习、深度学习、计算视觉仍面对的一大挑战（从原始的像素输入还原带有结构的世界模型）。

维吉尼亚大学的作者们在这篇论文中提出了一个基于对比度训练的有结构的世界模型C-SWM，它使用了一种对比度方法来用组合式的结构学习环境的表征。它可以不需要直接的监督，只通过对原始像素的观察就发现提取环境中的物体。

作者们在含有多个独立、可控制的物体的交互环境中评价了模型的表现，既包括了简单的Atari游戏，也包括了多物体的物理仿真环境。实验表明，这个模型可以克服以往的基于像素重建的模型的很多不足，在高度结构化的环境中也发挥了比同类表征模型更好的表现，同时它学习到的基于物体的表征还是具有可解释性的。

这篇论文的方法实际、效果出色，得到了审稿人的高度评价，被ICLR2020接收为口头报告论文。

  论文作者团队招募

为了更好地服务广大 AI 青年，AI 研习社正式推出全新「论文」版块，希望以论文作为聚合 AI 学生青年的「兴趣点」，通过论文整理推荐、点评解读、代码复现。致力成为国内外前沿研究成果学习讨论和发表的聚集地，也让优秀科研得到更为广泛的传播和认可。

我们希望热爱学术的你，可以加入我们的论文作者团队。

加入论文作者团队你可以获得

    1.署着你名字的文章，将你打造成最耀眼的学术明星

    2.丰厚的稿酬

    3.AI 名企内推、大会门票福利、独家周边纪念品等等等。

加入论文作者团队你需要：

    1.将你喜欢的论文推荐给广大的研习社社友

    2.撰写论文解读

如果你已经准备好加入 AI 研习社的论文兼职作者团队，可以添加运营小姐姐的微信，备注“论文兼职作者”

雷锋网雷锋网雷锋网(公众号：雷锋网)

相关文章：

今日 Paper | 梯度剪切；命名实体识别；自然语言处理；免强度函数学习等

今日 Paper | 小样本学习；机器学习；单幅图像去雾 ；零样本目标检测等

今日 Paper | 可视问答模型；神经风格差异转移；图像压缩系统 ；K-SVD图像去噪等

今日 Paper | 依赖性解析器；DNNs对图像损坏；高效人脸特征学习 ；虚拟试穿统一框架等

今日 Paper | 模态平衡模型；组合语义分析；高表达性SQL查询；多人姿态估计模型等

今日 Paper | 多人姿势估计；对话框语义分析；无监督语义分析；自然语言处理工具包等

今日 Paper | 多人线性模型；身体捕捉；会话问答；自然语言解析；神经语义

今日 Paper | 手部和物体重建；三维人体姿态估计；图像到图像变换等

今日 Paper | 动态手势识别；领域独立无监督学习；基于BERT的在线金融文本情感分析等

今日 Paper | 新闻推荐系统；多路编码；知识增强型预训练模型等

今日 Paper | 小样本学习；视觉情感分类；神经架构搜索；自然图像抠像等

今日 Paper | 蚊子叫声数据集；提高语音识别准确率；对偶注意力推荐系统等

今日 Paper | 人脸数据隐私；神经符号推理；深度学习聊天机器人等

今日 Paper | 虚拟试穿网络；人群计数基准；联邦元学习；目标检测等

今日 Paper | 人体图像生成和衣服虚拟试穿；鲁棒深度学习；图像风格迁移等

今日 Paper | 随机微分方程；流式自动语音识别；图像分类等

今日 Paper | 高维感官空间机器人；主动人体姿态估计；深度视频超分辨率；行人重识别等

今日 Paper | 3D手势估计；自学习机器人；鲁棒语义分割；卷积神经网络；混合高斯过程等

今日 Paper | 精简BERT；面部交换；三维点云；DeepFakes 及 5G 等

今日 Paper | 虚假新闻检测；马尔可夫决策过程；场景文本识别；博弈论框架等

。