自然语言处理的最佳实践

语音播放文章内容

由深声科技提供技术支持

雷锋网(公众号：雷锋网) AI 开发者按，近年来，自然语言处理（NLP）在质量和可用性方面快速增长，这有助于推动人工智能解决方案的实际落地。在过去的几年里，研究人员一直在将新的深度学习方法应用于 NLP。数据科学家开始从传统的方法转向最先进的（SOTA）深度神经网络（DNN）算法，这种算法使用的语言模型经过了大文本语料库的预训练。

此存储库包含构建 NLP 系统的示例和最佳实践，在 jupyter notebook 和实用程序函数中提供。知识库的重点是最先进的方法和常见的场景，这些方法和场景在研究文本和语言问题的研究人员和实践者中很流行。

概述

该知识库的目标是利用 NLP 算法、神经架构和分布式机器学习系统的最新进展构建一套综合的工具和示例。其内容是基于我们过去和未来与客户的接触，以及与合作伙伴、研究人员和开源社区的合作。

我们希望这些工具能够通过简化从定义业务问题到开发解决方案的经验，显著减少「上市时间」。此外，示例 notebook 将作为指导方针，以各种语言展示工具的最佳实践和用法。

在一个迁移学习、transformer 和深度架构的时代，我们相信预训练模型为许多现实问题提供了统一的解决方案，并允许轻松处理不同的任务和语言。因此，我们将优先考虑这些模型，因为它们在几个 NLP 基准上取得了最先进的结果。这些模型可用于多种应用，从简单的文本分类到复杂的智能聊天机器人。

内容

下面是存储库中介绍的常用 NLP 场景的摘要。每个场景都在一个或多个使用模型和存储库实用程序核心代码库的 jupyter notebook 示例中演示。

在解决 NLP 问题时，从预构建的认知开始总是好的。当需求超出预构建认知的范围时，当你想要搜索自定义机器学习方法时，你会发现此存储库非常有用。要开始使用，请导航到设置指南，其中列出了有关如何设置环境和依赖关系的说明。

马上行动吧~

via：https://github.com/microsoft/nlp

雷锋网雷锋网

雷锋网版权文章，未经授权禁止转载。详情见。