微软强化学习开源节项目开始接受申请,1万美元助学金,3月6日截止

雷锋网(公众号:雷锋网)AI开发者讯,微软研究院的全球项目:强化学习开放源代码节(RL Open Source Fest),目前已经开始面向全球接受申请。

强化学习(RL,Reinforcement Learning )开放源代码节是一项全球性在线计划,旨在让学生与数据科学家和微软研究院“真实世界强化学习”小组的工程师一起,进行开源强化学习程序和软件开发。2020年5月至2020年8月,学生们将进行为期四个月的研究编程项目。被录取的学生将获得10,000美元的助学金。

学生来自世界各地,共同解决开放源代码强化学习问题,在课程结束时,学生将在线向微软研究院“真实世界强化学习”小组介绍各自的项目。三名学生及其项目将被选为“强化学习开放源代码节”的决赛入围者,并有机会在纽约市的微软研究院实验室亲自介绍他们的项目,由微软提供差旅和住宿。

申请期将于2020年3月6日截止。接下来的时间表是:3月23日,选定申请者;4月20日至30日,将进行学生和导师会议;5月18日,项目开始;8月10日至13日,项目介绍和评估;2020年8月17日,决赛入围者宣布。

学生将在四个月里使用 Vowpal Wabbit (以下简称VW)来开始研究编程项目。VW是由计算机科学家约翰·兰福德(John Langford)创建,并在许多贡献者的帮助下由微软研究院开发的开源机器学习库。它提供一种快速、灵活、在线和主动的机器学习解决方案,使人们能够解决复杂的交互式机器学习问题,并且主要关注上下文强盗算法和强化学习。它既是研究原型,又是将前沿算法推向生产的工具。

约翰·兰福德生于1975年,是2012年国际机器学习会议(ICML)的联合主席,2016年ICML 的主席,也是2019年至2021年ICML的主席。

要获得该计划的资格,学生必须就读于被认可的机构包括大学,硕士课程,博士学位课程或本科课程。在计划期间,学生主要的责任是提交代码,并通过代码审查,定期反馈已完成的工作。最终实现一个成功的面向数据科学的项目,包括可重现的实验,数据集,报告和可视化结果,以及测试和文档。

微软研究院也在申请网页(https://www.microsoft.com/en-us/research/academic-program/rl-open-source-fest/  )上列出了需要解决的“开源项目问题清单”,以下是简要列表说明。

强化学习开放源代码节项目问题清单:

1.VW对FlatBuff 和/或Protobuf的支持

包括对现代序列化框架的支持,比如FlatBuff或ProtoBuff。这将实现更容易的互操作、更好的稳定性和潜在的更高性能。

2.基于Jupyter笔记本的背景数据可视化

构建可视化以帮助理解上下文强盗策略和日志的行为。

3.并行解析

现代机器经常利用多线程来实现性能。VW目前使用单个解析线程和单个学习线程,解析通常是瓶颈。扩展解析器以支持多线程将允许我们更好地利用资源。

4.VW服务器模式改造

VW目前有守护程序模式,允许客户发送示例、训练、建模以及接收预测。目前使用的是原始套接字和二进制协议。我们想提供一个现代版本的VW服务器模式,利用现代的RPC技术。

5.改善VW的Python体验

VW的Python集成可以在几个方面进行改进,使用户更容易使用。

6.用于强化学习的端到端循环

强化学习库有扩展点,允许交换框架,但是目前没有简单的方法让它在本地端对端工作。使RLClientLib支持本地预测、日志记录将成为一个很好的原型工具。

7.张量观察和张量板集成

张量板集成(TensorBoard)和张量观察(TensorWatch)是调试和监控训练的绝佳工具,使它们成为与VW和RLClientLib集成的绝佳选择。

8.VW的ONNX算子集和模型格式

VW有自己的运行时,从自己的模型文件运行推理。然而,ONNX是定义模型和支持推理的新兴标准,该项目使VW模型能够与ONNX运行时互操作。

9.支持在Python中实现VW的减少

VW的所有缩减都是在C++中实现的。然而,为了允许快速原型开发和利用Python生态系统,使用Python来做这件事是有意义的。

10.支持RLClientLib扩展点的Python实现

RLCLientLib支持几个可扩展性点,但这些只在C++公开。在Python中使用RLCLientLib时,能够支持这些是很重要的。 

11.上下文强盗算法的基准

有许多不同的上下文强盗算法。为了比较,一个标准的基准将是有用的。

12.上下文强盗算法评估库

一种常见的评估库是IPS,其他的是DR和伪逆(PseudoInverse)。这些评估库在不同的环境下工作得更好或更差。这个项目探索每一个的参考实现,并允许它们之间比较,以帮助理解。

13.用Python进行可编写脚本的特征工程

VW通过命令行支持示例操作。它提供了很大的灵活性,但是除了固定的选项集,很难表达任何东西。其想法是使示例操作能够在Python中作为解析管道中的一系列钩子来编写脚本。

雷锋网雷锋网雷锋网


微软强化学习开源节项目开始接受申请,1万美元助学金,3月6日截止

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/137749.html

(0)
上一篇 2021年9月2日
下一篇 2021年9月2日

相关推荐

发表回复

登录后才能评论