雷锋网(公众号:雷锋网)获悉:在机器学习公司Petuum员工帮助下,近期热门的神经网络工具包DyNet近日启用了一个新的网站:dynet.io,即日起对DyNet感兴趣的同学可以访问网站获得关于DyNet的教程、实例、最新动态等信息。
DyNet是一个基于网络结构的动态声明(Dynamic Declaration of network structure)。今年1月,来自卡内基梅隆大学、Google Deepmind、以色列巴伊兰大学、艾伦人工智能研究所、IBM T.J. Watson研究中心、墨尔本大学、Google、微软、华盛顿大学等研究者共同发表了一篇论文介绍了DyNet。该工具包在 GitHub 上开源的地址为:http://github.com/clab/dynet,在新的网站启用之前,这也是DyNet爱好者们的主阵地。
据雷锋网了解,DyNet是基于动态计算图的,长处在于其“动态性”,可以为每一个训练样例动态地定义一个计算图。包括:
-
动态计算图:DyNet可时构建计算图,这使得变量输入和变量输出模型能以高性能实现;
-
动态批处理操作:DyNet能自动将操作重新组合成批次,从而在无需开发者操作情况下获得最佳性能,方便Debug;
-
适合复杂结构:DyNet非常适合自然语言处理、图形结构、强化学习和其他复杂状态空间的处理。
而从DyNet第一作者Graham Beubig的Twitter看,相比起其他类似工具,在某些特定场合训练速度有近10倍的提升:
关于DyNet的更详细内容,可参阅DyNet论文:《DyNet: The Dynamic Neural Network Toolkit》。
小结
雷锋网注意到,在机器学习领域,如Dynamic neural net,mixture of experts,one network one example等新概念层出不穷,这也进一步推进了如DyNet、Pytorch、TF Fold等新一批深度学习框架的发展。而这些深度学习框架也在通过各种方式吸引更多用户发展壮大(如MxNet作者李沐最近就正在做一系列的相关课程),各位在深度学习前线的研究者不妨多关注这些领域,或许会有惊喜哦。
。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/128445.html