欢迎来到RETURNN#

RETURNN论文2016,2018年RETURN论文.

RETURNN-RWTH通用递归神经网络的可扩展训练框架，是基于Theano/TensorFlow的现代递归神经网络架构的实现。它针对多GPU环境中递归神经网络的快速可靠训练进行了优化。

RETURNN的高级功能和目标是：

  • 简单

    • 编写配置/代码简单明了（设置实验、定义模型）

    • 出现问题时的调试很简单

    • 读取配置/代码很简单（定义的模型、培训、解码都变得清晰）

  • 灵活性

    • 考虑多种不同的实验/模型

  • 效率

    • 训练速度

    • 解码速度

所有项目对研究都很重要，解码速度对生产尤其重要。

查看我们的Interspeech 2020教程“ASR和MT机器学习的高效灵活实现”视频(幻灯片)并介绍了核心概念。

更具体的功能包括：

  • 前馈神经网络的微分支训练

  • 基于序列聚类的递归神经网络批训练

  • 长短记忆递归神经网络包括我们自己的快速CUDA内核

  • 多维LSTM（仅GPU，没有CPU版本）

  • 大型数据集的内存管理

  • 跨多个设备的工作分配

  • 灵活快速的体系结构，允许各种编码器-注意-解码器模型

请参见基本用法和技术概述.

下面是RETURNN概述谈话的视频录制(幻灯片,练习单；由eBay托管）。

有许多示例演示它处理人工生成的数据，也就是说，他们应该像我一样工作。

有一些真实世界的例子例如Switchboard或LibriSpeech语料库上的语音识别设置。

针对其他框架的一些基准测试设置可以找到在这里.结果显示在2016年回报文件.LSTM内核与CuDNN和其他TensorFlow内核的性能基准在中TensorFlow LSTM基准.

还有维基.也可以在上提问使用RETURNN标记的StackOverflow.

可以看到一些最新的开发变更日志在这里.

参考#