GNMT公司

谷歌的神经机器翻译系统:弥合人类和机器翻译之间的鸿沟。自动翻译是一种基于神经网络的翻译方法,可以克服传统机器翻译的缺点。不幸的是,NMT系统在训练和翻译推理方面的计算开销是众所周知的。而且,大多数NMT系统都难以使用稀有词汇。这些问题阻碍了NMT在实际部署和服务中的应用,因为在实际部署和服务中,准确性和速度都是至关重要的。在这篇文章中,我们介绍了GNMT,Google的神经机器翻译系统,它试图解决许多这些问题。我们的模型由一个深度LSTM网络组成,它有8个编码层和8个解码层,使用注意和剩余连接。为了提高并行性,从而减少训练时间,我们的注意机制将解码器的底层连接到编码器的顶层。在低精度的翻译过程中,我们采用了加速算法。为了改进对稀有单词的处理,我们将单词分成一组有限的公共子单词单元(“单词块”),用于输入和输出。该方法较好地平衡了字符分隔模型的灵活性和单词分隔模型的效率,自然地处理了稀有词的翻译,最终提高了系统的整体精度。我们的beam搜索技术使用了一个长度规范化过程,并使用覆盖惩罚,这鼓励生成一个最有可能覆盖源句子中所有单词的输出句子。在WMT'14英语到法语和英语到德语的基准测试中,GNMT达到了最先进的竞争结果。通过对一组孤立的简单句子进行人工并行评估,与谷歌基于短语的生成系统相比,它平均减少了60%的翻译错误。


zbMATH中的参考文献(引用于,1标准件)

显示结果1到11,共11个。
按年份排序(引用)

  1. 杜阿尔特,维克多;杜阿尔特,迪奥戈;丰塞卡,茱莉亚;蒙特奇诺斯,亚历克西斯:定量经济学的基准机器学习软件和硬件(2020年)
  2. Jagtap,Ameya D.;Kharazmi,Ehsan;Karniadakis,George Em:守恒定律离散域上的保守物理信息神经网络:正问题和反问题的应用(2020)
  3. Sirignano,Justin;Spiliopoulos,Konstantinos:神经网络的平均场分析:大数定律(2020)
  4. 唐孟;刘益民;杜洛夫斯基,路易斯J.:基于深度学习的动态地下水流问题数据同化替代模型(2020)
  5. 张佳军;周龙;赵,杨;宗成庆:神经序列生成的同步双向推理(2020)
  6. Ghica,Dan R.;Alyahya,Khulood:使用LSTM对游戏模型的潜在语义分析(2019年)
  7. Liu,Minliang;Liang,Liang;Sun,Wei:使用机器学习方法估计主动脉壁的体内本构参数(2019年)
  8. Vlachas,Pantelis R.;Byeon,Wonmin;Wan,Zhong Y.;Sapsis,Themistoklis P.;Koumoutsakos,Petros:具有长短期记忆网络的高维混沌系统的数据驱动预测(2018年)
  9. Denny Britz,Anna Goldie,Minh Thang Luong,Quoc Le:神经机器翻译架构的大规模探索(2017)阿尔十四
  10. Felix Hieber,Tobias Domchan,Michael Denkowski,David Vilar,Artem Sokolov,Ann Clifton,Matt Post:Sockeye:神经机器翻译工具包(2017)阿尔十四
  11. 吴永辉、迈克·舒斯特、陈志峰、Quoc V.Le、Mohammad Norouzi、Wolfgang Macherey、Maxim Krikun、Yuan Cao、Qin Gao、Klaus Macherey、Jeff Klingner、Apurva Shah、Melvin Johnson、刘晓兵、Lukasz Kaiser、Stephan Gouws、Yoshikiyo Kato、Taku Kudo、Hideto Kazawa、Keith Stevens、George Kurian、Nishant Patil、Wang、Cliff Young、Jason Smith,Jason Riesa,Alex Rudnick,Oriol Vinyals,Greg Corrado,Macduff Hughes,Jeffrey Dean:谷歌的神经机器翻译系统:弥合人类和机器翻译之间的鸿沟(2016)阿尔十四