利用合成文本进行基于模仿的知识提取，改进端到端语音翻译

丽贝卡·休伯特，阿特姆·索科洛夫，斯特凡·里兹勒

摘要
端到端自动语音翻译（AST）依赖于结合音频输入和文本翻译输出的数据。之前的工作使用现有的大型并行语料库中的转录和翻译知识蒸馏（KD）设置，以提取神经机器翻译（NMT）到AST学生模型。虽然KD允许使用更大的预处理模型，但以前的KD方法依赖于数据管道中的手动音频记录，这限制了此框架对AST的适用性。我们提出了一种模仿学习方法，在这种方法中，教师NMT系统可以纠正AST学生的错误，而无需依赖手工成绩单。我们表明，NMT教师可以从自动笔录中的错误中恢复，并且能够纠正AST学生的错误翻译，从而在English-German CoVoST-2和MuST-C数据集上分别比标准AST端到端基线提高约4个BLEU点。代码和数据公开：https://github.com/HubReb/imitkd_ast/releases/tag/v1.1
选集ID：
2023年。iwslt-1.4
体积：
第20届国际口语翻译大会（IWSLT 2023）会议记录
月份：
七月
年份：
2023
地址：
加拿大多伦多（现场和在线）
编辑：
伊丽莎白·塞尔斯基，马塞洛·费德里科，海洋木瓜
地点：
IWSLT公司
SIG公司：
信号
出版商：
计算语言学协会
注：
页：
89–101
语言：
网址：
https://aclantology.org/2023.iwslt-1.4
内政部：
10.18653/v1/2023。iwslt-1.4
比比键：
引用（ACL）：
Rebekka Hubert、Artem Sokolov和Stefan Riezler。2023利用合成转录本进行基于模仿的知识提取改进端到端语音翻译.英寸第20届国际口语翻译大会（IWSLT 2023）会议记录，第89-101页，加拿大多伦多（个人和在线）。计算语言学协会。
引用（非正式）：
利用合成文本进行基于模仿的知识提取，改进端到端语音翻译（Hubert等人，IWSLT 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.iwslt-1.4.pdf
PDF格式 引用 搜索