高效反恐委员会基于粗标签的端到端语音翻译正则化

张彪,巴里·哈多,里科·森里奇

摘要
对于端到端语音翻译，使用源文本或目标翻译作为标签，使用连接时态分类（CTC）目标规范编码器可以大大提高质量。然而，CTC要求在词汇表空间上增加一个预测层，带来了不可忽略的模型参数和计算开销，尽管该层在推理方面变得毫无用处。在本文中，我们重新审视了CTC对真正的词汇标签进行规范化的必要性，并探索了减少CTC标签空间的策略，以期在不降低质量的情况下提高效率。我们提出了粗标注CTC（CoLaCTC），它通过简单的启发式规则合并词汇标签，例如使用截断、除法或模（MOD）操作。尽管它很简单，但我们在4种源语言和8种目标语言上的实验表明，使用MOD的CoLaCTC可以将标签空间大幅压缩到256甚至更进一步，从而获得训练效率（1.18×～1.77×加速比，取决于原始词汇量）但仍能提供与CTC基准相当或更好的性能。我们还表明，CoLaCTC成功地推广到CTC正则化，而不考虑使用转录或翻译进行标记。
选集ID：
2023.每个月166
体积：
计算语言学协会欧洲分会第17届会议记录
月份：
五月
年份：
2023
地址：
克罗地亚杜布罗夫尼克
编辑：
安德烈亚斯·弗拉科斯,伊莎贝尔·奥根斯坦
地点：
EACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
2264–2276
语言：
网址：
https://aclantology.org/2023.eacl-main.166
内政部：
10.18653/v1/2023.eacl-main.166
比比键：
引用（ACL）：
张彪（Biao Zhang）、巴里·哈多（Barry Haddow）和里科·森里奇（Rico Sennrich）。2023基于粗标签的高效CTC正则化在端到端语音翻译中的应用.英寸计算语言学协会欧洲分会第17届会议记录第2264-2276页，克罗地亚杜布罗夫尼克。计算语言学协会。
引用（非正式）：
基于粗标签的高效CTC正则化在端到端语音翻译中的应用（Zhang等人，EACL 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.eacl-main.166.pdf
视频：
 https://aclantology.org/2023.eacl-main.166.mp4
PDF格式 引用 搜索 视频