计算机科学>计算与语言
标题: 用于零炮跨模式传输的模块化语音到文本转换
摘要: 最近的研究表明,经过独立训练的编码器和解码器,通过共享的固定大小表示结合在一起,可以在语音到文本的翻译中取得具有竞争力的性能。 在这项工作中,我们表明,通过多语言培训可以进一步改进这种方法。 我们观察到零快照跨模态语音翻译有了显著改进,甚至在几种语言中都优于基于XLSR的监督方法。