FSR：应用快速跳过正则化加速基于传感器模型的推断过程

田正坤、易江燕、叶白、陶建华、张帅、文正奇

基于传感器的模型，如RNN传感器和变压器-传感器，在语音识别方面取得了巨大成功。典型的传感器模型根据当前声学条件解码输出序列逐步声明和先前预测的标记。从统计角度来看，预测结果中的空白标记数约占所有代币的90%。预测需要大量的计算和时间空白标记，但只有非空白标记将出现在最终输出序列。因此，我们提出了一种称为快速跳过的方法正则化，它尝试对齐预测的空白位置用连接时间分类预测的换能器（CTC）模型。在推断过程中，传感器模型可以预测通过一个简单的CTC项目层提前获得空白令牌换能器解码器的复杂正向计算跳过它们，这将减少计算并改进推理速度非常快。所有实验都是在一个公开的中国普通话上进行的数据集AISHELL-1。结果表明，快速跳跃正则化确实可以帮助传感器模型学习空白位置对齐。此外，快速跳跃的推理速度可以提高近4倍性能只有一点点下降。

doi:10.21437/Interspeech.2021-1367

引用：田，Z。，易，J。，白，Y。，陶，J。。，张，S。，文，Z。（2021）FSR：应用快速跳过正则化加速基于传感器模型的推断过程。程序。Interspeech 2021，4034-4038，doi:10.21437/Interspeech.2021-1367

@正在进行{tian21_interspeech，author={田正坤、易建言、叶白、陶建华、张帅、文正琪}，title={{FSR:应用快速跳过正则化}}加速基于传感器模型的推断过程，年=2021年，booktitle={Proc.Interspeech 2021}，页数={4034--4038}，doi={10.21437/Interspeech.2021-1367}，issn={2958-1796}}