DistilHuBERT公司 swMATH ID: 42693 软件作者： 张恒瑞、杨树文、李洪耀 描述： DistilHuBERT：通过隐藏单元BERT的分层提取进行语音表示学习。wav2vec 2.0和Hidden-unit BERT（HuBERT）等自我监督语音表示学习方法利用未标记的语音数据进行预训练，并为许多语音处理任务提供良好的表示。尽管这些方法取得了成功，但它们需要大量内存和高昂的预训练成本，这使得学术界和小公司的研究人员无法使用它们。因此，本文引入了一种新的多任务学习框架DistilHuBERT，直接从HuBERT模型中提取隐藏的表示。此方法将HuBERT的大小减少75 主页： https://arxiv.org/abs/2110.01900 源代码： https://github.com/s3prl/s3prl/tree/master/s3prl/upstream/蒸馏器 依赖项： 蟒蛇 相关软件： 自由演讲；迪蒂尔伯特；LightHuBERT公司；TERA公司；贾斯珀；石英网；PyTorch闪电；费尔塞克；棒 极 了；FitNets公司；BERT（误码率）；波浪2vec；赫伯特；蟒蛇；FitHuBERT公司 引用于： 0个文档