计算机科学>计算与语言
标题: Sen2Pro:基于预训练语言模型的句子嵌入概率分析
摘要: 句子嵌入是自然语言处理中最基本的任务之一,在各种任务中发挥着重要作用。 句子嵌入最近的突破是通过预训练语言模型(PLM)实现的。 尽管取得了成功,但表示点估计的嵌入式向量(Sen2Vec)并不能自然地以不确定任务的方式表示不确定性。 因此,本文从PLM中提出了一个有效的概率句子嵌入框架(Sen2Pro),它将句子表示为嵌入空间中的概率密度分布,以反映句子表示中的模型不确定性和数据不确定性(即多对一性)。 该框架以即插即用的方式执行,无需再培训PLM,并且易于实现,通常应用于任何PLM之上。 Sen2Pro相对于Sen2Vec的优势已经在不同的NLP任务上得到了理论验证和实际说明。