计算机科学>计算与语言
标题: DeTiME:使用基于编码器-解码器的LLM的扩散增强主题建模
摘要: 在自然语言处理(NLP)这一新兴领域,神经主题模型(NTM)、大型语言模型(LLM)和扩散模型(Diffusion model)已成为重要的研究领域。 尽管如此,NTM主要利用LLM的上下文嵌入,这对于聚类或基于主题的文本生成来说都不是最佳的。 NTM从未与扩散模型结合用于文本生成。 我们的研究通过引入一个新的框架,即使用基于编码器-解码器的LLM(DeTiME)的扩散增强主题建模来解决这些差距。 DeTiME利用基于编码器-解码器的LLM生成高度可聚类的嵌入,与现有方法相比,该嵌入可以生成既具有优异的聚类性又具有增强的语义一致性的主题。 此外,通过利用扩散模型的强大功能,我们的框架还提供了基于主题的文本生成功能。 这种双重功能允许用户同时高效地生成高度聚集的主题和基于主题的文本生成。 DeTiME的潜力还扩展到生成集群嵌入。 值得注意的是,我们提出的框架(基于编码器-解码器的LLM和扩散模型)被证明是高效的训练框架,并且对其他LLM和传播模型具有高度的适应性,这表明了其在广泛应用中的潜力。