提示学习启发的无监督情感风格迁移研究

doi:10.3778/j.issn.1002-8331.2211-0317

摘要/摘要

摘要：文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量，提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框架，但采用大型无监督预训练语言模型和变压器的工作机理，改进了从源语句中筛选样式属性的方法，通过提示学习方法挖掘预训练模型的内部知识以实现对目标样式词的生成。在两个情感基准数据集上的实验表明，该方法在文本样式迁移任务上明显优于现有的编辑类方法，综合指标的相对分数平均提高了14%以上。

关键词: 文本生成, 文本样式迁移, 情感迁移, 提示学习, 变压器

摘要：文本样式传输是指在保留原始文本内容的同时，传输具有某些所需样式属性的文本生成。为了提高非平行语料库的迁移质量，本文提出了一种新的方法来引导fill-mask模型将句子重写为目标语料。总的来说，这种方法基于删除-检索-生成风格的传输框架，但使用了一个大型的无监督预处理语言模型和Transformer体系结构。根据Transformer的工作原理，首先改进了从源句中过滤风格属性的方法，然后通过快速学习方法挖掘预训练模型的内部知识，生成目标风格词。在两个情绪基准数据集上的实验表明，该方法优于现有的编辑方法，在综合指标上的相对得分平均提高了14%以上。

关键词： 文本生成，文本样式传输，情绪转移，及时学习，变压器

蔡国永, 李安庆. 提示学习启发的无监督情感风格迁移研究[J] ●●●●。计算机工程与应用, 2024, 60(5): 146-155.

蔡国勇、李安庆。基于即时学习的非监督情绪风格迁移方法[J]。计算机工程与应用，2024，60（5）：146-155。

参考文献

[1] 徐伟，里特A，多兰B，等.风格解读[C]//《COLING学报》2012，2012:2899-2914。
[2] 周刚，罗平，曹锐，等.用于对话响应生成的机制感知神经机[C]//第31届AAAI人工智能会议论文集，2017。
[3] REDDY S，KNIGHT K。在社交媒体写作中混淆性别[C]//自然语言处理与计算社会科学第一次研讨会论文集，2016:17-26。
[4] RAO S，TETREAULT J.亲爱的先生或女士，请允许我介绍GYAFC数据集：语料库、基准和形式风格转换度量[C]//计算语言学协会北美分会2018年会议记录：人类语言技术，2018:129-140。
[5] 杨灿，孙明，易欣，等.基于无监督风格解纠缠的风格化汉语诗歌生成[C]//2018年自然语言处理实证方法会议论文集，2018:3960-3969。
[6] MADAAN A，SETLUR T，PAREKH B，等.礼貌迁移：标记生成法[J]。arXiv:2004.142572020年。
[7] 傅Z，谭X，彭恩，等.文本风格转换：探索与评价[C]//美国人工智能学会人工智能会议论文集，2018。
[8] 胡盛伟, 李弼程, 林孔杰，等. 面具AE：基于无监督的短文本情感迁移方法[J] ●●●●。中文信息学报, 2020, 34(2): 105-112.
胡世伟，李伯聪，林克杰，熊毅，等.无监督短文情感传递方法[J]。中国信息处理杂志，2020，34（2）：105-112。
[9] HE J，WANG X，NEUBIG G，et al.无监督文本风格转移的概率公式[C]//国际学习表征会议论文集，2020。
[10] SHEN T，LEI T，BARZILAY R，等.基于交叉对齐的非平行文本风格转换[C]//神经信息处理系统进展，2017。
[11] 罗凤，李萍，周杰，等.一种无监督文本风格迁移的双强化学习框架[J]。arXiv:1905.100602019。
[12] 戴恩，梁杰，邱霞，等.风格转换：无分离潜在表征的非配对文本风格转换[C]//计算语言学协会第57届年会论文集，2019:5997-6007。
[13] 张泽，任斯，刘斯，等。风格转换作为无监督机器翻译[J]。arXiv:1808.078942018。
[14] 史毅，张斯，周C，等.基于图变换的语言约束文本风格转换自动编码器[J]。ACM智能系统与技术汇刊，2021，12（3）：1-16。
[15] 李杰，贾瑞，何赫，等.删除，检索，生成：情感和风格转换的简单方法[C]//计算语言学协会北美分会2018年会议论文集：人类语言技术，2018:1865-1874。
[16] 吴霞，张涛，臧磊，等.蒙面和填充：将蒙面语言模型应用于情绪传递[C]//国际人工智能联合会议论文集，2019。
[17] MALMI E，SEVERYN A，ROTHE S.使用填充屏蔽语言模型的无监督文本风格转移[C]//自然语言处理经验方法会议论文集，2020:8671-8680。
[18] SUDHAKAR A，UPADHYAY B，MAHESWARAN A.受控文本风格转换的转换删除、检索、生成方法[C]//2019年自然语言处理经验方法会议暨第九届自然语言处理国际联合会议论文集，2019:3260-3270。
[19] SCAO T L，RUSH A M。一个提示值多少个数据点？[C] //计算语言学协会北美分会会议记录，2021年。
[20] MANNING C D，SURDEANU M，BAUER J，等.斯坦福大学自然语言处理工具包[C]//计算语言学协会第52届年会论文集：系统演示，2014:55-60。
[21]基南，威廉J F.圣布莱：信仰、时尚与自由：玛丽斯特基金会服装1817-1862[M]。伦敦；纽约：Routledge，2017:132-153。
[22]HEAFIELD K.KenLM:更快、更小的语言模型查询[C]//第六届统计机器翻译研讨会论文集，2011:187-197。