H（H）伊德拉秒um：多解码器模型下文本摘要中的分离样式特征

坦尼亚·戈亚尔,纳兹尼·拉贾尼,刘文浩,沃伊西奇·克里辛斯基

摘要
摘要系统在推理过程中对摘要属性做出许多“决定”，例如复制程度、输出的特异性和长度等。然而，这些都隐含在模型参数中，并且不能强制执行特定的样式。为了解决这个问题，我们引入了HydraSum，这是一种新的摘要体系结构，它将当前模型的单个解码器框架扩展为具有多个解码器的专家混合版本。我们展示了HydraSum的多个解码器在标准训练目标下训练时，在没有任何额外监督的情况下自动学习对比摘要样式。通过对三个摘要数据集（CNN、Newsroom和XSum）的实验，我们表明HydraSum提供了一种简单的机制，可以通过从单个解码器或其混合物中采样来获得风格相反的摘要，优于基线模型。最后，我们证明，在训练期间对门控策略进行小的修改可以实施更严格的风格划分，例如高抽象性与低抽象性或高特异性与低特异性，允许用户从生成空间的更大区域进行采样，并沿多个维度改变摘要风格。
选集ID：
2022.emnlp-main.30年
体积：
2022年自然语言处理实证方法会议记录
月份：
十二月
年份：
2022
地址：
阿拉伯联合酋长国阿布扎比
编辑：
约夫·戈德伯格,佐尔尼萨·科扎列娃,张岳（音）
地点：
EMNLP公司
SIG公司：
发布者：
计算语言学协会
注：
页：
464–479
语言：
网址：
https://aclantology.org/2022.emnlp-main.30
DOI（操作界面）：
10.18653/v1/2022.emnlp-main.30
比比键：
引用（ACL）：
Tanya Goyal、Nazneen Rajani、Wenhao Liu和Wojciech Kryssinski。2022HydraSum：多解码器模型文本摘要中的分离样式特征.英寸2022年自然语言处理实证方法会议记录，第464-479页，阿拉伯联合酋长国阿布扎比。计算语言学协会。
引用（非正式）：
HydraSum：多解码器模型文本摘要中的分离样式特征（Goyal等人，EMNLP 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.emnlp-main.30.pdf
PDF格式 引用 搜索