条件语言模型中各种解码方法的比较

达芙妮·伊波利托,里诺·克里兹,乔·塞多克,玛丽亚·库斯蒂科娃,克里斯·卡利森·布尔赫

摘要
虽然条件语言模型在输出高质量自然语言的能力方面有了很大提高，但许多NLP应用程序都受益于能够生成一组不同的候选序列。多样化的解码策略旨在在给定大小的候选列表中，覆盖尽可能多的高质量输出空间，从而改进重新排列和组合候选输出的任务。标准解码方法（如波束搜索）针对生成高似然序列而非多样性序列进行了优化，尽管最近的工作重点是增加这些方法的多样性。在这项工作中，我们对从条件语言模型生成不同输出的解码时间策略进行了广泛的调查。此外，我们提出了一种新的方法，即对候选序列进行过采样，然后使用聚类来删除相似序列，从而在不牺牲质量的情况下实现高多样性。
选集ID：
第19-1365页
体积：
计算语言学协会第57届年会会议记录
月份：
七月
年份：
2019
地址：
意大利佛罗伦萨
编辑：
安娜·科霍恩,大卫·特拉姆,路易斯·马奎兹
地点：
国际计算语言学协会
SIG公司：
出版商：
计算语言学协会
注：
页：
3752–3762
语言：
网址：
https://aclantology.org/P19-1365
内政部：
10.18653/v1/P19-1365
比比键：
引用（ACL）：
达夫娜·伊波利托、雷诺·克里兹、乔·塞多克、玛丽亚·库斯蒂科娃和克里斯·卡利森·布尔赫。2019条件语言模型中各种解码方法的比较.英寸计算语言学协会第57届年会会议记录，第3752–3762页，意大利佛罗伦萨。计算语言学协会。
引用（非正式）：
条件语言模型中各种解码方法的比较（Ippolito等人，ACL 2019）
复制引文：
PDF格式：
https://aclantology.org/P19-1365.pdf
代码
rekriz11/DeDiv公司
PDF格式 引用 搜索 代码