压缩、转换和创造：评估自然语言生成的统一框架

邓明凯,鲍文·谭,刘正中,Eric Xing（埃里克·星）,胡志婷

摘要
自然语言生成（NLG）涉及广泛的任务，每个任务都有特定的目标，需要生成的文本具有不同的属性。这种复杂性使得NLG的自动评估特别具有挑战性。以前的工作通常侧重于单个任务，并基于特定直觉制定了个人评估指标。在本文中，我们基于NLG任务中信息变化的性质提出了一个统一的观点，包括压缩（例如摘要）、转换（例如文本重写）和创建（例如对话）_输入、上下文和输出文本之间的信息对齐在描述生成过程中起着共同的中心作用。利用自动对齐预测模型，我们开发了一系列可解释的指标，这些指标适用于评估不同NLG任务的关键方面，通常不需要黄金参考数据。实验表明，在每一个不同的任务中，包括文本摘要、风格转换和知识对话，与最新的度量标准相比，统一设计的度量标准与人类判断的相关性更强或更具可比性。
选集ID：
2021.emnlp-main.599年
体积：
2021年自然语言处理实证方法会议记录
月份：
十一月
年份：
2021
地址：
多米尼加共和国Online和Punta Cana
编辑：
玛丽·弗朗辛·莫恩斯,黄宣景,露西娅·斯佩西亚,斯科特·文涛（Scott Wen-tau Yih）
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
7580–7605
语言：
网址：
https://acl选集.org/2021.emnlp-main.599
内政部：
10.18653/v1/2021年5月5日
双钥匙：
引用（ACL）：
邓明凯（Mingkai Deng）、谭伯文（Bowen Tan）、刘正中（Zhengzhong Liu）、邢埃里克（Eric Xing）和胡志婷（Zhiting Hu）。2021年。压缩、转换和创造：评估自然语言生成的统一框架.英寸2021年自然语言处理实证方法会议记录，第7580–7605页，在线和多米尼加共和国卡纳角。计算语言学协会。
引用（非正式）：
压缩、转换和创造：评估自然语言生成的统一框架（Deng等人，EMNLP 2021）
复制引文：
PDF格式：
https://aclantology.org/2021.emnlp-main.599.pdf
软件：
2021.emnlp-main.599.软件.zip
视频：
 https://aclantology.org/2021.emnlp-main.599.mp4网址
代码
谭玉谦/ctc-gen-eval
数据
美国有线电视新闻网/每日邮报, SummaEval总结
PDF格式 引用 搜索 代码 软件 视频