现实世界信息搜索场景中大型语言模型的表到文本生成能力研究

赵一伦,张浩伟,圣云寺,林永南,香乳汤,阿尔曼·科恩

摘要
表格数据在各个行业中普遍存在，用户需要花费大量时间和精力来理解和处理这些数据，以实现其信息搜索目的。大型语言模型（LLM）的进步显示出巨大的潜力，可以提高用户效率。然而，LLM在实际应用中用于表格信息查找的应用仍然没有得到充分的探索。在本文中，我们使用四个数据集在两个真实世界的信息搜索场景中研究了不同LLM的表到文本功能。其中包括用于数据洞察生成的LogicNLG和我们新构建的LoTNLG数据集，以及用于基于查询生成的FeTaQA和我们新构造的F2WTQ数据集。我们围绕三个研究问题展开调查，分别评估LLM在表到文本生成、自动评估和反馈生成方面的性能。实验结果表明，当前高性能的LLM，特别是GPT-4，可以有效地充当表到文本生成器、评估器和反馈生成器，促进用户在真实场景中的信息搜索目的。然而，其他开源LLM（例如，Vicuna和LLaMA-2）与GPT-4模型之间仍存在显著的性能差距。我们的数据和代码可在以下网址公开获取：https://github.com/yale-nlp/LLM-T2T。
选集ID：
2023.emnlp行业17
体积：
2023年自然语言处理实证方法会议记录：行业跟踪
月份：
十二月
年份：
2023
地址：
新加坡
编辑：
王明轩,伊梅德·齐图尼
地点：
EMNLP公司
SIG公司：
出版商：
计算语言学协会
注：
页：
160–175
语言：
网址：
https://aclantology.org/2023.emnlp-industry.17
内政部：
10.18653/v1/2023.emnlp行业17
比比键：
引用（ACL）：
赵一伦、张浩伟、司胜云、南林勇、唐祥如、阿曼·科汉。2023研究真实世界信息搜索场景中大型语言模型的表到文本生成能力.英寸2023年自然语言处理实证方法会议记录：行业跟踪，第160–175页，新加坡。计算语言学协会。
引用（非正式）：
现实世界信息搜索场景中大型语言模型的表到文本生成能力研究（Zhao等人，EMNLP 2023）
复制引文：
PDF格式：
https://aclantology.org/2023.emnlp-industry.17.pdf
视频：
 https://aclantology.org/2023.emnlp-industry.17.mp4
PDF格式 引用 搜索 视频