使用大型语言模型的上下文软件缩写扩展

蔡善清,Subhashini Venugopalan公司,凯特琳·托马内克,阿吉特·纳拉亚南,梅雷迪思·莫里斯,布伦纳

摘要
出于对严重运动障碍患者在增强交流和替代交流（AAC）中加速文本输入的需要，我们提出了一种范式，其中短语被积极缩写为主要的单词首字母。我们的方法是利用对话上下文和预处理大型语言模型（LLM）的强大功能，将缩写扩展为完整短语选项。通过对四个公共对话数据集的零快照、少快照和微调实验，我们表明，对于对话的初始回合的回复，具有64B参数的LLM能够准确地扩展70%以上的缩写长度为10、，在这些精确扩展上，有效的击键节省率高达77%。与没有上下文相比，以一次对话的形式包含少量上下文会使缩写扩展的准确性提高一倍以上，这种效果对于较长的短语更为明显。此外，通过对噪声数据进行微调，可以增强模型对输入错误噪声的鲁棒性。
选集ID：
2022.naacl-main.91年
体积：
计算语言学协会北美分会2022年会议记录：人类语言技术
月份：
七月
年份：
2022
地址：
美国西雅图
编辑：
海洋木瓜,玛丽·凯瑟琳·德·马尔尼夫,伊万·弗拉基米尔·梅扎·鲁伊斯
地点：
NAACL公司
SIG公司：
出版商：
计算语言学协会
注：
页：
1261–1275
语言：
网址：
https://aclantology.org/2022.naacl-main.91
内政部：
10.18653/v1/2022.naacl-main.91
比比键：
引用（ACL）：
蔡善卿（Shanqing Cai）、苏巴西尼·维努戈帕兰（Subhashini Venugopalan）、卡特琳·托马内克（Katrin Tomanek）、阿吉特·纳拉亚南（Ajit Narayanan）、梅雷迪思·莫里斯（Meredith Morris）和迈克。2022使用大型语言模型进行上下文感知的缩写扩展.英寸计算语言学协会北美分会2022年会议记录：人类语言技术第1261–1275页，美国西雅图。计算语言学协会。
引用（非正式）：
使用大型语言模型的上下文软件缩写扩展（Cai等人，NAACL 2022）
复制引文：
PDF格式：
https://aclantology.org/2022.naacl-main.91.pdf
视频：
 https://acl选集.org/2022.naacl-main.91.mp4
数据
每日对话
PDF格式 引用 搜索 视频