研究论文 在上共享 EGLR公司：：用于常识性问题回答的两阶段解释生成和语言推理框架作者:世界环境学会 线路接口单元,郑 黄,赵 王,雁鸣声 彭、和邵荣 谢作者信息和声明体积286,问题C类https://doi.org/10.1016/j.knosys.2024.111411出版:2024年4月17日 出版历史 获取引文提醒新增引文提醒！此警报已成功添加，将发送到：只要您选择的记录被引用，您就会收到通知。新的引文警报！拜托登录到您的帐户 目录体积286,问题C类以前的文章费达加上一个下一篇文章一种用于移动机器人局部路径规划的优化Q学习算法下一步摘要集锦工具书类信息和贡献者文献计量学和引文视图选项工具书类媒体桌子分享摘要在自然语言处理领域，智能系统往往需要强大的常识推理能力才能胜任常识性问题回答（QA）任务。为了增强QA系统的可解释性，一种自然的方法是在预测答案之外生成文本解释，确保结果的可理解性。最近的工作通过使用带有冻结参数的提示语言模型（LM）以较少的方式生成解释来解决这一问题。然后，将这些解释用作额外的上下文，以指导经过微调的LM做出最终决策。然而，这些方法仍然没有充分利用解释文本中嵌入的语义信息。因此，推理模型倾向于依赖单词共现和存储在模型中的知识，而不是充分利用解释。因此，我们建议分两个阶段E类解释G公司生成和L（左）语言R（右）推理框架（EGLR），我们的框架利用LMs的上下文内学习能力生成解释，并将基于解释的推理任务重新构造为语义匹配问题。通过联合提示和训练，我们的模型可以通过比较多种解释来选择最合适的解释。在三个公共数据集上的实验结果表明，我们的框架在完整数据集上取得了优异的性能，同时在域外场景中保持了性能。集锦•提出了一个解释生成和语言推理的两阶段框架。•为了改进常识推理，引入了三个协作子模块。•我们评估框架的性能、忠实性和解释质量。工具书类[1]Talmor A.，Herzig J.，Lourie N.，Berant J.，CommonsenseQA：针对常识知识的问答挑战，见：计算语言学协会北美分会2019年会议论文集：人类语言技术，第1卷（长短论文）《计算语言学协会》，明尼苏达州明尼阿波利斯，2019年，第4149–4158页，。交叉参考谷歌学者[2]钟伟、唐丹、段南、周明、王杰、尹杰、。，通过基于常识的预培训改进问答, 2019,arXiv:1809.03568号.谷歌学者[3]Devlin J.、Chang M.W.、Lee K.、Toutanova K.、BERT：用于语言理解的深层双向变压器的预培训，见：计算语言学协会北美分会2019年会议记录：人类语言技术，第1卷（长篇和短篇论文）《计算语言学协会》，明尼苏达州明尼阿波利斯，2019年，第4171–4186页，。交叉参考谷歌学者[4]Lewis M.、Liu Y.、Goyal N.、Ghazvininejad M.、Mohamed A.、Levy O.、Stoyanov V.、Zettlemoyer L.、BART：针对自然语言生成、翻译和理解的去噪序列到序列预培训，见：计算语言学协会第58届年会会议记录计算语言学协会，2020年，第7871–7880页，。在线。交叉参考谷歌学者[5]Zhung L.、Wayne L.、Ya S.、Jun Z.，一种经过优化的BERT前训练和后训练方法，见：第二十届全国计算语言学会议论文集《中国信息处理学会》，中国呼和浩特，2021年，第1218-1227页。谷歌学者[6]Raffel C.、Shazeer N.、Roberts A.、Lee K.、Narang S.、Matena M.、Zhou Y.、Li W.、Liu P.J.、。，使用统一的文本到文本转换器探索迁移学习的局限性, 2020,.arXiv:1910.10683号.交叉参考谷歌学者[7]Narang S.、Raffel C.、Lee K.、Roberts A.、Fiedel N.、Malkan K.、。，WT5？！训练文本对文本模型以解释其预测, 2020,arXiv:2004.14546.谷歌学者[8]Bosselut A.、Rashkin H.、Sap M.、Malaviya C.、Celikyilmaz A.、Choi Y.、COMET：用于自动知识图构建的通用变压器，见：计算语言学协会第57届年会会议记录《计算语言学协会》，意大利佛罗伦萨，2019年，第4762-4779页，。网址：https://aclantology.org/P19-1470.交叉参考谷歌学者[9]Petroni F.，Rocktäschel T.，Riedel S.，Lewis P.，Bakhtin A.，Wu Y.，Miller A.，语言模型作为知识库？，英寸：2019年自然语言处理实证方法会议和第九届自然语言处理国际联席会议记录，EMNLP-IJCNLP，计算语言学协会，中国香港，2019年，第2463-2473页，。网址：https://aclantology.org/D19-1250.交叉参考谷歌学者[10]Feng Y.、Chen X.、Lin B.Y.、Wang P.、Yan J.、Ren X.，用于知识软件问答的可扩展多跳关系推理，in：2020年自然语言处理实证方法会议记录，EMNLP，计算语言学协会，2020年，第1295-1309页，。在线。交叉参考谷歌学者[11]Yasunaga M.、Ren H.、Bosselut A.、Liang P.、Leskovec J.、QA-GNN：用语言模型和知识图进行推理以进行问答，见：计算语言学协会北美分会2021年会议论文集：人类语言技术《计算语言学协会》，2021年，第535-546页，。在线。交叉参考谷歌学者[12]Izacard G.，Grave E.，《利用文章检索和生成模型进行开放领域问答》，载于：计算语言学协会欧洲分会第16届会议记录：主要卷《计算语言学协会》，2021年，第874-880页，。在线。交叉参考谷歌学者[13]Kim Y.J.、Kwak B.w.、Kim Y.、Amplay R.K.、Hwang S.-w.、Yeo J.，零快照常识推理的多知识图模块化转移学习，见：计算语言学协会北美分会2022年会议记录：人类语言技术《计算语言学协会》，美国西雅图，2022年，第2244–2257页，。网址：https://aclantology.org/2022.naacl-main.163.交叉参考谷歌学者[14]Rajani N.F.、McCann B.、Xiong C.、Socher R.，解释一下！利用语言模型进行常识推理，包括：计算语言学协会第57届年会会议记录《计算语言学协会》，意大利佛罗伦萨，2019年，第4932–4942页，。交叉参考谷歌学者[15]Brown T.、Mann B.、Ryder N.、Subbiah M.、Kaplan J.D.、Dhariwal P.、Neelakantan A.、Shyam P.、Sastry G.、Askell A.、Agarwal S.、Herbert-Voss A.、Krueger G.、Henighan T.、Child R.、Ramesh A.、Ziegler D.、Wu J.、Winter C.、Hesse C.、Chen M.、Sigler E.、Litwin M.、Gray S.、Chess B.、Clark J.、Berner C.、McCandlish S.、Radford A.、Sutskever I.、。，Amodei D.，语言模型是少有的学习者，见：Larochelle H.，Ranzato M.，Hadsell R.，Balcan M.，Lin H.（编辑），神经信息处理系统进展，第33卷，Curran Associates，Inc.，2020年，第1877–1901页。网址：https://proceedings.neurips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-paper.pdf.谷歌学者[16]董琦、李磊、戴德、郑丙、吴忠、张斌、孙曦、徐杰、李磊、隋姿、。，情境学习研究综述, 2023,arXiv：2301.00234.谷歌学者[17]Gilardi F.、Alizadeh M.、Kubli M.、。，ChatGPT在文本通知任务方面表现优于众筹工作者, 2023,.arXiv:2303.15056.交叉参考谷歌学者[18]Wiegreffe S.、Hessel J.、Swayamdipta S.、Riedl M.、Choi Y.，重新定义人机协作以生成自由文本解释，见：计算语言学协会北美分会2022年会议论文集：人类语言技术《计算语言学协会》，美国西雅图，2022年，第632-658页，。交叉参考谷歌学者[19]王鹏、陈安、伊里夫斯基F、陈明、任旭、。，PINTO：使用即时生成的理由进行忠实的语言推理, 2023,arXiv:2211.01562.谷歌学者[20]Speer R.、Chin J.、Havasi C.、ConceptNet 5.5:通用知识的开放式多语言图形，见：第三十一届AAAI人工智能会议记录AAAI’17，AAAI出版社，2017年，第4444-4451页。谷歌学者[21]Sap M.、LeBras R.、Allaway E.、Bhagavatula C.、Lourie N.、Rashkin H.、Roof B.、Smith N.A.、Choi Y。，原子：用于if-then推理的机器常识图谱, 2019,.arXiv:1811.00146号.交叉参考谷歌学者[22]孙瑜，石强，齐磊，张瑜，JointLK：用语言模型和知识图进行联合推理，用于常识性问题的回答，in：计算语言学协会北美分会2022年会议记录：人类语言技术《计算语言学协会》，美国西雅图，2022年，第5049–5060页，。交叉参考谷歌学者[23]张强，陈S.，方M.，陈X.，基于知识子图的多选题联合推理，信息处理。管理。60 (3) (2023),.数字图书馆谷歌学者[24]崔伟，陈曦，用大规模领域外常识增强自然语言表征，in：计算语言学协会的发现ACL 2022，计算语言学协会，爱尔兰都柏林，2022年，第1746-1756页，。网址：https://aclantology.org/2022.findings-acl.138网址.交叉参考谷歌学者[25]Yu W.，Zhu C.，Zhang Z.，Wang S.，Zhang Z.，Fang Y.，Jiang M.，《常识推理的检索增强：统一方法》，in：2022年自然语言处理实证方法会议记录《计算语言学协会》，阿拉伯联合酋长国阿布扎比，2022年，第4364–4377页。网址：https://aclantology.org/2022.emnlp-main.294.谷歌学者[26]Su Y.，Wang Z.，Fang T.，Zhang H.，Song Y.，ZhangT.，MICO：常识知识表示的多替代对比学习框架，见：计算语言学协会的发现，EMNLP 2022，计算语言学协会，阿拉伯联合酋长国阿布扎比，2022年，第1339–1351页。网址：https://aclantology.org/2022.findings-emnlp.96.谷歌学者[27]Khashabi D.、Min S.、Khot T.、Sabharwal A.、Tafjord O.、Clark P.、Hajishirzi H.、UNIFIEDQA：使用单一QA系统跨越格式边界，在：计算语言学协会的发现，EMNLP 2020，计算语言学协会，2020，第1896–1907页，。在线，网址：https://aclantology.org/2020.findings-emnlp.171.交叉参考谷歌学者[28]黄哲、吴安、周杰、顾瑜、赵瑜、程刚，答案前的线索：世代增强型多项选择问答，in：计算语言学协会北美分会2022年会议记录：人类语言技术《计算语言学协会》，美国西雅图，2022年，第3272–3287页，。网址：https://acl选集.org/2022.naacl-main.239.交叉参考谷歌学者[29]詹X.、李Y.、董X.、梁X.、胡忠.、Carin L.、elBERto：用于答疑的自我监督常识学习，知识-基于系统。258 (2022),.数字图书馆谷歌学者[30]魏杰、王旭、舒尔曼D.、博斯玛M.、伊希特B.、夏芳、池英、乐琴、周D.、。，思想链提示在大型语言模型中引发推理, 2023,arXiv:2201.11903.谷歌学者[31]Liu J.，Liu A.，Lu X.，Welleck S.，West P.，Le Bras R.，Choi Y.，Hajishirzi H.，为常识推理生成知识提示，见：计算语言学协会第60届年会论文集（第一卷：长篇论文），计算语言学协会，爱尔兰都柏林，2022，第3154–3169页，。网址：https://aclantology.org/2022.acl-long.225.交叉参考谷歌学者[32]Sewon Min J.、Xinxi Lyu A.、Ari Holtzman X、Mikel Artetxe S.、Mike Lewis P.、Hannaneh Hajishirzi R.、Luke Zettlemoyer Y、。，反思演示的作用：是什么使情境学习有效？, 2022,arXiv:2202.12837.谷歌学者[33]Wei J.，Tay Y.，Bommasani R.，Raffel C.，Zoph B.，Borgeaud S.，Yogatama D.，Bosma M.，Zhou D.，Metzler D.，Chi E.H.，Hashimoto T.，Vinyals O.，Liang P.，Dean J.，Fedus W.，大型语言模型的应急能力，事务处理。机器。学习。物件。（2022）网址：https://openreview.net/forum？id=yzkSU5zdwD，检验证书。谷歌学者[34]李S.、陈杰、沈瑜、陈泽、张欣、李泽、王宏、钱杰、彭波、毛瑜、陈伟、闫欣、。，大型语言模型的解释使小型推理机更好, 2022,arXiv公司：2210.06726.谷歌学者[35]Zelikman E.、Wu Y.、Mu J.、Goodman N.D.、。，STaR：用推理引导推理, 2022,.arXiv公司：2203.14465.交叉参考谷歌学者[36]王B.、小松崎A.、。，GPT-J-6B:60亿参数自回归语言模型, 2021.谷歌学者[37]Black S.、Biderman S.、Hallahan E.、Anthony Q.、Gao L.、Golding L.、He H.、Leahy C.、McDonell K.、Phang J.、Pieler M.、Prashanth U.S.、Purohit S.、Reynolds L.、Tow J.、Wang B.、Weinbach S.、GPT-NeoX-20B：开源自回归语言模型，见：《大科学》第5集会议记录——创建大型语言模型的挑战和观点研讨会计算语言学协会，虚拟+都柏林，2022年，第95-136页，。交叉参考谷歌学者[38]Wiseman S.，Rush A.M.，作为波束搜索优化的序列到序列学习，在：2016年自然语言处理实证方法会议记录《计算语言学协会》，德克萨斯州奥斯汀，2016年，第1296-1306页，。网址：https://aclantology.org/D16-1137.交叉参考谷歌学者[39]Chen T.、Kornblith S.、Norouzi M.、Hinton G.、。，视觉表征对比学习的简单框架, 2020,.arXiv:2002.05709.交叉参考谷歌学者[40]何凯、范浩、吴勇、谢绍、吉希克·R、。，无监督视觉表征学习中的动量对比, 2020,.arXiv:1911.05722号.交叉参考谷歌学者[41]高涛，姚霞，陈德，SimCSE：句子嵌入的简单对比学习，in：2021年自然语言处理实证方法会议记录《计算语言学协会，在线和加纳角，多米尼加共和国》，2021年，第6894–6910页，。网址：https://aclantology.org/2021.emnlp-main.552.交叉参考谷歌学者[42]Pan X.，Wang M.，Wu L.，Li L.，多语言神经机器翻译的对比学习，在：计算语言学协会第59届年会和第11届国际自然语言处理联合会议记录（第1卷：长篇论文）计算语言学协会，在线，2021年，第244-258页，。网址：https://aclantology.org/2021.acl-long.21.交叉参考谷歌学者[43]Lin H.，Yan Y.，Chen G.，使用范围内原型网络推进低资源意图检测，收录于：ICASSP 2021-2021 IEEE声学、语音和信号处理国际会议，ICASSP，2021年，第7623–7627页，。交叉参考谷歌学者[44]van den Oord A.、Li Y.、Vinyals O.、。，基于对比预测编码的表征学习, 2019,arXiv:1807.03748.谷歌学者[45]Mihaylov T.、Clark P.、Khot T.、Sabharwal A.，一套盔甲能导电吗？一个用于开卷问答的新数据集，位于：2018年自然语言处理实证方法会议记录《计算语言学协会》，比利时布鲁塞尔，2018年，第2381–2391页，。交叉参考谷歌学者[46]Khot T.、Clark P.、Guerquin M.、Jansen P.、Sabharwal A.、。，QASC：通过句子合成进行问答的数据集, 2020,arXiv:1910.11473年.谷歌学者[47]Touvron H.、Lavril T.、Izacard G.、Martinet X.、Lachaux M.A.、Lacroix T.、Rozière B.、Goyal N.、Hambro E.、Azhar F.、Rodriguez A.、Joulin A.、Grave E.、Lample G.、。，Llama：开放高效的基础语言模型, 2023,arXiv公司：2302.13971.谷歌学者[48]Liu Y.、Ott M.、Goyal N.、Du J.、Joshi M.、Chen D.、Levy O.、Lewis M.、Zettlemoyer L.、Stoyanov V.、。，RoBERTa:一种稳健优化的BERT预处理方法2019年9月19日，abs/1907.11692，URL：https://api.semanticscholar.org/CorpusID:198953378.谷歌学者[49]Lan Zhongzhong M.C.、Goodman S.、Gimpel K.、Sharma P.、Soricut R.、ALBERT:语言表征自我监督学习的精英BERT，在：第八届国际学习代表大会，ICLR 2020，埃塞俄比亚亚的斯亚贝巴，2020年4月26日至30日，OpenReview.net，2020，URL:https://openreview.net/forum？id=H1eA7AEtvS.谷歌学者[50]Wolf T.、Debut L.、Sanh V.、Chaumond J.、Delangue C.、Moi A.、Cistac P.、Rault T.，Louf R.、Funtowicz M.、Davison J.、Shleifer S.、von Platen P.、Ma C.、Jernite Y.、Plu J.，Xu C.、Scao T.L.、Gugger S.，Drame M.、Lhoest Q.、Rush A.M.，《变形金刚：最先进的自然语言处理》，收录于：2020年自然语言处理实证方法会议记录：系统演示计算语言学协会，2020年，第38-45页。在线，网址：https://www.aclweb.org/antology/2020.emnlp-demos.6.谷歌学者[51]Shazeer N.，Stern M.，Adafactor:具有亚线性记忆成本的自适应学习率，载：Dy J.，Krause A.（编辑），第35届机器学习国际会议论文集，摘自：《机器学习研究论文集》，第80卷，PMLR，2018年，第4596–4604页。网址：https://proceedings.mlr.press/v80/shazeer18a.html.谷歌学者 建议 基于词聚类和形态分解的立陶宛语统计语言模型 本文描述了我们对统计语言的研究立陶宛建模。改进稀疏n元模型的思想高度屈折的立陶宛语基于词聚类和形态学的复杂n-gram模型...阅读更多信息让人工智能和儿童参与常识推理的解释性对话CHI EA’23：2023年CHI计算机系统人为因素会议的扩展摘要 人类级常识推理能力对于人机交互至关重要，它使人工智能能够理解、预测和响应人类的思想、感觉和行为。尽管人工智能常识推理最近取得了进步，但由于。。。阅读更多信息非单调因果理论逻辑形式化和常识推理专题 本文定义的非单调因果逻辑可以用来表示动作的属性，包括具有条件和间接影响的动作、不确定性动作和并发执行的动作。它已应用于几个。。。阅读更多信息 评论 Please enable JavaScript to view thecomments powered by Disqus. 信息和贡献者问询处发布于 基于知识的系统 第286卷C期2024年2月779页ISSN公司：0950-7051期刊目录 爱思唯尔有限公司。出版商爱思唯尔科学出版社。荷兰出版历史出版：2024年4月17日作者标记问题的回答常识性推理语言模型限定符研究文章贡献者 其他指标查看文章指标文献计量学和引文文献计量学 文章指标 0引文总数0总下载次数下载量（最近12个月）0下载次数（最近6周）0 其他指标查看作者指标引文视图选项查看选项获取访问权限 登录选项检查您是否可以通过登录凭据或您的机构访问本文。登录完全访问权限获取此出版物 媒体数字其他桌子分享分享共享此出版物链接复制链接已复制！复制失败。在社交媒体上分享Linkedin公司Reddit网站电子邮件附属公司世界环境学会 线路接口单元上海大学计算机工程与科学学院，上海，200444，中国上海人工智能实验室，上海，201114查看个人资料郑 黄上海大学计算机工程与科学学院，上海，200444，中国上海人工智能实验室，上海，201114，中国查看个人资料赵 王上海大学未来技术学院，上海，200444，中国上海大学人工智能研究所，上海，200444，中国查看个人资料雁鸣声 彭上海大学未来技术学院，上海，200444上海大学人工智能研究所，上海，200444，中国查看个人资料邵荣 谢上海大学计算机工程与科学学院，上海，200444，中国查看个人资料
