跳到主要内容
10.1145/3404835.3462859acm会议文章/章节视图摘要出版物页面红外会议记录会议集合
研究论文
开放式访问

知识图对话问答中的强化学习

出版:2021年7月11日出版历史

摘要

个人助理的兴起使得会话式问答(ConvQA)成为一种非常流行的用户-系统交互机制。知识图上ConvQA(KG)的最新方法只能从流行的基准测试中发现的清晰的问答对中学习。然而,实际上,这样的培训数据很难获得:用户很少会明确地将答案标记为正确或错误。在这项工作中,我们朝着更自然的学习范式迈出了一步——从嘈杂和隐含的反馈到问题重组。重新制定可能是由错误的系统响应触发的,而新的后续问题可能是对前一轮答案的积极信号。我们提出了一种强化学习模型,称为CONQUER,它可以从问题和改写的对话流中学习。CONQUER将回答过程建模为多个代理在KG上并行行走,其中行走由使用策略网络采样的操作确定。该策略网络将问题和会话上下文作为输入,并通过从重新制定可能性中获得的噪声奖励进行训练。为了评估CONQUER,我们创建并发布了ConvRef,这是一个包含约205k个改写的约11000个自然对话的基准。实验表明,CONQUER成功地从噪声奖励信号中学习,在最先进的基线上显著提高。

跳过补充材料部分

补充材料

SIGIR21-fp270.mp4型

英里4

38.3 MB

工具书类

  1. Abdalghani Abujabal、Rishiraj Saha Roy、Mohamed Yahya和Gerhard Weikum。2017.QUINT:基于知识库的可解释问答。在EMNLP中。谷歌学者谷歌学者
  2. Abdalghani Abujabal、Rishiraj Saha Roy、Mohamed Yahya和Gerhard Weikum。2018.通过知识库进行开放领域问答的永无止境的学习。在WWW中。谷歌学者谷歌学者
  3. Raviteja Anantha、Svitlana Vakulenko、Zhuyeng Tu、Shayne Longpre、Stephen Pulman和Srinivas Chappidi。2020年。开放域问答通过问题改写实现对话。在arXiv。谷歌学者谷歌学者
  4. 汉娜·巴斯特和埃尔玛·奥斯曼。2015年,在Freebase上更准确地回答问题。在CIKM中。谷歌学者谷歌学者
  5. 乔纳森·贝兰特、安德鲁·周、罗伊·弗罗斯蒂格和珀西·梁。2013.基于问答对的Freebase语义分析。在EMNLP中。谷歌学者谷歌学者
  6. 乔纳森·贝兰特和珀西·梁。2014.通过释义进行语义分析。在ACL中。谷歌学者谷歌学者
  7. 尼基塔·不丹(Nikita Bhutani)、郑欣怡(Xinyi Zheng)和HV Jagadish。2019.学习使用查询组合回答知识库中的复杂问题。在CIKM中。谷歌学者谷歌学者
  8. Christian Buck、Jannis Bulian、Massimiliano Ciaramita、Wojciech Gajewski、Andrea Gesmundo、Neil Houlsby和Wei Wang。2018.提出正确的问题:通过强化学习重新制定主动问题。在ICLR中。谷歌学者谷歌学者
  9. Jon Ander Campos、Kyunghyun Cho、Arantxa Otegi、Aitor Soroa、Eneko Agire和Gorka Azkune。2020年。使用反馈加权学习改进部署后的对话式问答系统。在COLING中。谷歌学者谷歌学者
  10. Youjin Chang、Iadh Ounis和Minkoo Kim。2006.使用从文档空间自动生成的查询概念重新设置查询。IP&M,第42卷,第2卷(2006年)。谷歌学者谷歌学者
  11. 蔡恩索尔、何贺、莫希特·伊耶、马克·亚茨卡、文涛·义、蔡叶锦、梁佩西和卢克·泽特莫耶。2018年,QuAC:上下文中的问答。在EMNLP中。谷歌学者谷歌学者
  12. 菲利普·克里斯特曼(Philipp Christmann)、里希拉杰·萨哈·罗伊(Rishiraj Saha Roy)、阿卜杜勒加尼·阿布贾巴尔(Abdalghani Abujabal)、乔茨纳·辛格(Jyotsna Singh)和格哈德·威库姆(Gerhard Weikum)。2019.Look before you Hop:Conversational Question Answering over Knowledge Graphs Using Judicious Context Expansion跳之前看:运用明智的上下文扩展在知识图上进行对话式问答。在CIKM中。谷歌学者谷歌学者
  13. Van Dang和Bruce W Croft。2010.使用锚文本查询重新制定。在WSDM中。谷歌学者谷歌学者
  14. Rajarshi Das、Shehzaad Dhuliawala、Manzil Zaheer和Andrew McCallum。2019.可扩展开放域问答的多步骤检索器-阅读器交互。在ICLR中。谷歌学者谷歌学者
  15. 拉贾西·达斯(Rajarshi Das)、谢赫扎德·杜利亚瓦拉(Shehzaad Dhuliawala)、曼齐尔·扎赫尔(Manzil Zaheer)、卢克·维尼斯(Luke Vilnis)、伊斯汉·杜鲁加尔(Ishan Durugkar)、阿克谢·克里希纳穆西(Akshay Krishnamurthy。2018.去散步,找到答案:使用强化学习对知识库中的路径进行推理。在ICLR中。谷歌学者谷歌学者
  16. Rajarshi Das、Manzil Zaheer、Siva Reddy和Andrew McCallum。2017.使用通用模式和记忆网络的知识库和文本问答。在ACL中。谷歌学者谷歌学者
  17. 雅各布·德夫林(Jacob Devlin)、张明伟(Ming Wei Chang)、肯顿·李(Kenton Lee)和克里斯蒂娜·图塔诺娃(Kristina Toutanova)。2019.BERT:针对语言理解的深层双向变压器的预培训。在NAACL-HLT中。谷歌学者谷歌学者
  18. 李东、乔纳森·马林森、西瓦·雷迪和米雷拉·拉帕塔。2017年,EMNLP中的问题回答释义学习。谷歌学者谷歌学者
  19. Mohnish Dubey、Debayan Banerjee、Abdelrahman Abdelkawi和Jens Lehman。2019.LC-QuAD 2.0:通过Wikidata和DBpedia进行复杂问题解答的大型数据集。在ISWC中。谷歌学者谷歌学者
  20. 安东尼·法德(Anthony Fader)、卢克·泽特莫耶(Luke Zettlemoyer)和奥伦·埃齐奥尼(Oren Etzioni)。2013年。ACL中开放式问题回答的释义驱动学习。谷歌学者谷歌学者
  21. 米哈伊尔·高尔金(Mikhail Galkin)、普里扬什·特里维迪(Priyansh Trivedi)、高拉夫·马赫什瓦里(Gaurav Maheshwari)、里卡多·乌斯贝克(Ricardo Usbeck)和延斯·莱曼(Jens Lehmann)。2020年,超相关知识图的信息传递。在EMNLP中。谷歌学者谷歌学者
  22. 弗雷德里克·戈丁(Fréderic Godin)、安吉什努·库马尔(Anjishnu Kumar)和阿皮特·米塔尔(Arpit Mittal)。2019.学习何时不回答:基于强化学习的问题回答的三元奖励结构。NAACL-HLT。谷歌学者谷歌学者
  23. 郭大亚、唐杜玉、南段、周明和尹建军。2018.对话-行动:通过大规模知识库进行对话式问答。在NeurIPS中。谷歌学者谷歌学者
  24. Somil Gupta和Neeraj Sharma。2021.注意历史选择在会话信息寻求中的作用。在arXiv。谷歌学者谷歌学者
  25. 艾哈迈德·哈桑(Ahmed Hassan)、史晓林(Xiaolin Shi)、尼克·克拉斯韦尔(Nick Crashwell)和比尔·拉姆齐(Bill Ramsey)。2013.超越点击:查询重新制定作为搜索满意度的预测指标。在CIKM中。谷歌学者谷歌学者
  26. Daniel Hernández、Aidan Hogan和Markus Krötzsch。2015.Reifying RDF:Wikidata的优势是什么?。在ISWC中。谷歌学者谷歌学者
  27. 小黄、张靖远、李定成和李萍。2019年。WSDM中基于知识图嵌入的问答。谷歌学者谷歌学者
  28. 伯纳德·詹森(Bernard J Jansen)、丹妮尔·布思(Danielle L Booth)和阿曼达·斯宾克(Amanda Spink)。2009年。网络搜索期间查询重新设置的模式。JASIST,第60卷,第7卷(2009年)。谷歌学者谷歌学者交叉引用交叉引用
  29. 托尔斯滕·约阿希姆斯(Thorsten Joachims)、劳拉·格兰卡(Laura Granka)、宾·潘(Bing Pan)、海伦·亨布罗克(Helene Hembrooke)、菲利普·拉德林斯基(Filip Radlinski)和杰里·盖伊。2007.评估网络搜索中点击和查询重新设置的隐式反馈的准确性。TOIS,第25卷,第2期(2007年)。谷歌学者谷歌学者数字图书馆数字图书馆
  30. Magdalena Kaiser、Rishiraj Saha Roy和Gerhard Weikum。2020年。利用单词邻近网络在文章中回答对话问题。在SIGIR中。谷歌学者谷歌学者
  31. Diederik P.Kingma和Jimmy Ba.2015年。亚当:一种随机优化方法。在ICLR中。谷歌学者谷歌学者
  32. 伯恩哈德·克拉茨瓦尔德(Bernhard Kratzwald)和斯特凡·费尔里格尔(Stefan Feuerriegel)。2019.学习网上神经问题解答中的在线用户反馈。在WWW中。谷歌学者谷歌学者
  33. Jyoti Leeka、Srikanta Bedathur、Debajyoti Bera和Medha Atre。2016.Quark-X:RDF四店的高效top-k处理框架。在CIKM中。谷歌学者谷歌学者
  34. Belinda Z.Li、Sewon Min、Srinivasan Iyer、Yashar Mehdad和Wen-tau Yih。2020年。高效的一通端到端实体链接问题。在EMNLP中。谷歌学者谷歌学者
  35. 习维多莉亚·林(Xi Victoria Lin)、理查德·索彻(Richard Socher)和熊彩铭(Caiming Xiong)。2018年。多点知识图推理与奖励形成。在EMNLP中。谷歌学者谷歌学者
  36. 刘银汉(音)、米勒·奥特(Myle Ott)、纳曼·戈亚尔(Naman Goyal)、杜敬飞(Jingfei Du)、曼达尔·乔希(Mandar Joshi)、陈丹奇(Danqi Chen)、奥马尔·利维(Omer Levy)、迈克·刘易斯(Mike Lewis)、卢克·泽特莫耶(Luke Zettlemoyer)和韦塞林·斯托亚诺夫(Veselin Stoyanov)。2019.RoBERTa:稳健优化的BERT预训练方法。在arXiv。谷歌学者谷歌学者
  37. 陆晓璐(Xiaolu Lu)、苏马吉特·普拉马尼克(Soumajit Pramanik)、里希拉吉·萨哈·罗伊(Rishiraj Saha Roy)、阿卜杜勒加尼·阿布贾巴尔(Abdalghani Abujabal)、王亚芳(Yafang Wang)和格。2019.通过将多文档证据与准知识图结合来回答复杂问题。在SIGIR中。谷歌学者谷歌学者
  38. Volodymyr Mnih、Koray Kavukcuoglu、David Silver、Andrei A Rusu、Joel Veness、Marc G Bellemare、Alex Graves、Martin Riedmiller、Andreas K Fidjeland、Georg Ostrovski等,2015年。通过深度强化学习进行人性化控制。《自然》,第5187540卷(2015年)。谷歌学者谷歌学者
  39. 托马斯·米勒、弗朗西斯科·皮奇诺、彼得·肖、马西莫·尼科西亚和亚塞米·阿尔顿。2019.回答无逻辑形式的结构化数据对话问题。在CIKM中。谷歌学者谷歌学者
  40. Vinh Nguyen、Olivier Bodenreider和Amit Sheth。2014.不喜欢RDF具体化?使用singleton属性生成有关语句的语句。在WWW中。谷歌学者谷歌学者
  41. Rodrigo Nogueira和Kyunghyun Cho。2017.以任务为导向的查询重新制定和强化学习。在EMNLP中。谷歌学者谷歌学者
  42. Barlas Oguz、Xilun Chen、Vladimir Karpukhin、Stan Peshterliev、Dmytro Okhonko、Michael Schlichtkrull、Sonal Gupta、Yashar Mehdad和Scott Yih。2020年,使用结构化和非结构化知识统一开放领域问题解答。在arXiv。谷歌学者谷歌学者
  43. 弗朗切斯科·皮金诺和保罗·费拉吉纳。2014.从TagME到WAT:一个新的实体注释器。在ERD中。谷歌学者谷歌学者
  44. Pragaash Ponnusamy、Alireza Roshan Ghias、Chenlei Guo和Ruhi Sarikaya。2020.大规模对话人工智能代理中基于反馈的自学习。在IAAI(AAAI研讨会)。谷歌学者谷歌学者交叉引用交叉引用
  45. 邱明慧(Minghui Qiu)、黄新静(Xinjing Huang)、岑晨(Cen Chen)、冯基(Feng Ji)、陈曲(Chen Qu)、魏伟(Wei Wei)、黄军(Jun Huang,音译)和张茵。2021.加强对话式问题回答的历史回溯。AAAI。谷歌学者谷歌学者
  46. 邱云琪、王元卓、金小龙和张坤。2020。弱监督知识图上多关系问题回答的逐步推理。在WSDM中。谷歌学者谷歌学者
  47. 陈曲、刘洋、岑晨、邱明慧、W Bruce Croft和Mohit Iyyer。2020年,开放检索式对话问答。SIGIR。谷歌学者谷歌学者
  48. 陈曲、刘洋、邱明慧、W Bruce Croft、张永丰和Mohit Iyyer。2019年a.BERT,嵌入历史答案,用于对话式问答。SIGIR。谷歌学者谷歌学者
  49. 陈曲、刘洋、邱明慧、张永丰、岑晨、W Bruce Croft和Mohit Iyyer。2019年b.关注对话式问答的历史选择。在CIKM中。谷歌学者谷歌学者
  50. Siva Reddy、Danqi Chen和Christopher Manning。2019.CoQA:对话式问答挑战。TACL,第7卷(2019)。谷歌学者谷歌学者交叉引用交叉引用
  51. Gary Ren、Ni Xiaochuan、Manish Malik和Qifa Ke.2018年。使用序列到序列建模理解对话查询。在WWW中。谷歌学者谷歌学者
  52. Amrita Saha、Vardaan Pahuja、Mitesh M Khapra、Karthik Sankaranarayanan和Sarath Chandar。2018.复杂顺序问答:学习用知识图在链接的问答对上进行对话。在AAAI。谷歌学者谷歌学者
  53. Rishiraj Saha Roy和Avishek Anand。2020年,通过Curated和Open Web Sources进行问答。在SIGIR中。谷歌学者谷歌学者
  54. 乌玛·萨旺特(Uma Sawant)和索门·查克拉巴蒂(Soumen Chakrabarti)。2013.学习联合查询解释和响应排名。在WWW中。谷歌学者谷歌学者
  55. 陶申、耿秀波、秦涛、郭大雅、唐杜玉、南段、龙国栋和蒋大新。2019.基于大规模知识库的对话式问题回答多任务学习。在EMNLP中。谷歌学者谷歌学者
  56. 魏申、王建勇和韩嘉伟。2014.与知识库链接的实体:问题、技术和解决方案。TKDE,第27卷,第2卷(2014年)。谷歌学者谷歌学者
  57. 沈业龙、陈建树、黄伯森、郭玉清和高剑锋。2018.M-walk:学习使用蒙特卡罗树搜索遍历图。以NIPS为单位。谷歌学者谷歌学者
  58. 海地太阳、塔妮娅·贝德拉克斯·韦斯和威廉·科恩。2019.PullNet:基于知识库和文本的迭代检索的开放领域问题解答。在EMNLP-IJCNLP中。谷歌学者谷歌学者
  59. 理查德·萨顿(Richard S.Sutton)和安德鲁·巴托(Andrew G.Barto)。2018年,强化学习:简介。麻省理工学院出版社。谷歌学者谷歌学者数字图书馆数字图书馆
  60. 阿隆·塔尔莫和乔纳森·贝兰特。2018.网络作为回答复杂问题的知识库。在NAALC-HLT中。谷歌学者谷歌学者
  61. Priyansh Trivedi、Gaurav Maheshwari、Mohnish Dubey和Jens Lehmann。2017.LC-QuAD:基于知识图的复杂问题回答语料库。在ISWC中。谷歌学者谷歌学者
  62. 克里斯蒂娜·昂格(Christina Unger)、安德烈·弗雷塔斯(AndréFreitas)和菲利普·西米亚诺(Philipp Cimiano)。2014.关于链接数据的问答介绍。在推理网络国际暑期学校。谷歌学者谷歌学者
  63. Ricardo Usbeck、Ria Hari Gusmita、Muhammad Saleem和Axel-Cyrille Ngonga Ngomo。2018年,第九次针对链接数据的问答挑战(QALD-9)。在QALD中。谷歌学者谷歌学者
  64. Svitlana Vakulenko、Shayne Longpre、Zhucheng Tu和Raviteja Anantha。2021.会话式问答的问题改写。WSDM。谷歌学者谷歌学者
  65. Denny Vrandevc ić和Markus Krötzsch。2014年,维基数据:一个免费的协作知识库。CACM,第57卷,第10卷(2014年)。谷歌学者谷歌学者
  66. 罗纳德·威廉姆斯。1992年。连接强化学习的简单统计梯度允许算法。机器学习,第8卷,3-4(1992)。谷歌学者谷歌学者
  67. 熊文翰(Wenhan Xiong)、黄体恩(Thien Hoang)和王威廉(William Yang Wang)。2017.DeepPath:知识图推理的强化学习方法。在EMNLP中。谷歌学者谷歌学者
  68. 徐子汉、朱建刚、凌庚、杨洋、林伯嘉和姜大新。2020年。学习生成可扩展对话查询理解的改革行动。在CIKM中。谷歌学者谷歌学者
  69. Mohamed Yahya、Klaus Berberich、Shady Elbassuoni、Maya Ramanath、Volker Tresp和Gerhard Weikum。2012.数据网络的自然语言问题。在EMNLP中。谷歌学者谷歌学者
  70. W.Yih、M.Chang、X.He和J.Gao。2015.通过分阶段查询图生成进行语义分析:使用知识库进行问题解答。在ACL中。谷歌学者谷歌学者
  71. Shi Yu、Jiahua Liu、Jingqin Yang、Chenyan Xiong、Paul Bennett、Jianfeng Gao和Zhiyuan Liu。2020年,很少有生成性对话查询重写。在SIGIR中。谷歌学者谷歌学者
  72. 张新波、邹磊和胡森,2019年。通过反馈改进问答系统的互动机制。在CIKM中。谷歌学者谷歌学者
  73. 张玉玉、戴汉军、佐尔尼萨·科扎列娃、亚历山大·斯莫拉和乐松。2018.使用知识图进行问答的变分推理。在AAAI。谷歌学者谷歌学者

索引术语

  1. 知识图对话问答中的强化学习

    建议

    评论

    登录选项

    检查您是否可以通过登录凭据或您的机构访问本文。

    登录

    完全访问权限

    PDF格式

    以PDF文件查看或下载。

    PDF格式

    电子阅读器

    使用eReader联机查看。

    电子阅读器