融合知识表示和深度强化学习的知识推理方法

doi:10.3778/j.issn.1002-8331.2104-0430

摘要/摘要

摘要：

知识推理是解决知识图谱中知识缺失问题的重要方法，针对大规模知识图谱中知识推理方法仍存在可解释性差、推理准确率和效率偏低的问题，提出了一种将知识表示和深度强化学习相结合的方法RLP变速器利用知识表示学习方法，将知识图谱映射到含有三元组语义信息的向量空间中，并在该空间中建立强化学习环境。通过单步择优策略网络和多步推理策略网络的训练，使强化学习智能体在与环境交互过程中，高效挖掘推理规则进而完成推理。在公开数据集上的实验结果表明，相比于其他先进方法，该方法在大规模数据集推理任务中取得更好的表现。

关键词: 知识推理, 深度强化学习, 知识表示, 路径控制, 规则挖掘

摘要：

知识推理是解决知识图中知识缺乏问题的一种重要方法。大规模知识图中的知识推理方法仍然存在可解释性差、推理精度和效率低等问题。本文提出了一种将知识表示与深度强化学习相结合的RLPTransE方法。首先，使用知识表示学习方法将知识图映射到包含三元组语义信息的向量空间，并在该空间中建立强化学习环境。然后，通过单步优化策略网络和多步推理策略网络进行训练，使强化学习agent能够有效地挖掘推理规则，并在与环境交互的过程中完成推理。在公共数据集上的实验结果表明，与现有方法相比，该方法在大规模数据集的推理任务中取得了更好的性能。

关键词： 知识推理，深度强化学习，知识表示，路径控制，规则挖掘

宋浩楠，赵刚，王兴芬. 融合知识表示和深度强化学习的知识推理方法[J] ●●●●。计算机工程与应用, 2021, 57(19): 189-197.

宋浩南、赵刚、王兴芬。结合知识表示和深度强化学习的知识推理方法[J]。计算机工程与应用，2021，57（19）：189-197。

参考文献

[1] BOLLACKER K，EVANS C，PARITOSH P等。Freebase:一个协作创建的用于构建人类知识的图形数据库[C]//2008年ACM SIGMOD国际数据管理会议论文集，2008:1247-1250。
[2] AUER S，BIZER C，KOBILAROV G，等.数据库：开放数据网络的核心[C]//第六届国际语义网络会议论文集，2007:722-735。
[3] CARLSON A，BETTERIDGE J，KISIEL B，et al.走向永无止境的语言学习架构[C]//第24届AAAI人工智能会议论文集，2010:1306-1313。
[4] 张仲伟，曹雷，陈希亮，等.基于神经网络的知识推理研究综述[J] ●●●●。计算机工程与应用，2019，55（12）：8-19.
张志伟，曹磊，陈学良，等。基于神经网络的知识推理综述[J]。计算机工程与应用，2019,55（12）：8-19。
[5] 官赛萍，靳小龙，贾岩涛，等.面向知识图谱的知识推理研究进展[J] .《报告》，2018年，29（10）：2966-2994。
关世平，金小林，贾义堂，等。基于知识图的知识推理研究[J]。软件杂志，2018,29（10）：2966-2994。
[6] BORDES A，USUNIER N，GARCIA-DURAN A，et al.为多关系数据建模翻译嵌入[C]//神经信息处理系统进展，2013:2787-2795。
[7] 王Z，张杰，冯杰，等.基于超平面平移的知识图嵌入[C]//第28届人工智能会议论文集，2014:1112-1119。
[8] 阮小芸，廖健斌，李祥，等.基于人才知识图谱推理的强化学习可解释推荐研究[J] ●●●●。数据分析与知识发现，2020，5（6）：36-50.
阮晓英，廖建斌，李霞，等.基于人才知识图推理的强化学习解释性推荐[J]。数据分析与知识发现，2020,5（6）：36-50。
[9] 林毅，刘智，孙明，等.基于学习实体和关系嵌入的知识图完成方法[C]//第29届人工智能会议论文集，2015:2181-2187。
[10] JI G，HE S，XU L，等.基于动态映射矩阵的知识图嵌入[C]//计算语言学协会第53届年会暨第七届国际自然语言处理联合会议论文集，2015:687-696。
[11] EBISU T，ICHISE R.Toruse:嵌入在谎言群上的知识图[C]//第32届AAAI人工智能会议论文集，2018:1819。
[12] 孙志清，邓志海，倪建英，等.旋转：复杂空间中基于关系旋转的知识图嵌入[J].arXiv:1902.101972019。
[13] 张仕，戴毅，姚隆恩，等.四元数知识图嵌入[C]//第三十三届神经信息处理系统会议论文集，2019:2735。
[14] 刘峤，李杨，段宏，等.知识图谱构建技术综述[J] ●●●●。计算机研究与发展，2016，53（3）：582-600.
刘强，李毅，段赫，等.知识图构建技术[J]。计算机研究与发展杂志，2016,53（3）：582-600。
[15] 劳恩，COHEN W。使用路径约束随机游动组合的关系检索[J]。机器学习，2010,81（1）：53-67。
[16] LAO N，MITCHELL T，COHEN W W.大规模知识库中的随机行走推理与学习[C]//自然语言处理经验方法会议论文集，计算语言学协会，2011:529-539。
[17] GARDNER M，MITCHELL T.使用子图特征提取实现高效表达的知识库[C]//自然语言处理经验方法会议论文集，2015:1488-1498。
[18] GARDNER M，TALUKDAR P，KRISHNAMURTHY J，等.将向量空间相似性引入知识库上的随机行走推理[C]//2014年自然语言处理经验方法会议论文集，2014:397-406。
[19] DAS R，NEELAKANTAN A，BELANGER D，等.基于递归神经网络的实体、关系和文本推理链[J].arXiv:1607.014262016。
[20] 陈伟，熊伟，闫X，等.变分知识图推理[J].arXiv:1803.065812018。
[21]LIN Y，LIU Z，LUAN H，等.知识库表征学习的关系路径建模[C]//2015年自然语言处理实证方法会议论文集，2015:705-714。
[22] 陈海旭，周强，刘学军.一种结合路径信息和嵌入模型的知识推理方法[J] ●●●●。小型微型计算机系统，2020，41（6）：1147-1151.
陈海霞，周强，刘晓杰.结合路径信息和嵌入模型的知识图推理[J]。中国计算机系统杂志，2020，41（6）：1147-1151。
[23]贾毅，王毅，金X，等.特定路径知识图嵌入[J]。基于知识的系统，2018151:37-44。
[24]吴玉斌，朱德华，廖晓伟，等.基于张量因式分解路径的知识图推理[J]。模式识别与人工智能，2017,30（5）：473-480。
[25]熊伟，HOANG T，WANG W Y.Deeppath:一种用于知识图推理的强化学习方法[J].arXiv:1707.066902017。
[26]DAS R，DHULIAWALA S，ZAHEER M，et al.走走，得出答案：使用强化学习对知识库中的路径进行推理[J].arXiv:1711.058512017。
[27]LIN X V，SOCHER R，XIONG C.带奖赏成形的多跳知识图推理[C]//《2018年自然语言处理实证方法会议论文集》，2018年。
[28]李蓉，程X.DIVINE:知识图推理的生成性对抗性模仿学习框架[C]//2019年自然语言处理实证方法会议暨第九届国际自然语言处理联合会议（EMNLP-IJCNLP）论文集，2019年。
[29]王赫，李斯，潘R，等.基于深度强化学习将图形注意机制引入知识图形推理[C]//2019年自然语言处理实证方法会议暨第九届国际自然语言处理联合会议（EMNLP-IJCNLP）论文集，2019。
[30]WILLIAMS R J.连接强化学习的简单统计梯度允许算法[J]。机器学习，1992,8（3/4）：229-256。
[31]TOUTANOVA K，CHEN D，PANTEL P，et al.表示文本以联合嵌入文本和知识库[C]//2015年自然语言处理实证方法会议论文集，2015:1499-1509。