1.简介
尽管人工智能近年来取得了重大进展，在某些任务上超越了人类，但拥有两岁或三岁儿童智能的机器的目标仍远未实现。这种距离的一个主要原因是缺乏机器知识。例如，机器看到单词“apple”，但不知道苹果的某些属性，例如从苹果树上掉下、可食用、红色等。为了让机器理解文本背后的含义，我们需要对可以描述的事物（实体）进行建模，填写其属性，并扩展其与其他事物的连接，也就是说，建立机器的先验知识。
知识库是一个知识数据库，可以存储复杂的结构化和非结构化信息（例如，关于上述苹果的知识）。知识图（KG）[1,2,三,4]是一种基于图结构或拓扑结构建模的知识库。它们是知识库应用的关键技术，几乎已经成为知识库的代名词。知识图中的相关技术已广泛应用于无线通信网络、搜索引擎、智能答疑、语言推理、推荐计算、大数据决策分析等领域。 在无线通信网络中，随着无线通信技术的不断发展，人们对带宽、数据传输速率、延迟、可靠性等指标提出了越来越高的要求。鉴于无线网络结构的复杂性和服务类型的多样性，无线通信网络数据的内生因素之间的关系通常是复杂的。因此，影响无线通信网络性能和用户体验质量的因素千差万别：它们可以有效地澄清指标和数据字段之间的关系，有助于理解无线通信网络的结构和运行机制，并评估网络性能下降或用户体验质量下降，并准确查明这些变化的原因。根据具体原因给出了相应的调谐方案。基于上述要求，许多无线通信网络应用[5,6]已经提出了基于知识图的方法。 从另一个角度来看，这些领域对知识图的广泛需求也推动了知识图技术的不断进步。例如，考虑到数据不足和知识更新困难，Liu等人[7]提出了一种新的基于深度学习方法的中国医疗知识图，可应用于基于物联网和物联网的移动设备。为了解决数据不足的问题，处理了60万条数据来支持模型的训练，取得了良好的性能。云计算也用于他们的实践中，通过物联网和基于WoT的移动设备为医生和患者提供便利。新数据在云中计算和存储，这涉及文本和图像计算以及处理和存储功能。 由于知识图推理（KGR）在基于知识和事实的推理系统中的重要性，知识推理的研究和发展已经持续了几十年。示例KG包括DBpedia等开源[8]，自由基[9]，雅高[10]以及由谷歌和微软开发的专有技术[11]. 在过去几年中，由于KGR在人工智能应用（如推荐系统）中的重要作用，研究界和工业界对KGR的兴趣激增[12,13,14,15]，问题解答[16,17,18,19,20]，常识推理[21,22,23,24]、个性化医疗[25]和药物发现[26,27]. KGR旨在从现有知识中发现新知识[2]. 如所示图1新知识可以分为两种类型：新实体和新关系。新实体涉及的技术领域通常是与实体提取、实体消歧、实体融合等相关的自然语言处理或知识映射技术。新关系技术涉及关系提取和知识推理。KGR是指通过在已建立的知识图中的推理技术和新知识的发现来推导实体之间潜在的或新的关系。在图数据库、图论和其他相关领域中，它通常被称为链接预测。 KGR方法大致可分为四大类：基于嵌入的推理,基于符号的推理,基于神经网络的推理、和混合推理. The central idea of the
基于嵌入的推理方法是确定一个映射函数，该映射函数将符号表示映射到向量空间进行数值表示，从而减少维数灾难并捕获实体和关系之间的隐式关联。关键是它可以直接快速地计算出来。常见的方法是TransE[28]（转换嵌入）系列算法，RESCAL[29]，距离[30]它们可以应用于节点分类和链路预测等下游任务。基于符号的推理方法通过定义或学习知识中存在的规则，挖掘和推理新知识或事实。AMIE公司[31]以及源自早期ILP（归纳逻辑编程）的AMIE+算法[32]系统强调通过自动规则学习方法从大规模知识图中快速有效地学习高置信度规则，并已应用于推理任务。基于神经网络的推理方法具有较强的表达能力，在关系（链接）预测等任务中取得了良好的效果。网络结构的设计是多样的，可以满足不同的推理要求。例如，NTN[33]使用双线性张量层代替标准线性神经网络直接关联两个实体向量，并计算两个实体之间关系概率的分数。R-GCN公司[34]将GCN应用于关系网络，特别是关系预测和实体分类，并引入了权重分配和系数约束的方法，使其可以应用于具有众多关系的网络。 混合推理可以将基于符号的推理、基于嵌入的推理和基于神经网络的推理能力结合起来，实现优势互补，同时提高推理结果的准确性和可解释性。例如，神经逻辑编程（neural LP）[35]是一种可微知识图推理方法，它集成了关系表示学习、规则学习和递归神经网络。LSTM在多步推理中生成隐变量，并通过隐变量引起对多步推理每个关系的注意。DeepPath（深度路径）[36]和MINERVA[37]在知识图的多步骤推理过程中，使用强化学习学习路径选择策略。RUGE（规则引导嵌入）[38]将现有的推理规则迭代输入到知识图的表示学习过程中，通过约束和影响知识图的表达学习结果，获得更好的推理结果。 在本文中，我们试图通过对知识图推理方法的全面文献综述，为未来的研究奠定基础。具体来说，首先，我们回顾了知识图的基本概念，并从知识表示、知识提取和知识融合三个方面对知识图的相关方法进行了分类和总结。然后，我们从知识图推理的定义出发，探索其在工业中的应用。然后，对知识图推理方法进行了分类，介绍并比较了从经典模型到最新发展的各种知识图推理算法。最后，我们讨论了知识图推理尚待解决的问题和未来的发展方向。
论文的其余部分组织如下：第2节详细介绍了知识图推理在不同任务中的应用。在第3节为了方便不熟悉知识图的读者，我们首先快速回顾了知识图的相关技术。在第4节，我们详细介绍了上述四种KGR技术。然后，在第5节，我们对各种KGR技术进行了比较分析，并从技术和产业两个角度介绍了KGR的应用。最后，在第6节，我们简要总结了知识图推理的挑战和未来的研究方向。 2.知识图简介
2.1. 知识表示
通常，知识来自互联网上的开放数据或领域或企业内的数据，这通常会导致通用知识图或领域知识图。获取数据后，知识应以标准格式存储在计算机上。早期的专家使用语义网和逻辑描述来描述显式的、离散的、因而是内生可解释的知识（例如一阶谓词逻辑、Horne子句和Horne逻辑）。
随着语义网和互联网的发展，知识表示迎来了新的机遇和挑战(图2). 机会是语义Web为知识表示提供了一个良好的应用场景。面临的挑战是，面向Web的语义知识表示需要提供一组标准语言，用于描述Web上的各种信息。早期的Web标准语言HTML和XML无法适应语义Web知识表示的要求，因此W3C提出了新的标准语言：RDF、RDFS和OWL。 专有知识图通常具有特定的知识表示方法。例如，Freebase[9]知识表示框架主要包括以下元素：对象、事实、类型和属性。对象表示实体。每个对象都有一个唯一的ID，称为机器ID（MID）。一个“对象”可以有一个或多个“类型”。“属性”描述了“事实”。Wikidata的[39]知识表示框架主要包括以下元素：页面、实体、项、属性、语句、限定符、引用等。此外，ConceptNet5的知识表示框架[40]由概念、单词、短语、断言、关系和边组成。图3显示了知识库和知识图的示例。 在上述知识图的表示方法中，大多数是基于三元组来组织知识的。虽然这种离散的符号表达式可以非常有效地构造数据，但这些符号不能在计算机中表达相应的语义级别的信息，也不能进行语义计算，这对一些下游应用程序来说是不友好的。
随着表征学习的发展和NLP中单词向量等嵌入技术的出现，人们受到启发，将知识表示为类似于单词向量的低维密集向量。通过将知识图中的实体和关系嵌入到低维连续向量空间中，我们可以学习每个实体和关系的低维向量表示。这种基于连续向量的知识表示可以通过数值运算实现新事实和新关系的发现，并且可以更有效地发现更多的隐含知识和潜在假设。这种隐性知识通常是主观的，很难观察和总结。更重要的是，作为一种先验知识，知识图嵌入通常被输入到许多深层神经网络模型中，以约束和监督神经网络的训练过程。
知识图嵌入的主要方法如下：（1）传递距离方法，如TransE[28]; （2） 语义匹配方法，如RESCAL[29]; 和（3）考虑附加信息的方法，如PTransE[41]和RUGE[38]. 在转移距离方法中，词向量是空间平移的。例如，TransE的设计原则是，如果三元组（H，R，T）为真，那么它们需要符合H+R≈T关系，例如：Vec（罗马）+Vec（is-Capital-of）≈Vec（意大利）。 RESCAL（恢复）[29]将二元关系数据表示为三维张量，其中二维是实体，三维是关系，如果存在三元组，则张量中相应位置的元素为1，否则设置为0。将知识图中每个三元组对应的张量值分解为实体和关系的矩阵表示，使得分解实体矩阵和关系矩阵的乘积尽可能接近原始张量值。 除了基于知识库中的三元组构造知识图嵌入模型外，还对一些模型进行了升级，以考虑其他信息。例如，在基于路径的TransE中，也称为PTransE[41]、加法、乘法和RNN被认为是表示关系路径的三种方式。此外，郭[38]提出了一种规则引导的知识图嵌入方法，其中所提出的软规则是指通过AMIE+规则学习方法在知识图中挖掘出的具有置信度的规则。该方法的总体框架是一个由两部分组成的迭代过程，称为软标记预测和嵌入校正。简单地说，规则学习和知识图嵌入学习相互迭代，最终使知识图嵌入集成了一定的规则信息。 2.2. 知识提取
知识提取的数据源可以是结构化数据（例如关系数据库、电子表格和CSV文件）、半结构化数据（如HTML和XML）或非结构化数据（比如RDF和链接数据）。对于不同类型的数据源，知识提取所涉及的关键技术和需要解决的技术难点是不同的。
命名实体识别：从文本中检测命名实体并将其分类为预定义的类别，例如人、组织、地点、时间等。通常，命名实体识别是其他知识提取任务的基础。
关系提取：从文本中识别和提取实体以及实体之间的关系。例如，从“[史蒂夫·乔布斯]是[苹果]的创始人之一”这句话中，实体“[史蒂夫·乔布斯]”和“[苹果]”被确定为具有“是非”关系。
事件提取：识别文本中关于事件的信息并以结构化形式呈现。例如，可以从恐怖袭击的新闻报道中识别位置、时间、目标和受害者等信息。
此外，一些工作还使用了多任务学习等方法来同时提取实体和关系[42]. 最近的一些研究使用强化学习来减少手动标记和自动降低噪音[43]. 大量数据以非结构化数据（即自由文本）的形式存在，如新闻报道、科学文献、政府文档等。下面，我们介绍面向文本数据的知识提取的主要技术和方法。 2.2.1. 命名实体识别
命名实体识别，也称为实体提取，旨在从文本中提取实体信息元素。为了从文本中提取实体，需要从文本中识别和定位实体，然后将识别的实体分类为预定义的类别。
实体提取的研究相对较早，在这一领域已经积累了大量的方法。一般来说，现有的方法可以分为基于规则的方法、基于统计模型的方法和基于深度学习的方法。
（1） 基于规则的方法：
基于规则的方法是手动规则的早期采用，例如常规匹配。它们通常由具有特定领域知识的专家手动构建。然后将规则与文本字符串进行匹配，以标识命名实体。这种实体提取方法可以在小数据集上实现较高的准确性和召回率，但随着数据集的增加，规则集的构建周期变长，可移植性较差。
（2） 基于统计的方法：
基于统计模型的方法需要完全注释或部分注释的语料库来进行模型训练。采用的主要模型包括隐马尔可夫模型[44]（条件马尔可夫模型和最大熵模型）和条件随机场。此方法将命名实体识别视为序列注释问题。与普通分类问题相比，序列标记问题中当前标签的预测不仅与当前输入特征相关，还与之前的预测标签相关，即预测标签序列是强相互依赖的。从自然文本中识别实体是一个典型的序列标注问题。基于统计模型的命名实体识别方法的构建主要涉及三个方面：训练语料库标注、特征定义和模型训练。 为了构建统计模型的训练语料库，人们通常使用内部-外部-开始（IOB）或内部-外部（IO）注释系统手动注释文本。在IOB注释系统中，文本中的每个单词都被标记为真实名称的初始单词（B）、实体名称的后续单词（I）或实体名称的外部单词（D）。在IO注释系统中，文本中的单词标记为实体名称（I）内的单词或实体名称（D）外的单词。
在训练模型之前，统计模型需要为输入到模型中的每个单词计算一组特征。这些功能包括单词级功能、词典功能和文档级功能。单词级特征包括首字母是否大写、是否以句点结尾、是否包含数字或词性、单词的n-gram等。字典特征取决于外部字典定义，如预定义的单词列表、地名列表等。文档级特征是基于整个语料库文档集计算的，例如文档集中的单词频率和共现单词。
（3） 基于深度学习的方法：
随着深度学习在自然语言处理领域的广泛应用，深度神经网络已成功应用于命名实体识别，并取得了良好的效果。与传统统计模型相比，基于深度学习的方法直接以文本中单词的矢量作为输入，通过神经网络实现端到端的命名实体识别，不再依赖于人工定义的特征。
目前，卷积神经网络（CNN）、递归神经网络（RNN）和注意机制是用于命名实体识别的主要神经网络。通常，不同的神经网络结构在命名实体识别中扮演编码器的角色。根据单词的初始输入和上下文信息，他们获得每个单词的新方向表。最后，通过CRF模型输出每个单词的注释结果。
生物标记是命名实体识别中用来表示序列标记结果的主要方法。序列标记有多种标记方法，其中最重要的是BIO和BIOES。B是实体词的开头，I是实体词中间，E是实体词末尾，S表示实体词只包含当前单词。
此外，如果在某些场景中没有考虑实体类别（例如问答系统），则该过程完成。然而，在许多场景中，需要考虑实体类别（例如在事件提取中提取主题、对象、地点、机构等），并且必须扩展BIO的标记列表。为每个“实体类型”分配一个B和I标签，例如“B-brand”，以表示“实体词的开头，实体类型是brand”。当实体类别过多时，BIOES标记列表的大小会迅速增加。
2015年，Huang等人[45]提出了一种Bi-LSTM+CRF模型结构。如所示图5在双向LSTM（Bi-LSTM）中，有两个LSTM单元，其中一个从左向右运行以获得第一层表示向量，另一个从右向左运行以获得第二层向量。然后，将两层向量相加，得到第三层向量。如果不使用CRF，第三层可以直接与softmax连接以输出结果。如果使用CRF，第三层矢量必须输入到CRF层，CRF层在经过专业和严格的计算后确定最终结果。 谷歌最近提议的BERT[46]该模型通过随机阻塞15%的单词，利用了Transformer的多层自关注双向建模功能。在各种NLP下游任务（如句子对分类任务、单句分类任务、问答任务）中，都取得了良好的效果。然而，由于BERT没有基于词汇结构和句法结构的建模，很难为新单词提供良好的向量表示，而ERNIE[47]通过对训练数据中的词汇结构、语法结构和语义信息进行统一建模，大大增强了一般语义表示能力。在许多任务中，结果大大超过了BERT。 2.2.2. 关系提取
关系抽取是知识抽取的重要子任务之一。它面向非结构化文本数据，并从文本中提取两个或多个实体之间的语义关系。关系抽取与实体抽取密切相关。通常，在识别文本中的实体后，会提取实体之间的可能关系。还有许多联合模型一起完成这两项任务。
以下是现有关系提取的主要方法：
（1） 基于模板的关系提取方法：
使用上述模板在文本中进行匹配，可以获得具有“夫妻”关系的新实体。基于模板的关系提取方法的优点是模板构造简单，并且可以在小规模的数据集上快速实现关系提取系统。同样，当数据量较大时，手工构建模板可能会花费领域专家大量的时间。此外，基于模板的关系提取系统的可移植性较差，当在另一个领域面临关系提取问题时，需要重新构建模板。最后，由于手工构建的模板数量有限，模板覆盖不足，基于模板的关系抽取系统的召回率普遍不高。
（2） 流水线方法：
目前，基于监督学习的关系抽取方法主要有流水线方法和联合抽取方法[48]. 流水线方法将实体识别和关系提取视为两个独立的过程，并且它们互不影响。然而，关系提取是在实体提取结果的基础上进行的，因此关系提取的结果也取决于实体提取的结果，例如MTB[49]和BR-CNN[50]. 当输入句子时，首先识别命名的实体，然后将识别的实体配对在一起，对关系进行分类，最后将具有实体关系的三元组作为输入。装配线方法的缺点如下：（1）错误传播：实体识别模块的错误会影响后续关系分类的性能；（2） 忽略两个子任务之间的关系。例如，如果图中存在国家-总统关系，我们可以知道前一个实体必须属于位置类型，后一个实体属于人员类型，基于管道的方法无法利用这些信息；（3） 生成了不必要的冗余信息。由于已识别实体的管脚对配对和关系分类，这些不相关的实体对将带来冗余信息并增加错误率。 （3） 联合提取方法：
在联合提取方法中，将实体提取和关系提取相结合，输入一个句子，通过实体识别和关系提取的联合模型可以直接获得相关的实体三元组。该方法可以克服上述流水线方法的缺点，但可能具有更复杂的结构，如BERT[46]、LSTM-RNN[51]和DGCNN[52]. （4） 基于弱监督学习的方法：
基于监督学习的关系提取方法需要大量的训练语料库，尤其是基于深度学习的方法，因此模型的优化更依赖于大量的训练数据。当训练语料库不足时，弱监督学习方法只能使用少量带注释的数据进行模型学习。基于弱监督学习的关系提取方法主要包括远程监督方法和引导方法.
远程监督方法通过将知识图与非结构化文本对齐，可以自动构建大量训练数据，减少模型对手动标注数据的依赖性，增强模型的跨域适应性。远程监控方法的基本假设是，如果知识图中的两个实体之间存在关系，则包含这两个实体的句子表示这种关系。例如，如果在知识图中有一个名为创始人（Steve Jobs，Apple Inc.）的物理关系，则可以使用包含物理关系创始人的句子“Steve Jobsis the co-of-founder and CEO of Apple Inc.”作为培训示例。
因此，远程监控方法的一般步骤如下：（1）从知识图中提取具有目标关系的实体对。（2） 从非结构化文本中提取包含实体对的句子作为训练示例。（3） 出现了用于关系提取的训练监督学习模型。
远程监控方法可以利用丰富的知识图信息获取训练数据，有效减少人工标注的工作量。然而，基于远程监控的假设，训练数据中会引入大量噪声，导致语义漂移。在随后的改进中，PCNNs（分段卷积神经网络）[53]介绍了多实例学习的方法来提高远程监控的效果。这里，多示例学习是指从BAG（同一实体对的多个句子）中选择可信度最高的句子的关系作为BAG中所有句子的关系。2018年提出了基于强化学习的CNN-RL用于噪声处理[43]. 作者将远程监控RE中的噪声问题建模为RL问题，并可以在句子级别对其进行分类，而之前的模型是在包级别。 引导方法起源于统计学中的自主抽样方法。它们使用少量实例作为初始种子集，然后从种子集中学习由关系提取的模板，然后使用该模板提取更多实例并将其添加到种子集中。通过随时间迭代，引导方法可以从文本中提取大量关系实例。有许多实体关系提取系统使用引导方法，例如Snowball[54]和NELL[55]，但他们更老了。自举方法的优点是关系抽取系统的构建成本低，适合大规模的关系抽取任务，并且具有发现新关系的能力。然而，由于其对初始种子的敏感性、语义漂移和结果的准确性低，自举的受欢迎程度逐渐降低。 2.2.3. 事件提取
事件提取以结构化形式表示包含事件信息的非结构化文本，广泛应用于自动文摘、自动问答、信息检索等领域。近年来，事件提取一直受到许多研究机构和研究人员的关注。消息理解会议（MUC）和自动内容提取会议（ACE）是包含提取任务事件的典型度量会议。
ACE定义中的事件由事件触发器和描述事件结构的参数组成。触发器是可以触发事件发生的单词。它是决定事件类型和决定事件类别/子类别的最重要的特征词。元素用于填充事件模板，该模板完整地描述了事件本身。例如图6包含两个事件：第一个事件是“die”，触发词是“died”。其论据包括：victim-cameraman、place-Baghdad和instrument-American tank。第二个事件是一次攻击（开火），其论据包括：目标-帕莱斯廷酒店、place-Baghdad、目标-卡梅拉曼和袭击者-美国坦克。 事件提取任务可以由以下两个步骤组成：（1）事件检测：ACE2005定义了八个事件类别和33个子类别，每个类别对应一个唯一的事件模板。（2） 参数检测：事件元素是事件的参与者。根据事件模板，提取相应的元素并用正确的元素标记它。
2.3. 知识融合
知识融合是指将从多个数据源中提取的知识进行融合，形成庞大的知识库。知识融合包括实体链接和知识融合两部分。实体链接指将从文本中提取的实体对象链接到知识库中相应的实体对象的操作。其基本思想是根据给定的实体参考项从知识库中选择一组候选实体对象，然后通过相似度计算将参考链连接到正确的实体对象。知识合并主要针对结构化数据，可分为两种思想：一种思想是合并外部知识库，主要处理数据层和模式层之间的冲突，另一种思想包括合并关系数据库，如RDB2RDF方法。
Wu等人[56]使用两阶段嵌入方法实现实体链接。其主要思想是通过在实体所在位置嵌入查询，在知识图中拼接所有实体的标题和描述，然后计算它们的相似度和排序来实现实体对齐，从而实现嵌入。总体方法类似于推荐系统排序模式。 为了实现动态数据源的知识更新和融合，Li等人[57]清华大学提出了一种通过知识嵌入模型和交叉图模型的半监督实体对齐方法，成功地集成了来自不同来源或语言的互补知识图。Zeng等人[58]将实体对齐问题描述为一个经典的稳定匹配问题，通过挖掘实体之间的强依赖关系实现了稳健的知识融合。Zhu等人[59]通过联合知识嵌入、编码实体以及不同知识图之间的关系，实现了实体对齐，并通过迭代和参数共享提高了对齐性能。 3.知识图推理
本节首先介绍知识图推理，描述它解决的问题及其在一些知识图应用程序中的有效性。然后介绍了各种知识图推理技术。
3.1. 介绍
推理是人类逻辑思维的一种形式；具有类似人类推理能力的机器一直是人工智能发展的目标。符号推理和专家系统是早期的尝试。在知识图被提出和发展之后，基于知识图的推理技术也得到了发展，成为人工智能中最受欢迎的领域之一，也被认为是赋予人工智能与人类同等水平的推理和决策能力的关键技术。
知识图推理旨在从现有知识中发现新知识。对于知识图，新知识可以分为两种类型：新实体和新关系。新实体涉及的技术领域通常是与实体提取、实体消歧、实体融合等相关的自然语言处理或知识映射技术。新关系技术涉及关系提取和知识推理。知识图推理，或称知识推理，是指通过推理技术在已建立的知识图中推导实体之间潜在的或新的关系，并发现新的知识。在图数据库、图论和其他相关领域中，它通常被称为链接预测。
在知识图中，普遍存在着知识缺陷，即知识图的不完备性。知识图完成是应用最广泛的知识推理领域。已经提出了大量的知识图推理算法用于知识图补全，例如TransR[60]，大写字母E[61]、RGHAT[62]所有上述方法都可以通过在向量空间中进行推理来确定任何实体之间是否存在某种关系，从而实现知识图的完成。 在知识图推理中，知识图本身提供了人类知识和经验的总结，而推理技术基于知识图中现有的知识实现了潜在和未知知识的发现，大大扩展了知识问答等能力，个性化搜索和智能推荐。同时，在工业应用中，将领域知识图和推理技术相结合，实现辅助分析和决策支持。在第5节，我们详细介绍了知识图推理在这些任务中的应用。 3.2. 知识图推理方法
KGR方法大致可分为四大类：基于嵌入的推理,基于符号的推理,基于神经网络的推理、和混合推理.
3.2.1. 基于嵌入的推理
的中心思想基于嵌入的推理方法是确定一个映射函数，该映射函数将符号表示映射到向量空间进行数值表示，从而减少维数灾难并捕获实体和关系之间的隐式关联。关键是它可以直接快速计算。常见的方法是TransE[28]（转换嵌入）系列算法，RESCAL[29]，距离[30]它们可以应用于节点分类和链路预测等下游任务。 基于嵌入的推理方法是从Word2vec扩展而来的[63]通过平移或旋转等几何操作将知识图嵌入到低维几何空间（通常是欧几里德空间，但也包括双曲空间等）。其中，平移表示为向量加法，旋转表示为Hadamard乘积，嵌入是数学中与流形有关的概念，它表示通过映射将数学结构的一个实例包含在另一个实例中。 平移距离模型的主要思想是将矢量化知识图中三元组的合理性转换为头实体和尾实体之间的距离。这种方法的重点是分数函数的设计，通常设计分数函数是为了利用关系将头部实体的合理性转移到尾部实体。受词向量的启发，向量空间中词之间的语义关系可以扩展为知识图中向量空间中的头实体和尾实体之间的关系。换句话说，知识图中的头实体和尾实体也可以被视为映射到向量空间，它们之间的关系也可以被认为是三元组中的关系。
通过考虑将多关系数据的实体和关系嵌入到低维向量空间中，Bordes等人[28]提出了TransE，它构建了一个规范模型，将关系解释为实体低维嵌入上的翻译操作。他们声称，他们的方法在将预测关联到知识图上的实验中简单而有效。如所示图7对于特定关系（头、关系和尾），关系的向量表示被解释为从头实体的向量到尾实体的向量的转换向量。换句话说，如果在知识图中建立了某个三元组，则其实体和关系需要充满头部+关系≈尾部。 对于之前的工作，如TransE、TransH和TransR/CTransR，作为从头实体到尾实体的粗糙关系转换方法，Ji等人[64]提议的TransD，它在TransR/CTransR的基础上充当更细粒度的模型。具体来说，它们采用两个向量来表示实体和关系，其中第一个向量描述实体或关系，另一个向量动态地表示映射矩阵。涉及到关系和实体多样性的构建，他们声称他们的方法具有参数少和不需要乘法运算的优点，这为在大型图形数据集上直接应用TransD提供了可能。 Lin等人将重点放在执行实体之间的链接预测任务上，即完成知识图[60]建议TransR在独立的实体空间和关系空间中构建实体和关系嵌入。他们的想法来源于这样一个事实，即大多数以前的方法都考虑位于同一语义空间内的实体和关系，因此对于实体和关系的有效建模来说，它们的信息量不够。具体来说，它们首先将实体从实体空间投影到相应的关系空间。然后，他们在投影实体之间构建转换。链接预测、三重分类和关系事实提取这三个独立任务证明了TransR模型的有效性。 Wang等人从平衡模型容量和效率的角度出发[65]提出了TransH，它将关系建模为超平面以及平移操作。他们的方法考虑了关系的大量映射属性，例如一对多、多对一和多对多，从而嵌入了一种高效的方法，即使面对大规模的知识图也是如此。此外，他们试图减少培训中的假阴性标签，这有助于以相对较低的复杂性完成实用知识图。通过在WordNet和Freebase数据集上进行链接预测、三元组分类和事实提取任务的测试，实验表明TransH在准确性和性能上都比TransE有显著提高。 RESCAL的核心理念[29]是将整个知识图编码为三维张量，从中分解出核心张量和因子矩阵。在核心张量中，二维矩阵的每一片表示一个关系，而因子矩阵中的每一行表示一个实体。核张量和因子矩阵恢复的结果被视为对应三元组的概率。如果概率大于某个阈值，则相应的三元组是正确的。否则是不正确的。 3.2.2. 基于符号的推理
基于符号的推理方法主要是指通过一阶谓词逻辑和描述逻辑，利用规则推理新的实体关系。典型方法包括ILP[32]和AMIE[31]. 大规模知识图的离散性限制了逻辑推理的效率。Cohen提出了一种可微规则推理机TensorLog[66]. 基于规则的推理方法的主要优点是，规则通常类似于人类用来思考问题的推理过程，其推理结论可以解释。因此，它对人们很友好。存储在知识图中的规则具有良好的演绎能力。 ILP公司[32]是一种基于一阶逻辑归纳的符号规则学习算法，用一阶逻辑表示。知识图中的实体关系可以看作是由二元谓词描述的事实，因此也可以使用ILP方法从知识图中学习一阶逻辑规则。给定背景知识和目标谓词（知识图中的关系），ILP系统可以学习一组描述目标谓词的逻辑规则。FOIL是早期有代表性的ILP系统和著名的一阶规则学习算法。它遵循顺序覆盖框架，并采用自顶向下的规则归纳策略。 不完全证据下的关联规则挖掘（AMIE）[31]通过顺序学习预测每个关系的规则。对于每个关系，规则体都会通过三个操作展开，并且保留支持度大于阈值的候选（闭合）规则。这三个操作如下：（1）添加挂边：挂边是指边的一端是未出现的变量，另一端（变量或常量）是未出现在规则中的变量；（2） 添加实例边：实例边类似于悬挂边，因为边的一侧也是规则中出现的变量或常量，但另一侧是未出现的常量，是知识库中的实体；（3） 添加闭合边：闭合边是连接规则中已存在的两个元素（变量或常量）的边。其优点是可以解释并自动发现推理规则，但缺点是搜索空间大，生成的规则覆盖率低。此外，最终模型的预测效果较差。 Wang等人[67,68]提出了一种用于知识图知识推理的一阶概率语言模型ProPPR（Programming with Personalized PageRank）。ProPPR构造了一个有向证明图，其中节点以“关系（头实体变量，尾实体变量）”的形式对应子句的连接或推理目标，其中起始节点是查询子句，边对应规则，即推理步骤，将一个子句简化为另一个子句。边权重与特征向量相关联。引入特征模板时，边缘权重可以取决于模板的部分实例化结果，例如子句中变量的特定值。同时，将从每个目标尾部节点到自身的自循环和从每个节点到开始节点的自启动边缘添加到图中。自循环用于增加目标尾部节点的权重，自启动边使遍历趋向于以较少的推理步骤增加推理的权重。最后，基于图形上的个性化网页评级，在ProPPR中实现推理。 科恩[66]进一步提出了TensorLog，它使用可微过程进行推理。在TensorLog中，每个实体都与一个热向量相关联，并且为每个关系定义了0，1运算矩阵。如果第i个实体和JTH实体之间存在对应关系，则位置（i，j）处的值为1，否则为0。这些表达式是固定的，不会更新。这个逻辑规则的推理可以形式化为矩阵乘法。给定一个实体和一个关系，当预测另一个实体时，对于每个可能的路径，实体一个热向量乘以路径上的关系运算的乘积（乘积的转置是为尾部实体给出的），将所有路径的结果与待学习的置信参数加权和，即可得到所有实体的相应得分向量。由于使用了单热点表示，因此可以通过将得分向量乘以其单热点向量的转置来获得候选实体的得分。对于置信度参数，我们通过最大化知识图中三元组的得分来学习。 保尔海姆和比彻[69]提出了两种算法SDType和SDValidate，它们利用属性和类型的统计分布来完成类型三元组并识别错误的三元组。SDType通过属性头部和尾部实体类型的统计分布推断实体的类型。与加权投票机制类似，SDType为每个属性的投票指定权重。SDValidate首先计算尾部实体关系的频率。利用属性和类型的统计分布对低频三元组进行进一步评分。得分低于给定阈值的三倍被视为可能不正确。Jang等人[70]提出了一种基于模型的知识图三重质量评价方法。该方法根据更频繁的模式对知识图数据模型的分析更可靠的假设，直接选择率较高的模式，然后将这些模式用于三重质量分析。 3.2.3、。基于神经网络的推理
基于神经网络的推理方法具有较强的表达能力，在关系（链接）预测等任务中取得了良好的效果。网络结构的设计是多样的，可以满足不同的推理要求。例如，NTN[33]使用双线性张量层代替标准线性神经网络直接关联两个实体向量，并计算两个实体之间关系概率的分数。R-GCN公司[34]将GCN应用于关系网络，特别是关系预测和实体分类，并引入权重分配和系数约束的方法，使其可以应用于具有众多关系的网络。爱尔兰共和国[71]采用记忆矩阵和递归神经网络作为控制单元的结构，模拟多步推理过程。 学习常识推理模型的目标是能够认识到某些事实的存在纯粹是因为存在其他关系。NTN公司[33] (图8)旨在发现并预测这种关系R（右）实体之间<>. 例如(,R（右）,)=（孟加拉虎，有部分，尾巴）是一种积极的确定关系。神经张量网络（NTN）将标准线性神经网络层替换为双线性张量层，该张量层在多维上直接关联两个实体向量，并计算两个实体在特定关系中的概率分数。 R-GCN公司[34]与传统的GCN不同的是，它引入了由边的类型和方向决定的关系变换(图9)，+的最后一项表示节点的自连接。红色部分表示实体。对蓝色邻域节点进行矩阵运算，然后转换每个关系的边类型，得到绿色部分的归一化结果和和。求和后，通过激活函数传输结果，并更新模型的节点参数。 为了模拟人脑存储知识的能力，Shen等人提出了IRN（Implicit ReasoNets）模型[71]2017年。在这个模型中，共享内存组件被设计成隐式存储知识库信息，它模拟了知识在人脑中的存储。与常用的通过手动设计推理过程来显式操纵观察到的三元组的推理方法不同，这种方法可以在没有人为干预的情况下通过读取共享记忆模块来隐式学习多步骤推理过程，模拟了人类大脑中读取记忆的过程。在预测过程中，模型需要依次形成多个中间表示。对于每个生成的中间表示，RNN控制器用于判断中间表示是否编码了足够的信息来生成预测输出。如果控制器允许，则输出当前预测作为最终结果。否则，控制器采用当前的中间表示并读取共享内存组件，将这两个信息合并到一组上下文向量中以生成新的中间表示，然后重复上述判断过程，直到控制器允许该过程停止，此时输出预测结果。IRN模型框架的示意图如所示图10。输入模块接受查询并将查询转换为矢量表示q个输出模块是一个函数，它将从搜索控制器接收到的隐藏状态转换为输出O（运行）. 3.2.4. 混合推理
混合推理可以将基于符号的推理、基于嵌入的推理和基于神经网络的推理能力相结合，实现优势互补，同时提高推理结果的准确性和可解释性。因此，它已成为知识图推理的主流方法。例如，神经逻辑编程（neural-LP）[35]是一种可微知识图推理方法，它集成了关系表示学习、规则学习和递归神经网络。LSTM在多步推理中产生隐变量，并通过隐变量在多步推断中引起对每个关系的注意。DeepPath（深度路径）[36]和MINERVA[37]采用强化学习学习一种路径选择策略，用于知识图的多步骤推理过程。RUGE公司[38]将现有的推理规则输入到知识图中来表示学习过程，约束和影响表示学习结果，并用于实现更好的推理效果。 此外，为了处理知识图之外的未知新实体，Shi等人[72]进一步定义了“开放世界知识图完成”，它可以接收知识库外部的实体并将它们链接到知识图。基于上述思想，提出了ConMask模型，该模型主要分为三个部分(图11)：（1）依赖关系的内容屏蔽：屏蔽文本信息，删除无关信息，只留下与任务相关的内容。该模型采用注意机制获取上下文中单词和基于相似性的给定关系单词的权重矩阵。通过观察发现，目标实体有时是高权重的近指示词。提出了一种考虑上下文的MCRW权重求解方法。（2） 目标融合：使用全卷积神经网络从相关文本中提取目标实体嵌入（FCN是全卷积神经元网络方法）。部分输入是一个屏蔽内容矩阵，其中每个层有两个1D卷积操作，然后是sigmoID激活函数，最后是批量规范化和最大池。FCN的最后一层连接到平均池而不是最大池，以确保目标融合层的输出始终返回单个K维嵌入。（3） 目标实体解析：生成候选实体和提取实体嵌入之间的相似性排序。通过计算候选实体和嵌入在KG中的提取实体的相似度，可以获得结合其他文本特征的排序列表。排名最高的被认为是最佳结果。设计了一个损失函数，即列表排序，用于将头部和尾部替换50%，以生成负样本，从而增强模型的稳健性。 4.比较与分析
KGR方法大致可分为四大类：基于嵌入的推理,基于符号的推理,基于神经网络的推理、和混合推理.表1对上述方法进行了比较和分析。 在基于嵌入的推理方法中，TransE系列构造了一个标准模型，将关系解释为实体低维嵌入上的翻译操作。他们受到词向量平移不变性的启发，提出了一个假设：如果在知识图中建立了某个三元组关系，则其实体和关系向量需要满足关系头+关系≈尾。这些方法简单、快速、有效，但它们只适用于一对一关系，而不适用于一对多/多对一关系。
在基于符号的推理方法中，使用了不完全证据下的关联规则挖掘（AMIE），通过顺序学习预测每个关系的规则。对于每一个关系，规则体都由三个操作展开，并且保留支持度大于阈值的候选（封闭）规则。AMIE和PRA提供可解释的方法和自动发现规则的能力。然而，它们经常面临由于搜索空间大而导致的效率低下的问题。PRA还受图稀疏性的影响。
基于神经网络的推理和混合推理是比较好的推理方法，需要进一步研究。基于神经网络的推理利用神经网络强大的学习能力进行建模推理。已经有一些关于模拟计算机或人类知识存储和推理的研究工作。随着神经网络的不断发展，还有待进一步研究。进一步提高神经网络用于推理的可解释性也很困难。混合推理试图利用各种推理方法的优点来获得更好的推理性能。总体而言，综合学习的效果优于单一模式。然而，混合推理目前局限于两种方法的混合，多种互补方法的混合进一步提高推理能力还需要进一步研究。同时，目前大多数混合模式都比较浅，未来需要探索更多更深层的混合模式。其中，基于混合规则的推理方法仅限于简单规则和传递约束，需要引入更有效的规则。
近年来，现代知识图推理技术发展迅速。许多模型在各自的领域都取得了很好的效果并得到了广泛的应用，但它们还远远不够完善。挑战与机遇并存。
知识图嵌入通常嵌入欧氏空间。近年来，MuRP、ATTH等模型对嵌入双曲空间的情况进行了探索，取得了很好的结果。然而，一般来说，在双曲空间中嵌入知识图的研究很少。一些模型表明，双曲空间和其他非欧几里德空间可以更好地表示知识图。知识图在非欧氏空间中的表示和推理值得进一步研究。
本文介绍的图神经网络自然匹配知识图，如r-GCN和r-GHAT模型仍然是早期的尝试，还远远不够完善。设计更复杂的图网络结构来实现知识图推理是一个热点和有前途的方向。
变压器网络在自然语言处理领域因其强大的表达能力和高效的并行训练能力而脱颖而出，并且可以快速迁移到计算机视觉、图像处理和语音识别领域，在这些领域的结果同样出色。研究表明，该变换器网络在知识图和知识图推理方面也具有良好的性能。
基于模型预训练的迁移学习广泛应用于自然语言处理、图像处理和计算机视觉，但很少用于知识图推理。知识图和知识图推理中的预训练模型值得探讨。
现代知识图推理技术在数据集和相应的竞赛和评价中也有很大的机会，特别是在中文知识图数据集中。
5.应用
在本节中，我们详细介绍了知识图推理在不同任务中的应用，包括无线通信网络,问答系统,推荐系统、和个性化搜索.
5.1. 无线通信网络（WCN）
对于无线通信网络（WCN），蜂窝小区（也称为小区扇区）是无线网络覆盖区域划分的基本单位。目前，无线网络和无线网络设备（即基站设备）的信息管理和维护以及无线网络的优化主要围绕基站信息表进行。基站信息表（BSA）包含电信运营商运营和维护网络所需的核心基础数据。它描述了网络下所有基站和小区的基本参数，例如小区所属的基站类型、站点的经纬度以及公共站每个扇区的方向角。它是运营商的重要数据资产和战略资源。在与基站和小区参数优化调整相关的网络优化过程中，需要及时更新基站信息表，以确保基础数据的准确性、完整性和及时性。
有许多问题和挑战[7]在网络运维中使用和维护基站信息表。基站信息表通常以简单的关系数据库的形式存储、管理和显示，需要手动汇总输入和更新，并且是准静态数据形式。随着网络的不断建设、扩展和优化，它不断被部署在新的居民区，并在旧的居民区被拆除或重新安置。在日常的无线优化操作中，通常会调整天线角度和倾角以提高覆盖范围。因此，基站信息表是动态变化的。此外，它的信息承载能力有限，不能有效地表示基站与小区之间的复杂关系。基站和小区具有较强的空间属性，基站信息表无法直观地表达此类属性信息。此外，现有的基站信息表是针对运营商的网络的，一般无法获取或表示其他运营商的基站数据，因此不可能进行有针对性的网络建设和网络质量对标。因此，随着基站信息表管理的升级和更换，一种更加全面、及时、动态、可视化的基站信息存储管理和表示方法具有巨大的市场需求。 基于海量无线网络感知数据，自动提取相关信息并构建无线网络知识图[7]是一种更加全面、及时、动态、可视化的基站信息存储管理和呈现方法，有利于提高移动网络运维的智能化水平，提高运维工作效率。如果数据源包含其他运营商的网络采样数据，则可以有效提取无线网络信息，并在无线网络知识图中适当显示，以便于基于比较优势进行跨网络基准测试和网络运维。图12显示了无线通信网络知识图的应用程序架构。 5.2. 问答（QA）系统
QA系统是自然语言处理领域的一个重要发展方向，其目的是通过自然语言获取知识。在许多实际应用场景中，基于知识图的问答系统可以为知识获取提供极大的便利。然而，除了简单地从知识图中检索实体外，更多的问题还需要知识推理能力。本文介绍的知识推理方法可用于基于知识图的知识问答系统中，以回答复杂问题，提高结果的准确性和完整性。
除了将知识图嵌入到一般知识问答系统中之外，知识推理技术还可以直接应用于问答系统以解决特定问题。例如，R-GCN[34]用于对多轮对话问答系统的对话结构和背景知识进行建模。基于知识图嵌入的问答系统正在兴起。例如，TransE[28]将向量空间与搜索技术相结合，实现了基于知识图嵌入的问答系统。随着现代知识图推理方法的深入，知识问答的效果不断提高。同时，将上述知识图推理技术与问答技术相结合来解决特定问题的方法也在涌现。 5.3. 推荐系统
推荐系统是随着互联网的发展和信息的丰富而兴起的一门新兴技术，旨在了解用户并积极向用户推荐信息。随着知识图技术的发展，知识图和推荐系统被全面集成，以便更好地理解用户，更好地匹配用户的需求，并提供更强的解释。
在理解用户方面，知识图与购买相同项目或观看相同视频的用户之间的关系网络重视相同的信息，例如用户行为、地图构建和使用知识图推理技术。为了推断用户与挖掘潜在需求深度之间的关系，网络与协同过滤推荐技术合作，以提高推荐的效果。文献使用知识图来丰富用户信息和R-GCN[34]对关系和结构进行建模和推理，以更好地理解用户。推荐的内容（如商品、信息、知识、人等）也可以通过各种关系来构建知识图，推理技术可以用于挖掘潜在特征和推断潜在关系，从而增强对推荐内容的理解，提高推荐效果。文献试图使用TransR[60]对结构化推荐内容进行建模，以提高推荐的有效性。在此基础上，建议本身可以被视为用户与推荐内容之间的复杂网络关系，因此可以应用知识图推理技术直接实现建议。KGAT公司[73]组合TransR[60]并利用知识图注意力网络实现了推荐方法的深度学习。 随着知识图和知识推理技术的进一步发展和成熟，各种现代知识推理方法将越来越多地应用于推荐领域，并将逐渐成为主流方法。
5.4. 个性化搜索
个性化搜索充分利用历史行为记录，如搜索、点击和用户自己的信息，实现个性化搜索，并返回更多匹配的用户结果。例如，在搜索“苹果”时，水果种植者和小工具爱好者有不同的期望。在搜索“天气预报”时，上海和北京的人们对搜索结果有不同的期望。个性化搜索是一种旨在解决此类问题的技术。推荐系统中使用知识图和推理技术的用户建模方法可以用于个性化搜索。
直接使用知识推理技术实现个性化搜索也在尝试中。在文献中，用户、文档以及用户和文档之间的交互关系（如搜索和单击）被构造成知识图，而TransE[28]采用推理方法实现个性化搜索。 6.未来方向
在本节中，我们讨论了知识图推理的未来方向。
（1）多元关系的知识推理与一元关系和二元关系相比，多元关系结构多样，语义复杂，难以处理。因此，现有的知识处理工作主要集中在二元关系上。关于多元关系的研究很少，现有的研究通常将其视为二元关系，失去了大量的语义信息。然而，多元关系在知识图中并不是少数；例如，在Freebase中，超过三分之一的实体涉及多元关系。未来，有必要研究如何实现多元关系的表示和表示学习，以及如何将表示和推理能力结合起来。
(2)基于多源信息和多种方法融合的知识推理基于多源信息融合的知识推理可以通过将文本语料库或其他知识图与附加信息相结合来减少知识图的断开性和稀疏性。基于多种方法融合的知识推理可以通过在更深层次上混合不同的方法来互补优势，提高推理性能。例如，联合建模规则和知识图的推理[74]是一种性能卓越的当前方法。此外，由于神经网络在包括知识绘图在内的各个领域的卓越性能，神经网络和其他互补方法的融合将成为未来研究的主要重点。例如，神经LP[35]将神经网络强大的学习和泛化能力与规则方法的高精度和可解释性相结合，获得了良好的推理结果。在两个常用的数据集中，WN18（知识图WordNet的子集）和FB15k（知识图Freebase的子集[9])实体预测任务前10名中有效实体的比例分别达到99.8%和91.6%。同时集成多源信息和多种方法以进一步提高推理性能也将成为未来的一个主要研究方向。在它们之间，融合模式（即两个概念的合并）是一个主要困难。 (3)基于少快照学习的知识推理。现有的知识推理模型往往需要大量高质量的样本进行训练和学习，这需要大量的样本获取成本。在实践中，甚至很难获得大量的训练样本，这大大限制了现有知识推理模型的应用范围。另一方面，人们只需少量的相关先验知识就可以快速学习推理。在这个过程中，大脑感知外部环境，关注它感兴趣或需要学习的信息，并通过将其与现有的先验知识相结合，快速建立新知识，然后经过神经元的处理和排列，形成难以遗忘的长期记忆。因此，人们通过构建和整合生活经验中的知识来学习处理日益复杂的任务。在持续学习的过程中，人们可以通过检索和利用以前的知识，在很少训练的情况下快速学习新任务。
(4)动态知识推理例如，Tay等人[75]提出了puTransE，通过分治策略实现知识图的块学习和集成推理，有效地处理了知识图的动态添加和删除。对于新的三胞胎，它可以通过创建一个新的平行空间来学习；对于删除的三元组，这是通过在预测期间使相应的表示空间无效来实现的。然而，puTransE不能直接处理知识图的动态修改（当然，修改操作可以通过简单地将修改操作先处理为删除，然后处理为添加来间接处理），并且删除操作通常不会实际删除事实元组，但超过了事实元组的有效时间。事实元组无效，在有效时间内，事实元组仍然有效。 7.总结
在本文中，我们试图通过对知识图推理方法的全面文献综述，为未来的研究奠定基础。具体来说，首先，我们回顾了知识图的基本概念，并从知识表示、知识提取和知识融合三个方面对知识图的相关方法进行了分类和总结。然后，我们从知识图推理的定义出发，探讨了其在工业中的应用。然后，对知识图推理方法进行了分类，介绍并比较了从经典模型到最新发展的各种类型的知识图推理算法。
