神经网络、符号推理和神经符号推理在知识图谱上的应用

type

status

date

slug

summary

🧑‍🏫 研究团队

Jing Zhang *, Bo Chen, Lingxi Zhang, Xirui Ke, Haipeng Ding

Information School, Renmin University of China, Beijing, China

* Corresponding author

E-mail addresses:

zhang-jing@ruc.edu.cn (J. Zhang),

allanchen224@gmail.com (B. Chen),

zhanglingxi@ruc.edu.cn (L. Zhang),

kexirui@ruc.edu.cn (X. Ke),

dinghaipeng@ruc.edu.cn (H. Ding).

📖 期刊介绍

本论文发表于AI Open，AI Open是一个自由可访问的平台，用于分享关于人工智能理论及其应用的可行知识和前瞻性观点。该期刊欢迎关于人工智能及其应用的研究论文、综述论文、观点、简短交流和技术说明。期刊主编为清华大学计算机系的唐杰教授。

涵盖的主题包括但不限于：

深度学习和表示学习

图论和图挖掘

约束、可满足性和搜索

知识表示、推理和逻辑

机器学习和数据挖掘

知识图谱及其应用

基于代理的系统和多代理系统

Web和基于知识的信息系统

自然语言处理

图像处理和分析

不确定性

隐含认知和学习

基于大脑的学习

人类大脑研究：

与人类大脑相关的健康/疾病/社会行为的热点话题

大脑连接和网络建模

大脑智能范式

神经信息学

神经影像学

学习和记忆

认知和行为

健康数据分析和统计

神经免疫学

睡眠行为

深部脑刺激

📝 摘要

✍️

知识图谱推理是支持机器学习应用（如信息提取、信息检索和推荐）的基础组成部分。由于知识图谱可以被视为离散的符号知识表示，因此在知识图谱上进行推理可以自然地利用符号技术。然而，符号推理对于模糊和噪声数据是不容忍的。相反，深度学习的最新进展推动了在知识图谱上的神经推理，它对于模糊和噪声数据具有强大的鲁棒性，但与符号推理相比缺乏可解释性。考虑到这两种方法的优缺点，近年来人们开始尝试将这两种推理方法结合起来。在这项研究中，我们全面审视了符号推理、神经推理和混合推理在知识图谱上的发展。我们对两个具体的推理任务进行了调查，即知识图谱补全和知识图谱问答，并在一个统一的推理框架中对它们进行了解释。我们还简要讨论了知识图谱推理的未来发展方向。

🗝️关键词

Knowledge graph reasoning Knowledge graph embedding Symbolic reasoning Neural-symbolic reasoning

1. Introduction

符号主义和连接主义是人工智能的两个主要范式。

符号主义假设构成人类智能的基本单元是符号，并且认知过程是对符号表示进行一系列明确推理的过程（Minsky和Papert，1969；Haugeland，1989）。一般来说，符号主义模型具有良好的可读性和可解释性。然而，有限且离散的符号表示无法描绘数据之间的所有内在关系，并且对于模糊和噪声数据也很不容忍。
相反，连接主义模仿人脑中神经元之间的连接和合作过程来构建模型（Rosenblatt，1958；Rumelhart等，1986）。连接主义的不同模型已经发展出来。深度学习是连接主义的典型模型（Bengio等，2007；Hinton等，2006）。深度学习在研究界产生了前所未有的影响，因为它在不同领域的许多任务上取得了卓越的性能，例如计算机视觉中的图像分类（Chen等，2020a；He等，2016，2020）、自然语言处理中的语言建模（Brown等，2020；Devlin等，2018）以及网络中的链接预测（Kipf和Welling，2016；Velickovic等，2017；You等，2020）。这表明深度学习模型能够对数据内部的隐含关系进行建模。然而，连接主义模型无法提供明确的推理证据来解释结果，使它们看起来像黑盒子。
自上世纪80年代以来，符号主义和连接主义的结合问题一直受到研究（Gallant，1988, 1993；Shavlik等，1991；Towell和Shavlik，1994a, 1994b），并在近年来引起了广泛关注（Besold等，2017；de Penning等，2011；Garcez等，2012, 2019；Lamb等，2020）。

在本综述中，我们讨论了如何在知识图谱（KG）推理中实现和交织上述两个原则，如Freebase（Bollacker等，2008）、DBpedia（Lehmann等，2015）、YAGO（Suchanek等，2007）和NELL（Carlson等，2010）等由大量（头部、关系和尾部）三元组组成的知识图谱。由于KGs自然上是离散的符号表示，可以支持明确的推理，并且还可以通过深度学习模型（如最先进的TransE（Bordes等，2013））表示为连续的向量空间，以支持隐含的推理，因此在KG推理任务中有效地结合符号主义和连接主义的思想是有前景的。具体而言，我们回顾了两个典型的KG推理任务的机制——知识图谱补全（KGC）和知识图谱问答（KGQA）。

KGC的任务是根据头实体和查询关系来推断答案，即尾实体（Das等，2018；Lao和Cohen，2010；Xiong等，2017；Yang等，2017）。它的表示形式是，其中是头实体，是查询关系，是应该满足与的尾实体。

KGQA与KGC类似，只是将头实体h和查询关系r的条件替换为一个自然语言问题q（Bao等，2016；Berant等，2013；Saxena等，2020；Sun等，2018）。图1通过示例说明了这两个推理任务，其中KGC示例是根据查询关系“Lives_in”和头实体“A. Davis”来推理尾实体“L.A”，而KGQA示例是根据问题“洛杉矶湖人队队员的配偶通常住在哪里？”来推理答案“L.A”。

尽管关于知识图谱嵌入（Ji等，2020；Rossi等，2020；Wang等，2017）、获取和应用（Ji等，2020）、问答（Fu等，2020；Wu等，2019）和推理（Chen等，2020b）的综述很丰富，但其中没有明确整理符号方法或神经方法，或者整合它们的方式。所有前述的综述都将KGC和KGQA的推理任务分开。本文将两个任务统一在一个推理框架中，并将推理机制分为符号、神经和混合三类。我们对每个类别的优缺点进行了详细阐述，并讨论了KG推理的未来发展方向。所有综述的论文均通过Google Scholar根据关键词“knowledge graph reasoning”、“knowledge graph completion”、“knowledge graph question answering”等进行检索，并选择了由权威会议或期刊发表或广泛引用的论文加以包含。

本文的其余部分安排如下。第2节介绍了与所调查技术密切相关的背景知识。第3节回顾了三种针对知识图谱补全的推理技术。第4节在类似的推理框架下回顾了知识图谱问答。第5节首先总结了统一技术发展趋势中的各种推理方法，然后讨论了未来的潜在方向。

2. Background knowledge and problem definition

在本节中，我们首先介绍有关知识图谱、归纳逻辑编程和马尔可夫网络的背景信息，然后给出知识图谱推理的定义。

2.1. 知识图谱（KGs）

我们将知识图谱表示为一组事实，每个事实由三元组表示，其中是头实体，是关系，是尾实体。在图1中，(LeBron, part_of Lakers) 是一个三元组的示例，其中 LeBron 是头实体，part_of 是关系，Lakers 是尾实体。

Fig. 1. Illustration of a knowledge graph (Teru et al., 2019) and examples of two reasoning tasks.

2.2. 归纳逻辑编程（ILP）

归纳逻辑编程（ILP）旨在寻找在数据中共享的逻辑程序/规则/公式中表达的潜在模式。它是一种基于规则的学习方法，通过推导一组 if-then 逻辑规则来描述正实例而不是负实例。大多数ILP工作将逻辑规则限制为Horn clause/rule。Horn规则由头部和体部组成，其中头部是一个单一原子，而体部是若干个原子的平面连接。Horn规则可以表示为：

其中称为头原子，为体原子。是规则体，通常定义为使用逻辑运算符来将体原子组合在一起的合取范式(CNF)。规则体也可以称为公式。如果左侧的规则体为真，则右侧的头原子也为真。原子定义为作为函数的谓词符号，它将变量集合映射为真或假：

虽然谓词中可能有多个变量，但通常只考虑简单的一元和二元谓词，即和。例如，是一个一元谓词，仅应用于单个变量。如果是一个人，则原子为真。是一个二元谓词，应用于两个变量。如果是的母亲，则原子为真。当原子的所有变量都由常量实例化时，被称为ground原子。

在知识图谱中，关系可以被视为一个二元谓词；即，是具有两个参数x和y的原子。三元组可以被视为应用关系于实体对和的ground原子。

给定一组预定义谓词，ground原子，正实例和负实例，ILP的目标是构建一组规则来解释正实例并排除负实例。

✍️

我们以从(Evans和Grefenstette，2018)学习哪些自然数是偶数的例子来解释ILP。谓词集定义如下：

其中是一个一元谓词，如果为，则为真；是一个二元谓词，如果是的后继，则为真。ground原子为：

偶数谓词的正实例和负实例分别为：

偶数谓词的规则解决方案为：

其中是一个辅助谓词，当是的两跳后继时为真。我们可以看到，当上述规则在ground原子上进行演绎推理时，它们可以生成但不生成。

通常有两种方法用于推导规则，其中自顶向下方法从一般规则开始并添加新的原子以提高正实例的覆盖精度（Clark和Niblett，1989；Michalski等人，1986），而自底向上方法从特定规则开始并删除原子以扩展规则的覆盖率（Plotkin，1970，1971）。

2.3. 马尔可夫网络

马尔可夫网络，也称为马尔可夫随机场，试图使用一组变量X = (X1, X2, ..., Xn) 的联合分布来建模知识图谱（Pearl，2014）。马尔可夫网络是一个无向图，其中每个节点代表一个变量。对于图中的团（cliques），定义了一个非负实值的势函数，联合分布表示为：

这里，反映了出现在第c个团中的变量的状态。是用于归一化的分区函数。马尔可夫网络通常表示为对数线性模型，其中每个团的势函数被替换为状态特征的指数加权和：这里，是在团上定义的特征函数，是对应的权重向量。

3. Reasoning for KGC

这一部分介绍了知识图谱推理方法的三个主要类别。表1展示了知识图谱推理方法的分类。

Model	Mechanism	Category	Sub-category
TransE (Bordes et al., 2013)	force to be close to	Neural Reasoning	Translation-based Models
TransH (Wang et al., 2014 )	project entities into the relation-specific hyperplane	Neural Reasoning	Translation-based Models
TransR (Lin et al, 2015)	project entities and relations in separate spaces	Neural Reasoning	Translation-based Models
TransD (Ji et al., 2015)	determine the project matrices by both entities and relations	Neural Reasoning	Translation-based Models
TransG (Xiao et al., 2016)	project a relation into multiple embeddings	Neural Reasoning	Translation-based Models
TransAt (Qian et al., 2018)	project a relation by entities' categories and the relation's attributes	Neural Reasoning	Translation-based Models
RotatE (Sun et al., 2019b )	map entities and relations to the complex vector space	Neural Reasoning	Translation-based Models
RESCAL (Nickel et al, 2011 a)	maximize the tensor product between two entities	Neural Reasoning	Multiplicative Models
DisMult (Yang et al., 2015)	simplify the project matrix into a diagonal matrix	Neural Reasoning	Multiplicative Models
ComplEx (Trouillon et al., 2016a)	use complex embeddings to handle asymmetry	Neural Reasoning	Multiplicative Models
HolE (Nickel et al., 2016)	use the circular correlation to represent entity pairs	Neural Reasoning	Multiplicative Models
SimplE (Kazemi and Poole, 2018)	learn a head and tail embeddings for each entity	Neural Reasoning	Multiplicative Models
ANALOGY (Liu et al., 2017)	constrain relation matrixes to be normal matrixes	Neural Reasoning	Multiplicative Models
DiHEdral (Xu and Li, 2019 )	support the non-commutative property of a relation	Neural Reasoning	Multiplicative Models
ConvE (Dettmers et al., 2018)	use the head and relation embeddings as the input of	Neural Reasoning	Deep Learning Models
ConvR (Jiang et al., 2019)	extend global filters in ConvE to relation-specific filters	Neural Reasoning	Deep Learning Models
ConvKB (Nguyen et al, 2018)	use the head, relation and tail together as the input of CNN	Neural Reasoning	Deep Learning Models
CapsE (Vu et al., 2019 )	use the capsule network as the convolution function	Neural Reasoning	Deep Learning Models
RSN (Guo et al, 2019)	use RNNs to capture long-term relational dependencies	Neural Reasoning	Deep Learning Models
R-GCN (Schlichtkrull et al., 2018)	use relation-aware GCN as the encoder and DisMult as the decoder	Neural Reasoning	Deep Learning Models
M-GNN (Wang et al., 2019b)	replace the mean aggregator in with a MI.P	Neural Reasoning	Deep Learning Models
CompGCN (Vashishth et al, 2020b)	incorporate entity and relation embeddings into the aggregator function	Neural Reasoning	Deep Learning Models
KBGAT (Nathani et al., 2019)	incorporate a triplet into the aggregator function	Neural Reasoning	Deep Learning Models
AIME (Galárraga et al., 2013)	generate rules by rule extending and rule pruning	Symbolic Reasoning	-
AIME+ (Galámaga et al, 2015)	improve the efficiency of AMIE	Symbolic Reasoning	-
RLvLR (Omran et al, 2018)	reduce the search space by the embedding technique	Symbolic Reasoning	-
RuL.ES (Ho et al., 2018)	leverage the embedding technique to measure the quality of the rules	Symbolic Reasoning	-
KALE (Guo et al., 2016)	learn embeddings on the observed triples and the ground rules	Neural-Symbolic Reasoning	Symbolic-driven Neural Reasoning
RUGE (Guo et al., 2018)	change the ground rules to the triplets derived by rules	Neural-Symbolic Reasoning	Symbolic-driven Neural Reasoning
Wang et al. (Wang et al., 2019a)	transform a triple/ground rule into first-order logic	Neural-Symbolic Reasoning	Symbolic-driven Neural Reasoning
IterE (Zhang et al., 2019)	infer rules and update embeddings iteratively	Neural-Symbolic Reasoning	Symbolic-driven Neural Reasoning
MLN (Richardson and Domingos, 2006)	build a probabilistic graphic model for all the rules and learn their weights	Neural-Symbolic Reasoning	Symbolic-driven Neural Reasoning
pLogicNet (Qu and Tang, 2019)	incorporate the embedding technique to infer marginal probabilities in MLN	Neural-Symbolic Reasoning	Symbolic-driven Probabilistic Reasoning
ProbLog (De Raedt et al., 2007)	build a local SLD-tree for a relation and learn rules that can support it	Neural-Symbolic Reasoning	Symbolic-driven Probabilistic Reasoning
SLPs (Cussens, 2001)	define a randomized procedure for traversing the SLD-tree in ProbLog	Neural-Symbolic Reasoning	Symbolic-driven Probabilistic Reasoning
ProPPR (Wang et al., 2013)	change the randomized procedure in SLPs to a biased sampling strategy	Neural-Symbolic Reasoning	Symbolic-driven Probabilistic Reasoning
PRA (Lao and Cohen, 2010)	enumerate the paths between two entities	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
Lao et al. (Lao et al., 2012)	perform PRA on the KG and the extended textural graph	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
Neelakantan et al. (Neelakantan et al.,2015)	use RNN to encode the most confident path	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
Chain-of-Reasoning (Das et al., 2017)	change the most confident path to multiple paths	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
DeepPath (Xiong et al., 2017)	use RL to evaluate the sampled paths	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
AnyBURL (Meilicke et al., 2020)	generalize the sampled paths to abstract rules	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
MINERVA (Das et al., 2018)	use RL to directly find the answer	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
MultiHop (Lin et al., 2018)	adopt soft reward and action dropout for MINERVA	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
CPL (Fu et al., 2019)	leverage the text in addition to the KG when sampling	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
M-walk (Shen et al., 2018)	use Monte Carlo Tree Search when sampling	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
DIVA (Chen et al., 2018)	use VAE to unify path sampling and answer reasoning	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
CogGraph (Du et al., 2019)	sample multiple entities at each hop	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
TensorLog (Tensorlog, 2016)	keep all the neighbors at each hop without sampling	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
Neural LP (Yang et al., 2017)	learn new rules based on TensorLog	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
NLIL (Yang and Song, 2020)	deal with non-chain-like rules	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning
Neural-Num-LP (Wang et al., 2020)	deal with numerical operations	Neural-Symbolic Reasoning	Neural-driven Symbolic Reasoning

这一部分介绍了知识图谱推理方法的三个主要类别。表1展示了知识图谱推理方法的分类

3.1. 神经推理

神经推理，也称为知识图谱嵌入，旨在学习知识图谱中实体和关系的分布式嵌入，并在给定头实体和关系时推断出答案实体。一般来说，现有的神经推理方法可以分为基于翻译的模型、乘法模型和深度学习模型。

3.1.1. 基于翻译的模型

基于翻译的模型通常通过将头实体通过关系翻译为尾实体来学习嵌入。例如，TransE（Bordes等，2013）是一个典型的基于翻译的模型，它将实体和关系映射到同一个向量空间，并迫使头实体h和关系r的加法嵌入h + r接近对应尾实体t的嵌入T，即最小化三元组的得分，如下所示：

随后，提出了各种模型来改进TransE的能力。例如，TransH通过将实体投影到关系特定的超平面来处理具有自反、一对多、多对一和多对多特性的关系，这使得实体在不同关系/三元组中具有不同的角色（Wang等，2014）。TransR不同于将实体和关系投影到相同空间，它在单独的实体空间和关系空间中构建实体和关系嵌入（Lin等，2015）。TransD（Ji等，2015）通过实体和关系同时确定映射矩阵，希望能够同时捕捉实体和关系的多样性。TransG（Xiao等，2016）通过将贝叶斯非参数无限混合模型结合到一种关系中，进一步解决了关系的模糊性问题，生成多个翻译组件。TransAt（Qian等，2018）通过受人类认知过程启发的两个步骤确定两个实体之间的关系。它首先检查实体的类别，然后通过关系感知的注意机制通过关系相关属性确定一个具体的关系。为了同时建模和推断对称性/反对称性、倒置和组合模式，RotatE（Sun等，2019b）将实体和关系映射到复数向量空间，并将每个关系定义为从头实体到目标实体的旋转。

3.1.2. 乘法模型

乘法模型通过张量积生成实体和关系的嵌入，如下所示：

其中Mr是一个非对称的d×d矩阵，模拟了关系r中潜在组件之间的交互。给定关系矩阵Mr，上述张量积中的特征在且仅在实体h和t的对应特征都为“on”时才为“on”，这可以捕捉实体之间的关系模式。代表性的基于张量积的模型是RESCAL（Nickel等，2011a）。然而，张量积需要大量的参数，因为它模拟了所有成对的交互。为了降低计算成本，提出了DisMult（Yang等，2015），它使用对角矩阵，并使用对角向量表示关系r的嵌入，从而减少了参数的数量。在DisMult的基础上，ComplEx（Trouillon等，2016a）进一步处理了由于复数嵌入的能力而引起的非对称性。HolE（Nickel等，2016）不使用张量积，而是使用向量的循环相关来表示实体对，即h ⋆ t，其中每个元素由式子计算。SimplE（Kazemi和Poole，2018）基于标准Polyadic分解（Hitchcock，1927），为每个关系学习一个嵌入向量，并为每个实体学习一个头部嵌入和一个尾部嵌入。为了处理实体的两个嵌入向量之间的独立性，SimplE引入了关系的逆，并计算了关系和逆关系的平均标准Polyadia分数（h, r, t）和（t, r⁻¹, h）。

此外，ANALOGY（Liu等，2017）通过将关系矩阵Mr限制为线性映射中的正常矩阵来支持类比推理，即MTrMr = MrMTr。DihEdral（Xu和Li，2019）采用有限非阿贝尔群来解释关系组合，支持关系的非交换性质。例如，交换parent_of和spouse_of之间的顺序将导致不同的关系（parent_of和parent_in_law_of），这表明了关系的非交换性质。

3.1.3. 深度学习模型

深度学习模型，如卷积神经网络（CNN），循环神经网络（RNN）和图神经网络（GNN），也被用作编码函数来

嵌入知识图中的实体和关系。例如，ConvE（Dettmers等，2018）首先将头部嵌入和关系嵌入进行拼接，然后对这些嵌入应用二维卷积来预测尾部实体。ConvR（Jiang等，2019）将ConvE中的全局过滤器扩展为关系特定的过滤器，InteractE（Vashishth等，2020a）通过额外的卷积操作捕捉更多的交互。ConvKB（Nguyen等，2018）不仅对头实体和关系嵌入进行卷积，还对头实体、关系和尾实体的拼接嵌入进行卷积，从而捕捉三元组中的平移关系。CapsE（Vu等，2019）将胶囊网络（Sabour等，2017）作为卷积函数来编码实体。RSN（Guo等，2019）将RNN与残差学习相结合，以捕捉知识图中的长期关系依赖性。

最近，GNN也开始尝试将邻近实体和关系一起编码，而不仅仅是单个三元组。例如，为了适应知识图中的多个关系，R-GCN将GCN中的转换权重扩展为关系感知权重（Schlichtkrull等，2018）。为了预测两个实体之间的关系，R-GCN使用关系感知GCN作为编码器来表示每个实体，然后利用DisMult（Yang等，2015）作为解码器来基于编码实体和每个关系的引入的对角矩阵Mr来评分给定的三元组。而SACN（Shang等，2019）使用变种ConvE（Dettmers等，2018）作为解码器，其中编码器也是关系感知GCN。M-GNN（Wang等，2019b）将R-GCN中每个图卷积层中的平均聚合器替换为多层感知机（MLP），以支持射入性质，即仅当两个实体具有相同的邻居结构和相同的相应邻居上的嵌入时，才将它们映射到相同的位置。除了关系感知的转换权重外，VR-GCN（Ye等，2019）和CompGCN（Vashishth等，2020b）还明确表示关系，并通过减法和乘法等操作进一步组合实体和关系嵌入。KBGAT（Nathani等，2019）通过将三元组中的头实体、尾实体和关系的嵌入进行拼接来启用三元组感知权重，从而学习其权重。有关知

识图谱推理中使用的其他深度学习模型的更多信息，请参见参考文献。

3.2. 推理规则

推理规则是一种基于逻辑规则的知识图谱推理方法。这些规则描述了实体和关系之间的逻辑关系，可以用于推断新的事实。推理规则可以分为前向推理和后向推理。

3.2.1. 前向推理

前向推理从已知的事实开始，应用规则来推断新的事实。例如，给定事实“父母是家长”，以及规则“如果X是Y的父母，那么X是Y的家长”，我们可以推断出新的事实“父母是家长的家长”。前向推理的缺点是需要遍历整个知识图谱以找到匹配的事实和规则，因此在大规模知识图谱上的效率较低。

3.2.2. 后向推理

后向推理从目标事实开始，使用规则逆向推导出已知的事实。例如，给定目标事实“父母是家长”，以及规则“如果X是Y的父母，那么X是Y的家长”，我们可以逆向推导出已知的事实“父母是家长”。后向推理的优点是可以仅推理与目标相关的事实和规则，因此在大规模知识图谱上更高效。

3.3. 统计推理

统计推理方法利用概率模型来进行知识图谱推理。这些方法通过学习知识图谱的统计模型，包括实体和关系的概率分布，以推断新的事实。统计推理方法可以分为基于概率图模型的方法和基于概率逻辑模型的方法。

3.3.1. 基于概率图模型的方法

基于概率图模型的方法将知识图谱表示为概率图，其中实体和关系是随机变量，边表示它们之间的依赖关系。常用的概率图模型包括贝叶斯网络和马尔可夫逻辑网络。

贝叶斯网络是一种有向无环图（DAG），其中节点表示随机变量，边表示变量之间的条件依赖关系。贝叶斯网络可以用于表示实体和关系之间的依赖关系，并通过条件概率表进行推断。例如，给定父母是家长和父母是家长的家长的概率分布，我们可以使用贝叶斯网络推断出父母是家长的概率。

马尔可夫逻辑网络（MLN

）是一种将一阶逻辑表示转化为概率模型的方法。MLN通过将逻辑子句转化为随机变量，将子句的真值与随机变量的取值相关联，从而建立实体和关系之间的依赖关系。MLN使用逻辑子句的权重来表示子句的重要性，并通过学习权重来进行推理。

3.3.2. 基于概率逻辑模型的方法

基于概率逻辑模型的方法将逻辑表示与概率模型结合起来，以进行知识图谱推理。这些方法使用逻辑规则来表示实体和关系之间的逻辑关系，并使用概率模型来推断新的事实。常用的概率逻辑模型包括概率逻辑程序（Probabilistic Logic Programs，PLP）和归纳逻辑程序（Inductive Logic Programs，ILP）。

PLP将逻辑规则扩展为具有概率语义的规则，其中规则的头部表示一个随机变量，而规则的体部表示与随机变量相关的条件概率分布。PLP使用逻辑规则和条件概率分布来进行推断，从而推断新的事实。

ILP是一种将归纳推理与逻辑程序相结合的方法，用于学习逻辑规则和概率分布。ILP使用归纳逻辑程序来表示实体和关系之间的逻辑关系，并通过学习逻辑规则和概率分布来进行推断。

以上是知识图谱推理中常用的一些方法和模型，每种方法都有其优点和局限性，具体选择哪种方法取决于应用的需求和问题的性质。

📎 参考文章

💡

有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~