本文主要回顾2017年首次将图网络引入知识图谱的工作RGCN

知识图谱推理是支持机器学习应用（如信息提取、信息检索和推荐）的基础组成部分。由于知识图谱可以被视为离散的符号知识表示，因此在知识图谱上进行推理可以自然地利用符号技术。然而，符号推理对于模糊和噪声数据是不容忍的。相反，深度学习的最新进展推动了在知识图谱上的神经推理，它对于模糊和噪声数据具有强大的鲁棒性，但与符号推理相比缺乏可解释性。考虑到这两种方法的优缺点，近年来人们开始尝试将这两种推理方法结合起来。在这项调查中，我们全面审视了符号推理、神经推理和混合推理在知识图谱上的发展。我们对两个具体的推理任务进行了调查，即知识图谱补全和知识图谱问答，并在一个统一的推理框架中对它们进行了解释。我们还简要讨论了知识图谱推理的未来发展方向。

多模态知识图谱（MKG）是将视觉和文本事实知识组织起来的，最近已成功应用于信息检索、问答和推荐系统等任务。由于大多数MKG远未完整，因此已经提出了广泛的知识图谱补全研究，重点关注多模态实体、关系抽取和链接预测。然而，不同的任务和模态需要对模型架构进行更改，并且并非所有的图像/对象都与文本输入相关，这限制了在各种现实场景中的适用性。在本文中，我们提出了一种混合变压器与多层融合结构来解决这些问题。具体而言，我们利用统一的输入输出的混合变压器架构来处理多样化的多模态知识图谱补全任务。此外，我们提出了多层融合方法，通过粗粒度的前缀引导交互和细粒度的关联感知融合模块，将视觉和文本表示集成起来。我们进行了大量实验证明，我们的MKGformer在多模态链接预测、多模态关系抽取和多模态命名实体识别等四个数据集上可以取得最先进的性能。

本博客重点研究ICLR2023上的论文“Multimodel Analogical Reasoning Over Knowledge Graphs”，包括论文精读、数据集研究和代码研究。