2017-RGCN论文精读 | Martin1007Wang的博客

type

status

date

slug

summary

📝 同构图和异构图

图算法模型种类繁多，以图结构分类可以分为同构与异构图两大类。其中

同构图: 点类型 + 边类型=2(也就是不区分点与边类型)

异构图：点类型 + 边类型>2

在知识图谱中，可以把点（实体）类型视为1，但边（关系）类型在绝大多数情况一定是大于1的，所以知识图谱被视为异构图。

从同构图模型到异构图，差别就是关系、实体的类型差别。像GCN，GAT，GraphSAGE都是以同构图进行研究，沿着这个同构图模型的思想出发，将异构图分成多个含单一关系的同构图，那么会发现，其实只需要解决不同关系之间的交互，就可以套用同构图的思想解决异构图的问题。

图的相关概念

度矩阵：度矩阵是对角阵，对角上的元素为各个顶点的度。顶点的度表示和该顶点相关联的边的数量。无向图中顶点的度。有向图中，顶点的度分为顶点的出度和入度，即从顶点出去的有向边的数量和进入顶点的有向边的数量。

邻接矩阵：
邻接矩阵表示顶点间关系，是n阶方阵（n为顶点数量）。邻接矩阵分为有向图邻接矩阵和无向图邻接矩阵。无向图邻接矩阵是对称矩阵，而有向图的邻接矩阵不一定对称。对于有向图，是有方向的，即。

度矩阵和邻接矩阵的关系：

✍️ 用GCN处理同构图

、分别为第层、第的节点，为度矩阵、为邻接矩阵。

GCN计算方式本质上跟CNN卷积过程一样，是一个加权求和的过程，将邻居点通过度矩阵及其邻接矩阵，计算出各边的权重，然后加权求和。度矩阵负责提供权重，邻接矩阵负责控制哪些点需要汇聚。

GCN首次提出了卷积的方式融合图结构特征，提供一个全新的视角。

主要缺点：

融合时边权值是固定的，不够灵活。

可扩展性差，因为它是全图卷积融合，全图做梯度更新，当图比较大时，这样的方式就太慢了，不合适。

层数加深时，结果会极容易平滑，每个点的特征结果都十分相似。

具体的公式推理过程如下：

✍️ 用R-GCN处理异构图

主要思路：

R-GCN在GNN的基础上，在每一种关系下（可理解为就是异构图中的同构子图），指向内与指向外的都作为它的邻居点，同时加自循环特征，进行特征融合，参与更新中心节点。双层循环遍历，遍历每一种关系下，叠加每一个点的邻居点的特征进行融合，最后加上一层的中心节点特征，经过一个激活函数输出作为中心节点的输出特征，其中W为维度转换矩阵，也就是模型参数。

矩阵规则化方法：

这种思路的典型问题是：不同的关系有不同的，关系数量多会导致参数剧增，文章提出了两种可行的解决思路（矩阵规则化方法）：Bias-decomposition(共享转换矩阵参数)和Block-diagonal-decomposition(权重矩阵W由基础小矩阵拼接得到，保证W的稀疏性)。

Bias-decomposition：

表示分解block个数（常量），为分解的参数关系矩阵，与因子组成一对相关系数，都与关系类型相关，这里不同关系是共享参数的。

Block-diagonal-decomposition：

不同关系的为一系列低维矩阵求和。

节点分类与链路预测

对于节点分类任务，通过R-GCN的卷积，可以得到每个节点的向量表示，然后再最后一层使用softmax激活函数，得到每个节点的预测类别。最后通过有标签的节点来学习模型的参数，具体的是通过最小化交叉熵损失函数：

对于链路预测问题,使用一个图自编码器模型，其中括一个实体编码器和一个评分函数。作者用负采样训练模型。对于每一个观察到的例子，都进行负采样。通过随机破坏每个正例子的主题或对象来负采样。对交叉熵损失进行了优化，以使得模型对正样例的预测得分高于负样例。

参考：

图的一些基本知识：图，邻居，度矩阵，邻接矩阵-CSDN博客

从GCN到RGCN，从同构图到异构图 - 知乎 (zhihu.com)