发布于: 2023-10-14最后更新: 2023-11-10字数 00 分钟

type
status
date
slug
summary
tags
category
论文链接
代码链接
Huggingface Demo
😀
SACN认为,ConvE 没有考虑 KG 的图结构信息,并且其 2D 卷积操作没能保留翻译特性。针对这两个问题,文章提出用加权的图卷积网络(WGCN)解决图结构(connectivity structure)信息没有考虑在内的问题,省略了 ConvE 2D 卷积中的 reshape 操作用于保留翻译特性。整体的模型称为 SACN(Structure-Aware Convolutional Network),是一个 end-to-end 的结构,WGCN 作为 encoder,Conv-TransE 作为 decoder。
 

📝 SACN

notion image

加权图卷积(WGCN)

在信息累积时候加上了权重,用于控制在多大程度上接受从邻居节点流过来的信息(文中称为当前节点与邻居节点的交互强度),之前的 GCN 只是单纯地把汇过来的信息求平均。
notion image
文章还提到了一个节点属性表示的问题,是专门针对属性三元组的,关键思想是用一个节点表示一种属性。比如,“性别”这个属性,用一个单个的节点来表示,而不是用两个节点表示“男性”和“女性”。

Conv-TransE

作为 decoder 的 Conv-TransE,省略 reshape,先用多个卷积核进行卷积,得到 feature map,然后拼接成一个长向量,经过一个线性变换的输出,与实体 embedding 矩阵相乘,再过一个 sigmoid 层,得到每个实体的得分。
notion image
notion image
本文提出了一个端到端的模型 SACN,由编码器 WGCN 和解码器 Conv-TransE 组成。WGCN 是对 GCN 进行了一个加权的改进,权重由关系类型决定,WGCN 用于引入图的结构/连接信息;Conv-TransE 是对 ConvE 省去了 reshape 步骤用于保留翻译特性。

结合代码研究消息汇聚机制:

RGCN

论文中的公式
代码中实际使用的公式

SACN:

h

2017-RGCN论文精读
2017-RGCN论文精读

本文主要回顾2017年首次将图网络引入知识图谱的工作RGCN