Martin1007Wang的博客
知识图谱
KGE
评价指标
Post on: 2023-6-24Last edited: 2023-7-7W.C. 3571 min
type
status
date
slug
summary
tags
category
论文链接
代码链接
Huggingface Demo
本文将介绍用于衡量知识图谱嵌入（Knowledge Graph Embedding，KGE）模型性能中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10。

1. MRR

MRR的全称是Mean Reciprocal Ranking，其中Reciprocal是指“倒数的”的意思。具体的计算方法如下：
MRR=1∣S∣∑i=1∣S∣1 ranki =1∣S∣(1 rank1 +1 rank2 +…+1 rank ∣S∣)\mathbf{M R R}=\frac{1}{|S|} \sum_{i=1}^{|S|} \frac{1}{\text { ranki }}=\frac{1}{|S|}\left(\frac{1}{\text { rank1 }}+\frac{1}{\text { rank2 }}+\ldots+\frac{1}{\text { rank }|S|}\right)
其中SS是三元组集合，∣S∣|S|是三元组集合个数，rankirank_i是指第i个三元组的链接预测排名。该指标越大越好。例如，对于三元组(Jack，born in，Italy)，链接预测的结果可能是
s        p         o            score   rank
Jack   born_in   Ireland        0.789      1
Jack   born_in   Italy          0.753      2  *
Jack   born_in   Germany        0.695      3
Jack   born_in   China          0.456      4
Jack   born_in   Thomas         0.234      5
那么，三元组(Jack，born in，Italy)的链接预测排名则是2.

2. MR

MR的全称是Mean Rank。具体的计算方法如下：
MR=1∣S∣∑i=1∣S∣rank⁡i=1∣S∣(rank⁡1+rank⁡2+…+rank⁡∣S∣)\mathbf{M R}=\frac{1}{|S|} \sum_{i=1}^{|S|} \operatorname{rank}_i=\frac{1}{|S|}\left(\operatorname{rank}_1+\operatorname{rank}_2+\ldots+\operatorname{rank}_{|S|}\right)
上述公式涉及的符号和MRR计算公式中涉及的符号一样。该指标越小越好。

3. HITS\@n

该指标是指在链接预测中排名小于nn的三元组的平均占比。具体的计算方法如下：
HITS⁡@n=1∣S∣∑i=1∣S∣I(rank⁡i⩽n)\operatorname{HITS} @ n=\frac{1}{|S|} \sum_{i=1}^{|S|} \mathbb{I}\left(\operatorname{rank}_i \leqslant n\right)
其中，上述公式涉及的符号和MRR计算公式中涉及的符号一样，另外I(⋅)\mathbb I(\cdot)是indicator函数（若条件真则函数值为1，否则为0）。一般地，取nn等于1、3或者10。该指标越大越好。

五、参考

NSCaching: simple and efficient negative sampling for knowledge graph embedding
How is hits\@k calculated
 
2023-MARS-在知识图谱上进行多模态类比推理
2023-MARS-在知识图谱上进行多模态类比推理

本博客重点研究ICLR2023上的论文“Multimodel Analogical Reasoning Over Knowledge Graphs”，包括论文精读、数据集研究和代码研究。

论文学习
小米安卓开发岗面经
小米安卓开发岗面经