type
status
date
slug
summary
tags
category
论文链接
代码链接
Huggingface Demo
本文将介绍用于衡量知识图谱嵌入(Knowledge Graph Embedding,KGE)模型性能中最常用的几个指标:MRR,MR,HITS@1,HITS@3,HITS@10。
1. MRR
MRR的全称是Mean Reciprocal Ranking,其中Reciprocal是指“倒数的”的意思。具体的计算方法如下:
其中是三元组集合,是三元组集合个数,是指第i个三元组的链接预测排名。该指标越大越好。例如,对于三元组(Jack,born in,Italy),链接预测的结果可能是
那么,三元组(Jack,born in,Italy)的链接预测排名则是2.
2. MR
MR的全称是Mean Rank。具体的计算方法如下:
上述公式涉及的符号和MRR计算公式中涉及的符号一样。该指标越小越好。
3. HITS\@n
该指标是指在链接预测中排名小于的三元组的平均占比。具体的计算方法如下:
其中,上述公式涉及的符号和MRR计算公式中涉及的符号一样,另外是indicator函数(若条件真则函数值为1,否则为0)。一般地,取等于1、3或者10。该指标越大越好。
五、参考
- 作者:Martin Wang
- 链接:https://www.martin1007wang.top//article/KGE%E6%80%A7%E8%83%BD%E6%8C%87%E6%A0%87%EF%BC%9AMRR%EF%BC%8CMR%EF%BC%8CHITS@1%EF%BC%8CHITS@3%EF%BC%8CHITS@10
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。