TransG:一种产生式的知识图谱嵌入模型

摘要:清华大学计算机系人工智能实验室朱小燕教授课题组在自然语言处理的顶级会议ACL 2016上发表长文《TransG : 产生式的知识嵌入模型》(作者:肖寒,黄民烈,朱小燕),描述了如何刻画三元组知识中的关系的多语义表达问题。

知识图谱嵌入近些年成为学术研究的热点。知识图谱由一些互相连接的实体构成(例如姚明、叶莉),实体之间的边表示实体之间的关系(例如,夫妻、朋友、出生地等)。我们知道,在AI的发展早期,语义网络就是知识图谱的一种表示形式,即用离散符号表示实体和关系,用三元组<实体h,关系r,实体t>表示一些知识。但传统表示并不利于计算,比如要计算两个实体之间的相似度就不好办。

 

知识图谱嵌入就是把实体、关系表示成连续低维空间的向量形式,同时一般还需要使之具有较好的语义解释性。很多方法例如,TransETransHTransR等(很多国内同行发表了很多非常好的工作,就不一一列举啦,据说都从A排到Z了-:) ),均是从几何平移的角度出发的,即认为在向量空间中,实体向量h、关系向量、实体向量t构成了一种几何合成的关系:h+r=t

 

在研究中,我们发现,关系向量具有多语义性。比如,同样是has_part关系,(Table, HasPart, Leg)表示的是一种成分关系,而(Atlantics, HasPart, NewYorkBay)则表示一种地域关系。在知识库Freebase中,同样是“出生地”的关系,(Jon Snow, birth place, Winter Fall)  (George R. R.Martin, birth place, U.S.)分别被映射到了两个不同的schema/fictional universe/fictional character/place of birth(虚拟人物出生地)和/people/person/placeof birth(现实人物出生地)。再例如下图,TransE的嵌入结果,就有明显的聚类特点。

 

进一步发现,传统模型仅仅使用一个关系向量来表示不同实体对的关系(CTransR有提出基于聚类的思想)。我们的出发点就是:为了刻画关系的多语义性问题,一个关系应该有多种向量表示,不同的实体对在几何变换中应该采用不同的关系向量。因此,就提出了一种基于贝叶斯非参的无限混合嵌入模型:认为关系向量由若干子成分向量合成,模型会根据实体对自动选择一个关系向量,而多少个这样的关系向量还可以由模型自动选择。这个产生式过程如下:

 


这个模型在链接预测(link prediction,给定一个实体和关系,预测另外一个实体)、三元组分类(即判断一个三元组是否是一个正确的知识)中,全都去得到了最好的性能。

 

据我们所知,这好像是知识图谱嵌入的第一个产生式模型哦。而且有一些有意思的结果,如下表:

 


比如同样是Profession这一类关系,我们能把实体对大概区分为:ScientistBusinessmanWriter

欢迎关注我们的论文:《TransG : A Generative Model for Knowledge Graph Embedding. ACL 2016.Berlin, Germany.

 

附注:

  • 这个工作先后被AAAI2015IJCAI2016拒掉(不过AI的会议总是会给人“Surprise”),但终于被领域专门会议认可,所以一定要记得坚持哦。

  • 欢迎您给本公众号投稿,联系aihuang@tsinghua.edu.cn黄民烈。