知识图谱-KGE-模型:概述【KGE模型充当打分函数的作用】【负采样】【不同模型在不同KG上的表现不一致,需要尝试对比】
函数 模型 作用 需要 知识 不同 对比 概述
2023-09-27 14:20:37 时间
一、KGE简介
目前(2020.03)知识图谱嵌入研究方法众多,本文将对其中的主流方法进行简要介绍,如翻译、双线性、神经网络、双曲几何、旋转等。各方法细节请看原论文,文中错误欢迎指出,谢谢。
知识图谱嵌入(Knowledge Graph Embedding, KGE)学习知识库中的实体和关系的Embedding表示,是语义检索、知识问答、推荐等众多应⽤的基础研究。在具体了解KGE之前,我们先来看知识图谱是什么,为什么又要做知识图谱嵌入呢。
如下图所示,知识图谱是由大量的事实三元组组成,如(英国, 首都, 伦敦)便是真实世界中的知识,可用 (h,r,t) 进行表示,其中 h,t 表示头尾实体, r 表示关系。但我们知道,真实世界中知识是无限增长的,而知识图谱却不能包含真实世界中的所有知识,因此需在知识库中进行知识补全,或者称为链接预测。
如何进行链接预测呢?一个可行的方法便是将实体和关系进行Embedding表示,类似于Word2Vec,将字或词表示成Embedding信息。然后根据实体和关系的Embedding信息进行预测,比如利用头实体和关系去预测尾实体,或者利用尾实体和关系去预测头实体。当然,Embedding信息也可应用到其他领域,比如知识问答、文本信息增强、语义检索等。
二、KGE损失函数
相关文章
- java中反射机制通过字节码文件对象获取字段和函数的方法
- 人工智能:损失函数(Loss Function)【平方损失(正态分布)、交叉熵损失(二项分布)、合页损失、对比损失】【衡量模型预测值和真实值的差异】【总体样本->值域分布律->似然函数->损失函数】
- GNN-图卷积模型-2015:GGNN【消息传递(前向传播):聚合函数+更新函数】【更新函数:GRU】【训练更新函数的参数】
- GNN-图卷积模型-2017:MPNN(消息传递神经网络)【消息传递(前向传播):聚合函数(消息传递)+更新函数(状态更新)】【图卷积模型统一框架】
- 知识图谱-KGE-语义匹配-双线性模型(打分函数用到了双线性函数)-2014 :MLP
- NLP-生成模型-2017-Transformer(一):Encoder-Decoder模型【非序列化;并行计算】【O(n^2·d),n为序列长度,d为维度】【用正余弦函数进行“绝对位置函数式编码”】
- CV-CNN-2012:AlexNet模型【贡献:5卷积+3个全连接,6000万个参数、65万个神经元、ReLU取代传统激活函数、局部归一化、引入DropOut】【第一个深度CNN】【CNN开篇之作】
- 移动端/嵌入式-CV模型-2018:MobileFaceNets【Mobilenet-v2的改进版:①最后的平均池化层使用“可分离深度卷积层”取代,让网络自己学习权重;②ArcFace损失函数】
- 移动端/嵌入式-CV模型-2019:MobileNets-v3【①Bottleneck结构中引入SE结构(注意力机制)来计算各通道的重要性、②重新设计耗时层结构、③重新设计激活函数(h-swish)】
- 模型调参(二):learning rate decay(学习率衰减)【使用库调整学习率:等间隔、多间隔、指数衰减、余弦退火函数、根据指标、自定义】【手动调整学习率】
- 深度学习-TensorFlow2 :构建DNN神经网络模型【构建方式:自定义函数、keras.Sequential、Compile&Fit、自定义Layer、自定义Model】
- div里面的元素在【垂直 方向】上水平分布 使用calc()函数动态计算
- 数据库:SUM() 函数的使用(头歌)
- C++库研究笔记——函数名的宏定义
- 从零开始学C++之虚继承和虚函数对C++对象内存模型造成的影响
- php : 收集整理的非常有用的函数
- PHP函数 ------ ctype_alnum
- posix 线程(一):线程模型、pthread 系列函数 和 简单多线程服务器端程序
- C#函数重载
- MATLAB用“fitgmdist”函数拟合高斯混合模型(一维数据)
- php in_array函数的使用【转】
- 【Python & mxnet & gluon】基于 gluon 的自定义线性回归(创建数据集 || 数据读取 || 初始化模型参数 || 定义模型 损失函数 || 优化 || 训练)
- 建议收藏【机器学习&练习 θ】逻辑回归(详细分析:数据可视化、sigmoid 函数、代价函数和梯度、评价 逻辑回归模型 等知识...)
- 【知识图谱】本周文献阅读笔记(3)——周二 2023.1.10:英文)知识图谱补全研究综述 + 网络安全知识图谱研究综述 + 知识图谱嵌入模型中的损失函数 + 图神经网络应用于知识图谱推理的研究综述
- pytorch 常见的网络层(卷积层,池化层,线性层,激活函数)
- 第5.5节 函数递归、嵌套及样例
- 线性模型(linear model)基本定义及参数求解数学本质、损失函数的选择与评估数学原理、及其基于线性模型衍生的其他机器学习模型相关原理讨论
- 代码练习——函数_字符数组