知识图谱融合-技术知识前置(一):文本匹配算法
2023-09-27 14:20:37 时间
特定领域知识图谱(Domain-specific KnowledgeGraph:DKG)融合方案:技术知识前置【一】-文本匹配算法、知识融合学术界方案、知识融合业界落地方案、算法测评KG生产质量保障
0.前言
本项目主要围绕着特定领域知识图谱(Domain-specific KnowledgeGraph:DKG)融合方案:技术知识前置【一】-文本匹配算法、知识融合学术界方案、知识融合业界落地方案、算法测评KG生产质量保障讲解了文本匹配算法的综述,从经典的传统模型到孪生神经网络“双塔模型”再到预训练模型以及有监督无监督联合模型,期间也涉及了近几年前沿的对比学习模型,之后提出了文本匹配技巧提升方案,最终给出了DKG的落地方案。这边主要以原理讲解和技术方案阐述为主,之后会慢慢把项目开源出来,一起共建KG,从知识抽取到知识融合、知识推理、质量评估等争取走通完整的流程。
1.文本匹配算法综述(短文本匹配)
文本匹配任务在自然语言处理中是非常重要的基础任务之一,一般研究两段文本之间的关系。有很多应用场景;如信息检索、问答系统、智能对话、文本鉴别、智能推荐、文本数据去重、文本相似度计算、自然语言推理、问答系统、信息检索等,但文本匹配或者说自然语言处理仍然存在很多难点。这些自然语言处理任务在很大程度上都可以抽象成文本匹配问题,比如信息检索可以归结为搜索词和文档资源的匹配,问答系统可以归结为问题和候选答案的匹配,复述问题可以归结为两个同义句的匹配。
-
如语言不规范,同一句话可以有多种表达方式;如“股市跳水、股市大跌、股市一片绿”
-
歧义,同一个词语或句子在不同语境可能表达不同意思;如“割韭菜”,“领盒饭”,“苹果”“小米”等在不同语境下语义完全不同
-
不规范或错误的输入;如 “ yyds”,“
相关文章
- Python 时间序列预测 | 详解 STL 算法和预测实践
- Go语言逆向技术:恢复函数名称算法
- 技术干货丨隐私保护下的迁移算法
- 【微电网】基于改进粒子群算法的微电网优化调度(Matlab代码实现)
- 基于标准反向传播算法的改进BP神经网络算法(Matlab代码实现)
- 基于粒子群优化算法的时间调制非线性频偏FDA(Matlab代码实现)
- 清华大学计算机科学与技术系朱军教授:机器学习里的贝叶斯基本理论、模型和算法
- 3.知识图谱业务落地技术推荐之图神经网络算法库&图计算框架汇总
- 推荐系统[八]算法实践总结V3:重排在快手短视频推荐系统中的应用and手淘信息流多兴趣多目标重排技术
- A.机器学习入门算法(二): 基于朴素贝叶斯(Naive Bayes)的分类预测
- 算法学习之冒泡排序,6174问题
- 《算法技术手册》一1.5 参考文献
- 《算法技术手册》一2.4.6 二次方的算法性能
- 《算法技术手册》一3.1 算法模板的格式
- 《算法技术手册》一3.5 算法举例
- 《算法技术手册》一3.6.1 贪心
- 《算法技术手册》一3.6.2 分治
- 2023.1.16,周一【图神经网络 学习记录2】Graph Embedding 之 DeepWalk算法 解析 || 知识图谱嵌入技术:以TransE模型为例
- JavaScript 数据结构与算法之美 - 冒泡排序、插入排序、选择排序
- iOS - 算法
- LCA 学习算法 (最近的共同祖先)poj 1330
- 面试算法爱好者书籍/OJ推荐
- 十大经典排序算法(动图演示)