NER的过去、现在和未来综述-未来
2023-04-18 16:52:00 时间
背景
命名实体识别(NER, Named Entity Recognition),是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。
关于NER的过去、现在可以参考 NER的过去、现在和未来综述-现在 NER的过去、现在和未来综述-过去
本文关于NER未来是在时间点2021以后的一些发展的点
- Few-show & zero shot。如何通过少样本,甚至零样本能够获得性能不错的模型,例如怎么引入正则表达式的模板、prompt等方式。
- 融入知识。之前在现在篇已经提到过一些,未来,随着预训练模型越来越大,如果能够将知识从中剥离,使用较小的语言模型来加速训练。然后通过另一些方式来融入知识,例如检索的方式,像DeepMind 的 RETRO 和 OpenAI 的WebGPT
- 迁移学习。这个可能有点大,怎么利用语言模型学到的知识。为什么人可以识别到其中的实体,凭借的以往经验的迁移,达到举一反三;语法信息(句式等);特定的句式;模仿学习等。
- 解码方式。个人觉得span、分类、序列标注似乎都并没有完美,span方式没有考虑整体序列标签之间的依赖关系;而分类的话还需要考虑实体长度,实际情况中实体长度可以是任意长度的(讲道理极限情况会存在);序列标注不能很好解决嵌套问题等。目前有一些结合的方法,例如Span+片段排列、BIO+分类,但还是有优化空间。
个人观点,仅供参考。
Reference
- Template-Based Named Entity Recognition Using BART
- Improving Language Models by Retrieving from Trillions of Tokens
- WebGPT: Browser-assisted question-answering with human feedback
- Boundary Enhanced Neural Span Classification for Nested Named Entity Recognition
- https://aclanthology.org/D19-1034/
相关文章
- 【技术种草】cdn+轻量服务器+hugo=让博客“云原生”一下
- CLB运维&运营最佳实践 ---访问日志大洞察
- vnc方式登陆服务器
- 轻松学排序算法:眼睛直观感受几种常用排序算法
- 十二个经典的大数据项目
- 为什么使用 CDN 内容分发网络?
- 大数据——大数据默认端口号列表
- Weld 1.1.5.Final,JSR-299 的框架
- JavaFX 2012:彻底开源
- 提升as3程序性能的十大要点
- 通过凸面几何学进行独立于边际的在线多类学习
- 利用行动影响的规律性和部分已知的模型进行离线强化学习
- ModelLight:基于模型的交通信号控制的元强化学习
- 浅谈Visual Source Safe项目分支
- 基于先验知识的递归卡尔曼滤波的代理人联合状态和输入估计
- 结合网络结构和非线性恢复来提高声誉评估的性能
- 最佳实践丨云开发CloudBase多环境管理实践
- TimeVAE:用于生成多变量时间序列的变异自动编码器
- 具有线性阈值激活的神经网络:结构和算法
- 内网渗透之横向移动 -- 从域外向域内进行密码喷洒攻击