Multi-Task Networks With Universe, Group, and Task Feature Learning-阅读笔记
2023-04-18 16:49:37 时间
Multi-Task Networks With Universe, Group, and Task Feature Learning
文章将任务区分为三个层次:
- 单个任务。
- 任务组(task group)
- 全体任务(task universe)
提出一些类MTL框架,包含并行网络结构、串行网络结构,在 ATIS, Snips和一个自有大数据集上表现良好。
Parallel MTL Architecture
Group features、Universe features、Task features并行生成。
- 不同的任务 a, b, c 都会被输入到 Universe Encoder 中,生成 Universe features
- 同一 group 的任务(x1a, x1b 是一个 group,x2c 是另一个),会送到 Group Encoder 中,生成 Group features;
- 每个任务都会被输入到 Task Encoder 中,生成 Task features;
- 每个 Task features 会和 Universe features,Group features 连接,作为 Task Decoder 的输入,得到最后的结果。在这个模型中,三类 feature 是并行生成的。
Serial MTL Architecture
Group features、Universe features、Task features三类特征会又先后顺序生成。
- Serial: Group features 和 Universe features 并行生成,拼接后输入到 Task encoder 去生成 Task features;
- Serial + Highway:和 a 一样,但是在 Decoder 时,会把 Task features 和前面的 Group features,Universe features 进行拼接;
- Serial + Highway + Swap:先生成 Task features,然后再生成 Group features 和 Universe features,再和 Task features 进行拼接。
Loss
作者加入对抗损失(adversarial loss)和正交限制(orthogonality constraints),来避免 Task Features 在共享空间中:
具体见: 1.Domain Separation Networks 2.Adversarial multi-task learning for text classification
任务主要包含:ner、intent classification.
ner使用BiLSTM+crf
reference
相关文章
- EasyC++,自动存储持续性
- pytest使用详解
- PyTorch安装教程(最简单方法)
- Go Gio 实战:煮蛋计时器的实现之重构
- 使用labelme打标签,详细教程
- YOLOV8-gradcam 热力图可视化 即插即用 不需要对源码做任何修改!
- Golang 熔断器的实现
- AttributeError: module ‘numpy‘ has no attribute ‘object‘
- nvidia-smi详解
- 【yolov5s中加入DCNv2(可变形卷积v2)】
- Python opencv进行圆形识别(圆检测)
- 大连理工大学软件学院2022年秋季学期《矩阵与数值分析》上机作业
- pycharm:远程连接服务器调试代码(保姆级详细步骤)
- pandas 处理excel表格数据的常用方法(python)
- cv2 库的安装
- Python selenium基础用法详解
- skimage库的安装
- 蒙特卡罗(Monte Carlo) 模拟
- 基于python+Opencv的车牌识别
- Go 语言中结构体打 Tag 是什么意思?