迁移学习(EDA)《Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection》
论文信息
论文标题:Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection
论文作者:Kyumin Lee; Guanyi Mou; Scott Sievert
论文来源:
论文地址:download
论文代码:download
1 介绍
基于能量的模型(EBM),应该给正确的类 $reve{y}$ 产生较低的能量:
$reve{y}=operatorname{argmin}_{y in Y} E(x, y) quadquadquad(1)$
本文域适应损失——源域监督损失 + 域对齐损失。
源域监督损失 $L_{s- ext { classification }}$ 如下:
$L_{s- ext { classification }}=E(x, y ; heta)^{2}+e x p^{(-E(x, ar{y} ; heta))} quadquadquad(2)$
其中,$y$ 是真实的类,$ar{y}$ 是另一个/不正确的类。
域对齐损失 $L_{D- ext { Alignment }}$ 如下:
$L_{D- ext { Alignment }}=max left(0, mathbb{E}_{x sim mathcal{D}_{S}} F(x ; heta)-mathbb{E}_{x sim mathcal{D}_{T}} F(x ; heta) ight) quadquadquad(3)$
其中,$F(x ; heta)= -log sumlimits _{y in Y} exp ^{(-E(x, y ; heta))}$ 。
总损失如下:
$L_{D A}=L_{S ext {-classification }}+lambda * L_{D- ext { Alignment }} quadquadquad(4)$
如 Figure 1 所示,模型经过域自适应训练,就进行主动学习,它基于一定准测从目标域选取一些实列,并取得其真实标签。然后,使用带标记的目标实例来进一步训练我们的模型。
在每一轮中,一旦从目标域得到带有标记的样本,将进一步重新训练模型,然后测量以下损失函数:
$L_{A L}=L_{T ext {-classification }}+lambda * L_{D- ext { Alignment }} quadquadquad(5)$
$L_{T ext {-classification }}$ 代表了带标记样本的分类损失(选择的)。$L_{D- ext { Alignment }}$ 用于对齐源域和目标域的自由能分布。
Note:本文的主动学习策略为:(i) 随机选择(EDA-randon)和 (ii)基于不确定性的选择(EDA-不确定性)。
模型框架图:
2 实验
数据集
实验细节
每个数据集分别被拆分为训练集、验证集和测试集,其比例分别为 70%、10% 和 20%。选择其中一个数据集作为目标域数据集,其余两个数据集通过组合在一起作为源域数据集。
实验结果
相关文章
- EasyCVR对接华为iVS订阅摄像机和用户变更请求接口介绍
- 精选 | 腾讯云CDN内容加速场景有哪些?
- 模块化网络防止基于模型的多任务强化学习中的灾难性干扰
- 用搜索和注意力学习稳健的调度方法
- 用于多变量时间序列异常检测的学习图神经网络
- 助力政企自动化自然生长,华为WeAutomate RPA是怎么做到的?
- 使用腾讯轻量云搭建Fiora聊天室
- TSRC安全测试规范
- 云计算“功守道”
- 助力成本优化,腾讯全场景在离线混部系统Caelus正式开源
- Flink 利器:开源平台 StreamX 简介
- 腾讯云实践 | 一图揭秘腾讯碳中和?解决方案
- 深度学习中的轻量级网络架构总结与代码实现
- 信息系统项目管理师(高项复习笔记三)
- Adobe国际认证让科技赋能时尚
- c++该怎么学习(面试吃土记)
- 面试官问发布订阅模式是在问什么?
- 面试官:请实现一个通用函数把 callback 转成 promise
- 空中悬停、翻滚转身、成功着陆,我用强化学习「回收」了SpaceX的火箭
- 中山大学林倞解读视觉语义理解新趋势:从表达学习到知识及因果融合