论文信息

论文标题：Cross-domain Activity Recognition via Substructural Optimal Transport
论文作者：Wang Lu, Yiqiang Chen, Jindong Wang, Xin Qin
论文来源：Neurocomputing
论文地址：download 
论文代码：download

1 背景

　　使用从传感器收集到的原始信号，学习有关人类活动的高级知识。应用于步态分析、手势识别、睡眠阶段检测等领域

　　跨域活动识别（CDAR）：借助辅助数据集，使用领域自适应的方式为无标签的新活动数据集构建模型

　　贝叶斯信息准则（BIC）：

• • 背景：参数估计问题采用似然函数作为目标函数，提高模型复杂度可提高模型精度，但会导致过拟合问题发生，希望在模型复杂度与模型对数据集描述能力之间寻求最佳平衡；
  • 公式：$mathrm{BIC}=k ln (n)-2 ln (widehat{L})$，其中后项为精度惩罚，$L$ 表示似然函数的值；前项为复杂度惩罚，$k$ 表示自由参数数量，$n$ 表示样本数量；
    
  • 解释：增加参数数量会增大似然函数，但是参数过多时，似然函数增速减缓，易产生过拟合现象，选取使BIC最小的自由参数数量即可达到较优状态

　　最优输运问题（OT）：

• • 概率向量：元素值在 $[0,1]$ 间，和为 $1$ 的数组
  • 离散测度：将概率向量对应给某个数的函数

　　　　　　　　$alpha=sum_{i=1}^{n} mathbf{a}_{i} delta_{x_{i}}$

• • 最优输运问题：对于两个测度，找到最优的映射方式 $P$，使下式成立（$C$ 为代价矩阵）：　

　　　　　　　　$mathrm{L}_{mathbf{C}}(mathbf{a}, mathbf{b}) stackrel{ ext { def. }}{=} min _{mathbf{P} in mathbf{U}(mathbf{a}, mathbf{b})}langlemathbf{C}, mathbf{P} angle stackrel{ ext { def. }}{=} sum_{i, j} mathbf{C}_{i, j} mathbf{P}_{i, j}$

2 传统方法简介

　　分类

• • 粗糙匹配：域级匹配/类级匹配/域级和类级匹配，通过学习域不变表示/类不变表示来匹配分布；
  • 样本级匹配：实现两个域的成对样本对齐；

　　局部性：两个传感器信号之间的细粒度相似度

　　缺陷

• • 粗糙匹配：忽略活动数据的局部信息，可能导致不适应；
  • 样本级匹配：易受噪声点或异常值的影响，导致过度适应，学习局部信息时出现过拟合；匹配太多的点，耗时；

　　实验分析

• • 源域/目标域分别由高斯混合分别采样得到，对应于两个类和三个不同的簇；

  • 由于其中一个类对应两个簇，使用粗糙匹配将忽略这种局部信息；

  • 数据携带噪音或扰动，直接对数据样本进行匹配可能出现不匹配的情况；

• • 域级匹配完全忽略了域内数据结构；
  • 类级匹配需要稍微精细的对齐；
  • 样本级方法容易受到异常值影响，导致过拟合，且耗时；

3 子结构域自适应（SSDA）

　　子结构：描述数据的细粒度潜在分布，可理解为类内部簇，对应于局部信息；

　　优势

• • 相较于粗略匹配，利用更细粒度的局部性信息（子结构），克服不适应问题；
  • 相较于样本级匹配，避免噪声与异常值的过分影响，防止过度适应问题；
  • 通用框架，可使用不同算法完成定制；

　　实现

　　　　基于最优传输，提出子结构最优传输（SOT）方法

　　　　步骤：

• • • 通过聚类方法获得内部子结构；
    • 通过部分最优传输方法给出源域的活动子结构权值；
    • 学习匹配两个子结构上的概率分布函数的运输计划；

　　理论分析

　　　　域级匹配对象 $p(x)$，类级匹配对象 $p(x|y)$，进一步将域划分为更精细的子结构：

　　　　$egin{aligned}p(mathbf{x}) & =sum_limits{y} p(mathbf{x} mid y) p(y) \& =sum_limits{y}left(sum_limits{o} p(mathbf{x}, o mid y) ight) p(y) \& =sum_limits{y} sum_limits{o} p(mathbf{x} mid y, o) p(y, o) ext { (For source domain) } \& =sum_limits{o} sum_limits{y} p(mathbf{x} mid y, o) p(y mid o) p(o) \& =sum_limits{o} p(mathbf{x} mid o) p(o) . ext { (For target domain) }end{aligned}$

　　由于类和子结构之间的关系：

　　　　$p(y mid o)=left{egin{array}{ll}1 & o ext { is part of } y \0 & o . wend{array} ight.$

　　统一源域和目标域的匹配对象：

　　　　$p(mathbf{x} mid o)$

　　子结构最优运输（SOT）

　　步骤一：子结构生成和表示

　　$X$ 表示所有特征数据，$X_{k} sim Nleft(mu_{k}, sigma_{k} ight)$ 表示第 $k$ 个聚类的数据，服从高斯混合分布；可使用特征数据 $X$ 借助期望最大值（EM）算法获得高斯混合模型的参数。

　　针对源域为保持标签一致性，将其视为 $C$ 个高斯混合模型的混合分布，每个模型对应一个类，针对每个模型分别完成聚类；针对目标域由于缺少标签，直接对整个目标域完成聚类。

　　聚类数量由贝叶斯信息准则（$BIC$）决定，选取使 $BIC$ 最小的自由参数 $k$ 的数量来决定聚类的数量。

　　聚类算法可自由定制；

　　子结构表示：中心表示的 $S O T_{c}$ 表示法（只利用聚类中心，计算简单，效率高）与分布表示的 $S O T_{g}$ 表示法（利用更多聚类中心，计算时需近似）

　　$operatorname{SOT}_{c}$ 表示法

　　目标域分布（源域类似）:

　　　　$mu_{c, t}=sum_{i=1}^{k_{t}} w_{t, i} delta_{mathbf{z}_{t, i}}$

　　其中 $z$ 表示聚类中心， $delta_{z}$  表示聚类中心处的 Dirac 函 数, $omega$  表示与聚类中心相关的概率质量，和为 $1$。

　　使用欧式距离的平方作为两个域间聚类中心的距离 度量: $quad cleft(mathbf{z}_{s, i}, mathbf{z}_{t, j} ight)=left|mathbf{z}_{s, i}-mathbf{z}_{t, j} ight|_{2}^{2}$ .

　　$oldsymbol{SOT}_{g}$  表示法

　　目标域分布（源域类似）：

　　　　$mu_{g, t}=sum_{i=1}^{k_{t}} w_{t, i} mathcal{N}left(mathbf{z}_{t, i}, oldsymbol{sigma}_{t, i} ight)$

　　使用高斯分布代替聚类中心位置的 Dirac 函数 使用 Wasserstein 距离的平方作为两个域间聚类中 心的距离度量:

　　　　$cleft(mathcal{N}left(mathbf{z}_{s, i}, oldsymbol{sigma}_{s, i} ight), mathcal{N}left(mathbf{z}_{t, j}, oldsymbol{sigma}_{t, j} ight) ight)=W_{2}^{2}left(mathcal{N}left(mathbf{z}_{s, i}, oldsymbol{sigma}_{s, i} ight), mathcal{N}left(mathbf{z}_{t, j}, oldsymbol{sigma}_{t, j} ight) ight)$

　　距离度量用于计算最优输运中的代价矩阵 $C$

　　将协方差矩阵强制为对角矩阵，经过转化的距离度量：

　　　　$egin{aligned}cleft(mathcal{N}left(mathbf{z}_{s, i}, sigma_{s, i} ight), mathcal{N}left(mathbf{z}_{t, j}, sigma_{t, j} ight) ight) & =left|mathbf{z}_{s, i}-mathbf{z}_{t, j} ight|^{2}+left|sqrt{mathbf{r}_{s, i}}-sqrt{mathbf{r}_{t, j}} ight|_{2}^{2} \& =left|left(mathbf{z}_{s, i}, sqrt{mathbf{r}_{s, i}} ight)-left(mathbf{z}_{t, j}, sqrt{mathbf{r}_{t, j}} ight) ight|_{2}^{2}end{aligned}$

　　其中 $r$ 表示簇的协方差矩阵的对角线，聚类中心 $z$ 和 $r$ 共同构成表示子结构的特征。

　　步骤二：计算子结构权值（概率质量）

　　对两种子结构表示法进行统一表示：

　　　　$P_{s}=sumlimits_{s=1}^{k_{s}} w_{s, i} p_{s, i}$

　　对信息过少的目标域将 $omega_{t, i}$ 固定为 $1 / k_{t}$ 自适应计算源域的子结构权值

　　由于 $ omega$ 本身的特性 (和为 $1$）, 可看作概率分布向量，利用部分最优运输问题进行求解，求解最优运输方式对应的优化目标:

　　　　$egin{array}{r}oldsymbol{pi}_{1}^{*}=arg min _{pi}langleoldsymbol{pi}, mathbf{C} angle_{F}+lambda_{1} H(oldsymbol{pi}) \ ext { s.t }quadquadquadquadquadquad quadoldsymbol{pi}^{T} mathbf{1}_{k_{s}}=mathbf{w}_{t} \oldsymbol{pi} mathbf{1}_{k_{t}} leq mathbf{1}_{k_{s}} \mathbf{1}_{k_{t}}^{T} oldsymbol{pi}^{T} mathbf{1}_{k_{s}}=1 .end{array}$

　　其中 $pi$ 为两个子结构概率分布函数的朱合合矩阵（co upling matrix)，$C$ 为代价矩阵，$langlecdot angle_{F}$ 为 Frobenius 点积，$langlepi, C angle_{F}$ 即为部分最优输运总代价，$H(pi)$ 为便于计算加入的正则化项，定义式

　　　　$H(oldsymbol{pi})=sum_{i j} pi_{i j} log pi_{i j}$

　　可保证约束条件后两项必然成立， 因此最终优化目标：$oldsymbol{pi}_{1}^{*}=arg min _{oldsymbol{pi}}langleoldsymbol{pi}, mathbf{C} angle_{F}+lambda_{1} H(oldsymbol{pi})$

　　　　$ ext { s.t } quad oldsymbol{pi}^{T} mathbf{1}_{k_{s}}=mathbf{w}_{t} ext {. }$

　　由于约束条件为的可行解集为凸集，易得问题的封闭形式，可使用拉格朗日方法解决问题：

　　　　$L=langleoldsymbol{pi}, mathbf{C} angle_{F}+lambda_{1} H(oldsymbol{pi})+oldsymbol{phi}^{T}left(oldsymbol{pi}^{T} mathbf{1}_{k_{s}}-mathbf{w}_{t} ight)$

　　步骤三：基于最优输运（OT）的子结构映射

　　子结构最优运输 (SOT) 的总体优化目标:

　　　　$egin{array}oldsymbol{pi}^{*}&=arg min _{oldsymbol{pi}}langleoldsymbol{pi}, mathbf{C} angle_{F}+lambda H(oldsymbol{pi})+eta Omega(oldsymbol{pi}) \ ext { s.t } & oldsymbol{pi}^{T} mathbf{1}_{k_{s}}=mathbf{w}_{t} \& oldsymbol{pi} mathbf{1}_{k_{t}}=mathbf{w}_{s} .end{array}$

　　其中 $ Omega(pi)$ 为群稀疏正则化器，期望每个目标样本只从具有相同标签的源样本接收质量。

　　通过广义条件梯度 (GCG) 求解最优输运问题得到 最优耦合矩阵 $pi^{*}$ 后, 可通过重心咉射计算出变换后的 $oldsymbol{p}_{s, i}$ 的值:

　　　　$hat{mathbf{p}}_{s, i}=arg min _{mathbf{p}} sum_{j} pi^{*}(i, j) cleft(mathbf{p}, mathbf{p}_{t, j} ight)$

　　当代价函数为欧式距樆时, 可表示为

　　　　$hat{mathbf{P}}_{s}=operatorname{diag}left(oldsymbol{pi}^{*} mathbf{1}_{k_{t}} ight)^{-1} oldsymbol{pi}^{*} mathbf{P}_{t}$

　　其中 $P_{t}$ 为目标表示，$widehat{P_{s}}$ 为源映射表示
　　使用计算出的 $ widehat{P_{s}}$ 和标签 $ Y_{s}$ 可建立模型以预测 $ P_{t}$ 对 应标签，将预测出的标签拭予目标域中属于对应聚类的 数据即可最终完成目标域的标签预测任务，即实现跨域活动识别任务。

4 实验结果

https://zhuanlan.zhihu.com/p/356904023

https://www.cnblogs.com/liuzhen1995/p/14524932.html