提示：
现在，强化学习任务的条件中，奖赏函数未知，用线性函数（近似地）表达奖赏函数（其参数未知）。逆强化学习是指学习的内容是强化学习任务某条件。
基于“人类专家具有最优性”这一假定，以及多目标优化理论，交替地迭代出最优奖赏函数。

逆强化学习

现在，强化学习任务的条件$E=⟨X,A,P,R⟩$中，奖赏函数$R$未知，如何处理？

我们曾用线性函数（近似地）表达了值函数【西瓜书式(16.32)】，这里我们用线性函数（近似地）表达奖赏函数，为更一般，我们将状态设为多元的，用向量$\mathbf{x}$表示，奖赏函数为
$$\begin{array}{r}R(\mathbf{x})={\mathbf{w}}^{\mathrm{T}}\mathbf{x}\end{array}\text{\hspace{1em}(16.95)}$$
其中，不妨设$\mathbf{x}\in [0,1{]}^k$（分量压缩到[0,1]区间），也不妨设$||\mathbf{w}|{|}_2⩽1$（否则可乘以一个系数使其满足所设）。

将式(16.95)代入状态值函数【西瓜书式(16.5)】（$R({\mathbf{x}}_t)$取代$r_{t+1}$），则$\gamma$型累积奖赏为【西瓜书式(16.37)】，简记为
$$\begin{array}{r}{\rho }_{\mathbf{w}}^{\pi }={\mathbf{w}}^{\mathrm{T}}{\overline{\mathbf{x}}}^{\pi }\end{array}\text{\hspace{1em}(16.96)}$$
其中，称${\overline{\mathbf{x}}}^{\pi }$为$\pi$的特征向量
$$\begin{array}{r}{\overline{\mathbf{x}}}^{\pi }=\mathbb{E}\left[\sum _{t=0}^{+\infty }{\gamma }^t{\mathbf{x}}_t\right]\end{array}\text{\hspace{1em}(16.97)}$$

若已知策略$\pi$，则可对其进行蒙特卡罗试验，采样得到其轨线集 { τ i π } i = 1 m \{\tau^{\pi} _i\}_{i=1}^m {τiπ​}i=1m​，其中，${\tau }_i^{\pi }=({\mathbf{x}}_1^{\pi },{\mathbf{x}}_2^{\pi },\cdots ,{\mathbf{x}}_{n_i}^{\pi })$为第$i$条决策轨线，它的长度为$n_i$，则式(16.97)中的期望可用平均来近似，即
$$\begin{array}{rl}{\overline{\mathbf{x}}}^{\pi }& \approx \mathbb{E}\left[\sum _{t=0}^n{\gamma }^t{\mathbf{x}}_t\right]\text{（足够大的n）}\\ & \approx \frac{1}{m}\sum _{i=1}^m\sum _{t=0}^{n_i}{\gamma }^t{\mathbf{x}}_t^{\pi }\end{array}\text{\hspace{1em}(16.98)}$$

我们把问题转化为：借助人类专家决策的范例，求式(16.95)中“真实”的$w^{\ast }$及以对应的最优策略${\pi }_{w^{\ast }}^{\ast }$。

将人类专家的策略记为$e$，并视它为最优策略${\pi }_{w^{\ast }}^{\ast }$的近似（即假定：基于${\mathbf{w}}^{\ast }$人类专家$e$具有最优性）。 虽然不知道$e$是什么样，但已收集到它的一些轨线（范例集） { τ i e } i = 1 m \{\tau^{e} _i\}_{i=1}^m {τie​}i=1m​，则
对应于式(16.96)、式(16.98)有
$$\begin{array}{rl}{\rho }_{\mathbf{w}}^e& ={\mathbf{w}}^{\mathrm{T}}{\overline{\mathbf{x}}}^e\\ {\overline{\mathbf{x}}}^e& =\frac{1}{m}\sum _{i=1}^m\sum _{t=0}^{n_i}{\gamma }^t{\mathbf{x}}_t^e\end{array}\text{\hspace{1em}(16.99)(16.100)}$$

再比较机器策略$\pi$与人类专家策略$e$二者间的奖赏，差距为
$$\begin{array}{rl}{\rho }_{\mathbf{w}}^e-{\rho }_{\mathbf{w}}^{\pi }& ={\mathbf{w}}^{\mathrm{T}}({\overline{\mathbf{x}}}^e-{\overline{\mathbf{x}}}^{\pi })\end{array}\text{\hspace{1em}(16.101)}$$
其中，特征向量${\overline{\mathbf{x}}}^e,{\overline{\mathbf{x}}}^{\pi }$分别为式(16.100)、式(16.98)。
另外，式中右侧的$({\overline{\mathbf{x}}}^e-{\overline{\mathbf{x}}}^{\pi })$不视为$\mathbf{w}$的函数。

（1）给定${\mathbf{w}}_0$，对其进行一次改进，分三步：

1.给定${\mathbf{w}}_0$，按“有模型”（$E=⟨X,A,P,R⟩,R(\mathbf{x})={\mathbf{w}}_0^{\mathrm{T}}\mathbf{x}$）方式进行训练，得到最优解${\pi }_{\mathbf{w}}^{\ast }$，
记为${\pi }^{\prime }$；

2.由策略${\pi }^{\prime }$，进行蒙特卡罗采样，按式(16.98)产生对应的特征向量${\overline{\mathbf{x}}}^{{\pi }^{\prime }}$；

3.对于已有$e,{\pi }^{\prime }$而言，再“逆”过来看：应该如何改进$\mathbf{w}$？就是尽力寻找“真实”的${\mathbf{w}}^{\ast }$。

由于“基于${\mathbf{w}}^{\ast }$人类专家$e$具有最优性”，即$e$获得的奖赏最大，因此，${\mathbf{w}}^{\ast }$应能最大化奖赏的差距，即最大化间隔（类似SVM时的理念）
$$\begin{array}{rl}{\mathbf{w}}^{\ast }& =\underset{\mathbf{w}}{\mathrm{argmax}}({\rho }_{\mathbf{w}}^e-{\rho }_{\mathbf{w}}^{{\pi }^{\prime }})\\ & =\underset{\mathbf{w}}{\mathrm{argmax}}{\mathbf{w}}^{\mathrm{T}}({\overline{\mathbf{x}}}^e-{\overline{\mathbf{x}}}^{{\pi }^{\prime }})\text{（由式(16.101)）}\end{array}\text{\hspace{1em}(16.102)}$$

由式(16.102)，本次训练$\mathbf{w}$的目标为
$$\begin{array}{rl}& \underset{\mathbf{w}}{\max }{\mathbf{w}}^{\mathrm{T}}({\overline{\mathbf{x}}}^e-{\overline{\mathbf{x}}}^{{\pi }^{\prime }})\\ & s.t.||\mathbf{w}||⩽1\end{array}\text{\hspace{1em}(16.103)}$$
由此即得到优化的${\mathbf{w}}^{\ast }$。

（2）现在考虑有$j$个进程同时并发地按（1）进行训练：第$i$个进程给定的$\mathbf{w}$为${\mathbf{w}}_{i-1}$（错开一位$i-1$是为了与式(16.107)对应），对其改进，得到的${\mathbf{w}}^{\ast }$记为${\mathbf{w}}_i^{\ast }$，训练出的${\pi }^{\prime }$记为${\pi }_i$，对应的特征向量${\overline{\mathbf{x}}}^{{\pi }_i}$记为${\overline{\mathbf{x}}}_i$，由式(16.103)，则有一组目标
$$\begin{array}{rl}& \underset{\mathbf{w}}{\max }{\mathbf{w}}^{\mathrm{T}}({\overline{\mathbf{x}}}^e-{\overline{\mathbf{x}}}_i)\\ & s.t.||\mathbf{w}||⩽1,i=1,2,\cdots ,j\end{array}\text{\hspace{1em}(16.104)}$$
其中，${\overline{\mathbf{x}}}_i$是第$i$个进程按（1）的步骤1、2，由给定的${\mathbf{w}}_{i-1}$得到。

然而，各${\mathbf{w}}_i^{\ast }$并不相同，如何将它们“合成”一个呢？办法是在它们训练过程中（而不是训练之后）采取“互相牵就”而达到一种平衡，即有一个总控，它“力图”使这些目标同时满足，这即是多目标优化，如图 16.13所示。

由多目标优化理论，在一定的条件下（假设满足该条件），多目标式(16.104)可以转化为单目标（一个优化式）
max ⁡ w min ⁡ i ∈ { 1 , 2 , ⋯   , j } w T ( x ‾ e − x ‾ i )   s . t . ∣ ∣ w ∣ ∣ ⩽ 1 \begin{align} & \mathop{\max}\limits_{\boldsymbol{w}}\mathop{\min}\limits_{i\in \{1,2,\cdots,j\}}\boldsymbol{w}^{\mathrm{T}}(\overline{\boldsymbol{x}}^e-\overline{\boldsymbol{x}}_i) \tag{16.105} \\ & \ \mathrm{s.t.}\qquad ||\boldsymbol{w}||\leqslant 1 \notag \end{align} ​wmax​i∈{1,2,⋯,j}min​wT(xe−xi​) s.t.∣∣w∣∣⩽1​(16.105)​
观察式(16.105)知，它只需要一个特征向量集 X ‾ = { x ‾ i } i = 1 j \overline{\boldsymbol{X}}=\{\overline{\boldsymbol{x}}_i\}_{i=1}^j X={xi​}i=1j​即可（从$\min$号下的约束即可知），
产生的最优解为
$$\begin{array}{rl}& {\mathbf{w}}^{\ast }=\underset{\mathbf{w}}{\mathrm{argmax}}\underset{{\overline{\mathbf{x}}}_i\in \overline{\mathbf{X}}}{\min }{\mathbf{w}}^{\mathrm{T}}({\overline{\mathbf{x}}}^e-{\overline{\mathbf{x}}}_i)\\ & s.t.||\mathbf{w}||⩽1\end{array}\text{\hspace{1em}(16.106)}$$

（3）递进地改进$\mathbf{w}$

逐步改进的$\mathbf{w}$形成一个序列
$$\begin{array}{r}({\mathbf{w}}_0,{\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_{j-1},\cdots )\end{array}\text{\hspace{1em}(16.107)}$$
设当前已有该序列的前$j$项：基于这$j$个${\mathbf{w}}_i$依（2）的方法产生一个新的最优解${\mathbf{w}}^{\ast }$（即由式(16.106)所得），它作为第$j+1$个，记为${\mathbf{w}}_j$。 对于这个${\mathbf{w}}_j$，依（1）的第1步产生${\pi }^{\prime }$，记为${\pi }_{j+1}$；依（1）的第2步产生对应的特征向量${\overline{\mathbf{x}}}^{{\pi }^{\prime }}$，记为${\overline{\mathbf{x}}}_{j+1}$，将其加入到特征向量集$\overline{\mathbf{X}}$中，又可依（2）的式(16.106)产生新的${\mathbf{w}}^{\ast }$（第$j+2$个），这就形成了递进地改进$\mathbf{w}$，也即由$\mathbf{w}$与$\pi$交替迭代。 如图 16.14 所示。

又由式(16.106)，得到结束条件为：给定阈值$ϵ$，当满足如下条件时停机：
$$\begin{array}{rl}& \underset{\mathbf{w}}{\max }\underset{{\overline{\mathbf{x}}}_i\in \overline{\mathbf{X}}}{\min }{\mathbf{w}}^{\mathrm{T}}({\overline{\mathbf{x}}}^e-{\overline{\mathbf{x}}}_i)<ϵ\end{array}\text{\hspace{1em}(16.108)}$$

综上，可得交替迭代算法：

1.由人类专家决策的范例集，计算人类专家策略的特征向量${\overline{\mathbf{x}}}^e$；

2.初始化交替迭代的起点：$j=1$，任取${\mathbf{w}}_0$按（1）的第1步训练出${\pi }_1$（或直接取随机策略作为${\pi }_1$），再由${\pi }_1$得到其特征向量${\overline{\mathbf{x}}}_1$，即（1）的第2步，由此初始化特征向量集 X ‾ = { x ‾ 1 } \overline{\boldsymbol{X}}=\{\overline{\boldsymbol{x}}_1\} X={x1​}；

3.利用已知特征向量集$\overline{\mathbf{X}}$，训练${\mathbf{w}}_j$，即式(16.106)；

4.由${\mathbf{w}}_j$按（1）的第1步训练出${\pi }_{j+1}$；

5.由${\pi }_{j+1}$按（1）的第2步，通过蒙特卡罗采样求出其特征向量${\overline{\mathbf{x}}}_{j+1}$，并将其加入到特征向量集，即 X ‾ = X ‾ ∪ { x ‾ j + 1 } \overline{\boldsymbol{X}}=\overline{\boldsymbol{X}}\cup \{\overline{\boldsymbol{x}}_{j+1}\} X=X∪{xj+1​}；

6.判断是否结束：若满足式(16.108)，则结束算法并返回最新的结果，即${\mathbf{w}}_j$和${\pi }_{j+1}$；

7.递进：$j=j+1$，回到第3步继续迭代。

算法中还用到了“利用-探索”技术，其中，第3步即为“利用”，第4-5步即为“探索”。

这即为迭代式逆强化学习算法【西瓜书图16.15】。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：16.11 直接模仿学习
下一篇：1、向量与矩阵