以自动储备池学习机器实现高维场景预测，陈洛南/刘锐团队合作研究登Nature子刊

机器之心专栏

机器之心编辑部

在实际应用中，仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了更大的挑战。所以，在本文中，研究者们提出了一种新型 ARNN 框架，它能够把高维空间数据映射到目标变量的未来时间信息，使得通过高维短序列时间序列数据的预测成为可能。

2020 年 9 月 11 日，国际学术期刊《Nature Communications》发表了中国科学院生物化学与细胞生物学研究所陈洛南（Luonan Chen）研究组与华南理工大学刘锐（Rui Liu）团队合著的新论文《Autoreservoir Computing for Multistep Ahead Prediction Based on the Spatiotemporal Information Transformation》，其中他们提出了基于空时信息变换的自动储备池方法及时间序列预测方法。该研究使得通过高维短序列时间序列数据的预测成为可能。

论文链接：https://www.nature.com/articles/s41467-020-18381-0

具体来讲，该成果建立了基于非线性动力学的空时信息变换理论与具有对称结构的自动储备池计算框架（Auto-Reservoir Neural Network, ARNN），基于 ARNN 的一对共轭空时信息变换方程组将高维空间信息转化成某个目标变量的时间信息，求解该方程组能获得目标变量的未来信息（如下图 1 所示）。

图 1. 时空转换方程与自动储备池（储层）的计算框架。

该研究的参与者包括中国科学院陈洛南教授、华南理工大学刘锐教授和陈培博士，以及东京大学 Kazuyuki Aihara 教授。

ARNN 框架概述

在时间序列分析中，一般认为在获得低维系统的大量长时间序列数据后，系统的重构或者预测是可行的，这也是传统机器学习方法得以通过大量样本进行学习和训练的前提。

然而，在很多实际应用中，仅能采集到短时序列数据（如临床数据），系统也通常具有高度的时变性（如天气数据）。因此，仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了挑战。

该研究提出的 ARNN 框架直接将观测到的高维动态信息转化为储层（即），把高维空间数据映射到目标变量的未来时间信息，有如下的 ARNN 共轭方程（或图 1c 中方程的向量形式）

其中 F 是非线性矢量函数，即多层神经网络，

通过同时求解 ARNN 共轭方程 Eq. (1)，可以得到未知的权重矩阵 A 和 B ，以及目标变量 y 的未来信息

（如图 1b 中矩阵 Y 的红色部分），从而实现了精确、快速、多步地预测目标变量的未来信息。这里 y^t 可以是高维观测变量中的任何一个，如 

;  L-1 是预测步长；D 是观测变量的个数；m 是观测数据点的个数。

有趣的是，该计算框架具有类 Autoencoder（信息流 X^t → Y^t →  X^t ）的结构，即 ARNN 的信息流方向是：

（ARNN 把

编码成为 Y^t ，再将 Y^t 解码成为

，如图 2 所示）。

其次，ARNN 共轭方程中的主方程可以写成传统的 Reservoir computing 形式

其中

符号 “ ' ” 代表对向量的转置。

显然，所要预测的未来信息是通过同时求解空时信息转换方程 Eq. (1) 得到的，在满足

和 D>L 的情况下，Eq. (1) 是一个超定方程组，可以通过一种最小二乘法对权重矩阵反复更新从而进行求解。

另外，由于多层神经网络的权重是随机给定并固定的，不需要对大量的参数进行训练，因此 ARNN 具有快速、耗费资源较少的优势。

图 2. ARNN 具有类 Autoencoder 的框架

ARNN 框架的应用

ARNN 成功地应用于一系列高维的实际场景（如下图 3），成功地对气象指数进行了预测（包括风速、日照强度、温度、气压和台风风眼位置等），对与节律有关的基因表达值进行了预测、对实时记录的交通流量等进行了预测。

以下是 ARNN 框架预测交通流量的动态示意图：

以下是 ARNN 框架预测台风眼的动态示意图：

这些应用表明，ARNN 在数据受噪声干扰和系统时变的情况下，均能表现出良好的多步预测性能。

该研究从数学上解释了储层计算的动力学机理，这种 ARNN 变换等价地扩大了样本量，解决了传统机器学习算法面对单个短时序列数据时遇到的过拟合问题，因此，该计算方法在人工智能和机器学习等领域具有很大的实际应用潜力。

图 3. 自动储备池方法（ARNN）在某些实际场景的预测应用

如何根据任务需求搭配恰当类型的数据库？

在AWS推出的白皮书《进入专用数据库时代》中，介绍了8种数据库类型：关系、键值、文档、内存中、关系图、时间序列、分类账、领域宽列，并逐一分析了每种类型的优势、挑战与主要使用案例。

点击阅读原文或识别二维码，申请免费获取白皮书。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com