ECMWF：资料同化还是机器学习？

这是ECMWF春季报告中的一篇文章，主要讨论了目前资料同化(DA)和现代的ML/DL间的基础理论等价问题，并提供了一些示例，以说明如何在NWP工作流程中应用ML/DL，从而扩展当前DA方法的能力，得到更好的分析和预测。

2018年，Abarbabel等讨论过DA和ML间的等价关系。今年年初，在《Philosophical Transactions of the Royal Society A》面向天气和气候建模的机器学习专刊中 Geer 也就DA和ML间的关系进行了探讨，并在贝叶斯框架的基础上，实现了DA和ML的等价。想要深入了解DA和ML的等价问题讨论，可以详细阅读这两篇文章。

由于数据量和相应的算力的增加，以及更高效算法的进步，近些年ML/DL在很多领域得到了突飞猛进的发展。尽管在地球科学领域，尤其是数值天气预报和气候预报方面，ML/DL发展较为缓慢，但领域内相关研究者已表现出浓厚的兴趣。

地球科学领域研究者对ML/DL的兴趣主要是以下方面：

• 观测：当前及未来大量可用的高时空分辨率的卫星观测以及新的观测系统（比如所谓万物互联的物联网）的出现对目前的处理技术以及有效利用新的信息源的能力提出了新的挑战。ML/DL是克服这些挑战的非常有用的工具，比如在观测质量控制、观测偏差订正、高效的观测算子的开发方面。
• 资料同化：DA是将最新的观测和短期预测进行融合以获取地球系统当前状态可能的最佳估计。这是因为这些方法通常可以认为是贝叶斯估计问题，它使用了与变分数据同化中类似的方法工具。 ECMWF 2021-2030的十年规划中指出，因为这两个领域共享一个共同的理论基础，并使用类似的计算工具，4D-Var资料同化将从整合机器学习技术中受益。 目前资料同化领域广泛应用的技术（比如模式误差估计、模式参数估计、变分偏差校正）是一类有效的ML算法。 当下的问题是，NWP和气候预测能从ML/DL社区的方法和实践中学习到什么呢？我们如何无缝发展已在NWP/气候预测工作流程中使用的ML/DL技术，并将新的想法集成到当前的资料同化实践中？

机器学习：资料同化的一种形式

资料同化和机器学习的目的都是利用观测了解世界。在传统天气预报中，我们假设已有地球系统的准确可靠的物理模式，而初始条件是最大的未知项。而机器学习中物理特性是未知的，旨在直接从观测中学习经验模型。贝叶斯理论为这两个领域提供了如何从观测中耦合信息的理论基础。

图1 机器学习和资料同化可视作贝叶斯网络

圆圈表示概率变量, 箭头表示依赖关系

在资料同化中，表示地球系统的物理模式和观测前向模式，

在机器学习中，表示神经网络

传统资料同化是贝叶斯逆问题(inverse problem)，即保持模式参数 w 不变，从观测 y 中估计大气的地球物理状态 x。训练神经网络也是贝叶斯逆问题，即利用特征 x 和标签 y 的大量数据集估计神经网络的权重 w。

在资料同化中，图1中的箭头表示预报模式和观测算子的行为，即取得地球系统的模式状态 x 、物理模式的参数 w 和 观测的估计 y 。通过对比估计的观测和真实的观测，资料同化可以发现对初始条件 x 更好的估计。IFS中并没有同时去改善模式的参数 w ，但已经在 4D-Var 中通过弱限制项改善一些参数。

资料同化和机器学习都是通过最小化代价函数发现 x 或/和 w 的最优值。机器学习通常是通过反向传播(back-propagation)最小化代价函数。而资料同化中则是通过使用预报模式和观测算子的伴随来计算代价函数的梯度。机器学习和变分资料同化存在数学等价性。

资料同化的最大优势是可以从先验知识中加入约束，比如大气物理状态，从而得到比仅从观测中学习更准确的结果。物理限制的机器学习正快速发展，但我们可能会疑惑是否最后会重塑(re-invent)资料同化。机器学习的优势是在缺乏或没有物理知识约束解的情况下运行。在应用于天气预报的资料同化方面，明显需要机器学习的地方也是因为缺乏物理知识。

第二种情况是，我们对于物理系统的方程有足够的信息，但是对于其中的一些参数可能了解不足，而且这些参数在精细尺度上可能存在地理差异，比如边界层湍流方案中的粗糙度(roughness length)。这在目前已有的资料同化框架中使用参数估计可能更好。机器学习的另一个最大的用处并不是替换模式，而是替换模式中计算代价大的模块，以加速模式运行。

模式误差估计和订正

初始条件不确定性是改善天气和气候预测可靠性和准确性最主要的障碍之一。尽管ECMWF在降低模式误差方面取得了不错的进展，但仍会存在残差。目前，利用弱限制4D-Var估计和订正模式误差可能是一种有效方法。在资料同化的每一个周期中，弱限制4D-Var通过如下两种方式优化短临预报轨迹和观测的拟合：

• 适当的改变初始条件(类似强约束4D-Var)；
• 合理的调整模式方程中的强迫项订正同化窗口中的模式偏差；

近来，已经开始调查利用人工神经网络(Artificial Neural Networks, ANNs)预测分析增量。这些增量的系统分量可以视作同化窗口中模式误差累积的另一种估计。目前已有研究利用机器学习进行模式误差订正，如图2。

图2 ANN和弱限制4D-Var估计的平均温度模式误差订正纬向剖面

弱限制的4D-Var是统计估计技术的在线示例，在每一个同化窗口后更新模式误差订正。而当前的ANN方法是在观测同化之前计算静态订正数据集，正在研究如何在4D-Var中在线应用ANN方法。在此场景中，将在每一个同化窗口应用神经网络到真实的初猜轨迹，而不是采用离线的方式应用到预先计算的初猜轨迹。

模式参数估计

模式参数估计是为了让模式能够产生与观测更接近的预测。从这一视角来看，参数估计技术可视为机器学习技术。作为资料同化技术的一部分，估计模式参数的研究相对较少。在此框架中，利用当前的信息和过去累积的参数知识可以在每一次资料同化周期中对参数进行重新估计。

图3 (a) 欧洲 (b) 亚洲 4D-Var想要增加(红)或减少(蓝)的拖拽

几年前，ECMWF 在 IFS 4D-Var中估计太阳常数，这是一个由卫星观测间接约束的模型参数。目前，ECMWF正在通过优化次网格尺度地形参数化中的次网格尺度标准差参数来测试这一想法(图3)。下一步，将尝试直接优化次网格尺度地形参数化的参数，而不是次网格地形的标准差。这个参数估计步骤既可以使用机器学习技术离线执行，也可以直接在4D-Var最小化中执行。

观测偏差订正

观测偏差订正是机器学习一个很好的应用。如果我们知道偏差的物理解释，就可以在观测算子或预报模式的源头进行订正，但是很难发现模拟结果和真实观测间偏差的物理解释，因此，通常使用经验模型进行订正，比如IFS的变分偏差订正(variational bias correction, VarBC)，但当前仅适用于线性偏差模型。

对于完全非线性经验拟合，神经网络或许是一个好的选择。但尚未在VarBC中测试神经网络作为偏差模型。在针对特殊传感器微波成像仪/探测器的太阳依赖偏差校正中，ML和VarBC有各自的优势。

从多线性回归到完全非线性的经验模型仅是VarBC一种可能的演变。这并不是资料同化和机器学习的二选一。真正的问题可能更偏技术：是否4D-Var的求解器能够拟合嵌入在4D-Var中的神经网络；如何控制经验拟合的形态，让更多有用的观测信息进入到大气状态分析而非偏差模型；如何限制偏差模型随时间的演化。这些问题对于资料同化或机器学习来说同样重要。

前景

从资料同化视角来说，ML/DL并不是全新的想法。机器学习与变分资料同化的标准工作流程有很多共同之处，尽管这些相似之处往往被两个领域不同的命名所混淆。这些相似之处使得从概念上很容易将标准的ML/DL整合到4D-Var中。在数值天气预报的整个工作流程中有很多可以应用的地方。由于资料同化和机器学习存在很多交叉点，因此，加强学术界之间的合作对于加速相关研究的发展及确保相关研究的质量至关重要。

ML/DL的迅猛发展以及可用的地球系统观测的日益增长，让我们重新审视基于数据驱动的方法来改善/订正基于知识的模式。要谨记，这些工具可以作为基于物理模式的额外补充，但无法完全替代物理模式。

参考链接

1. Abarbanel H D I, Rozdeba P J, Shirman S. Machine learning: Deepest learning as statistical data assimilation problems[J]. Neural computation, 2018, 30(8): 2025-2055.

2. Geer A J. Learning earth system models from observations: machine learning or data assimilation?[J]. Philosophical Transactions of the Royal Society A, 2021, 379(2194): 20200089.

以上内容是根据原文和个人理解进行的编译，内容有所删减，如有不妥之处敬请指正。

—END—