Deep leanring and process understanding for data-driven Earth system science 

人类总是努力预测和了解世界，在不同的环境(如天气、疾病或金融市场)中，更好的预测能力可以在不同环境中获得了竞争优势。然而，随着时间推移，预测工具已经发生了很大的变化，从古希腊的哲学推理到非科学的中世纪方法，比如对现代科学话语的解释，这些方法已经出现在统计和物理关系的基础上，包括假设测试、理论开发和计算机建模，即定理。在地球科学中，一个成功的故事是天气预报，通过更好的理论、提高计算能力、建立的观测系统的整合，大大提高了天气预测的准确率，同时会将大量的数据同化到建模系统中。然而，我们可以准确地预测天气的演变时间，而不是几个月。季节性气象预测，预测诸如洪水或火灾等极端事件，长期气候预测仍然是主要挑战。这一点尤其适用于预测生物圈的动力学，生物圈是由生物介导的过程，如生长或繁殖所主导的，并受到看似随机的干扰，如火灾和山体滑坡的强烈控制。在过去的几十年里，这种预测问题没有取得什么进展。

与此同时，地球系统数据的大量数据已经可用，存储容量已经远远超过几十PB，传输速率也在迅速增加，每天的传输速率超过数百TB。这些数据来自大量的传感器，测量状态、通量和密集或时间/空间积分变量，代表更多的时间和空间量级。它们包括在地球上空几米至数百公里的遥感，以及在地表和地下以及在大气层的现场观测(越来越多地使用自主传感器)，其中许多正在进一步得到科学观测的补充。模型模拟的输出增加了数据量;气候模型相互比较项目的CMIP-5数据集广泛用于定期气候评估的科学基础，其大小超过3PB，而下一代CMIP-6数据集估计将达到30PB。来自模型的数据与观测数据的许多挑战和统计特性相同，包括许多形式的不确定性。总之，地球系统数据是“大数据”四个V的典型:体积、速度、多样性和准确性(见图1)。一个关键的挑战是从大数据中提取可解释的信息和知识，可能几乎是实时的并在各学科之间进行整合。

结合起来，我们收集和创建数据的能力远远超过了我们吸收它的能力，更不用说理解它了。过去几十年的预测能力并没有增加数据的可用性。为了充分利用地球系统数据的快速增长和多样性，我们将在未来几年面对两项主要任务:(1)从海量数据中提取知识，(2)从数据中获取更多的数据，而不是传统的数据同化方法，同时还尊重我们对自然规律的不断了解。

数据来源的结合，计算能力的增加，以及最近统计模型和机器学习的进步，为我们从数据中扩展对地球系统的知识提供了令人兴奋的新机会。特别是机器学习和人工智能的领域可以获得许多工具，但它们需要进一步开发和适应地球科学分析。地球系统科学提供了新的机会、挑战和方法要求，特别是最近的研究线关注的是时空环境和不确定性。

在以下几节中，我们回顾了在地理科学背景下机器学习的发展，并强调了深度学习中时空特征的自动提取，有可能克服许多应用场景的限制。我们进一步展示了最具希望但也具有挑战性的方法，将机器学习与物理建模相结合。

State-of-the-art geoscientific machine learning

机器学习现在已经是几个研究驱动和地球科学处理方案的成功部分，它处理了大气、陆地表面和海洋，并与过去10年的数据可用性共同发展。近30年前，在高分辨率卫星数据和神经网络的首次复兴的巧合下，土地覆盖和云层分类的早期代表性工作出现。通常当适合相关方法的数据可用时，大多数主要的机器学习方法(例如，核方法或“随机森林”)被应用于地球科学和遥感问题。因此，机器学习已经成为地球科学分类、变化和异常检测问题的普遍方法。在过去的几年里，地球科学已经开始使用深度学习来更好地利用数据中的空间和时间结构，这些特征通常用传统机器学习提取(见表1)是有问题的。

另一类机器学习问题是回归。一个例子是土壤测绘，其中土壤性质和协变量的测量在空间中稀疏地按照点分布，随机森林方法可用于预测空间密度的土壤性质或土壤类型的估计。在过去的十年里，从局部和全局尺度上的遥感反射，机器学习在生物物理参数的回归估计中取得了显著的结果。这些方法强调了空间预测，即预测在观测时间周期中相对静态的性质。

然而，让地球系统有趣的是它不是静态的，而是动态的。机器学习回归技术也被用来研究这些动态，通过在陆地、海洋和大气域上的时间变化特征映射到变化的目标变量来学习这些变化。由于在任何地方都不能观察到陆地大气或海洋大气的环境，因此，一个挑战是从点观察中推断出大陆或全球的估计，通过将气候和遥感共同变化与目标变量联系起来的模型。在这种情况下，机器学习方法比以前的机械或半经验模型更强大、更灵活。例如，一个带有一个隐藏层的人工神经网络能够过滤出噪音，预测二氧化碳(CO2)通量的日和季节变化，并在根系生长过程中提取如春季呼吸增加的形式，这些模式以前在碳循环模型中是未量化的。然后，我们能够在纯粹数据驱动的道路上进一步量化全球陆地光合作用和水的蒸发。这种机器学习预测的通量的空间、季节、年或十年的变化被用作物理地表和气候模型评价的重要基准。同样地，海洋二氧化碳浓度和通量已经与神经网络进行了时空映射，分类和回归方法已经结合在一起用于数据分层和预测。近年来，随机森林法也被用于预测时空变化降水。总的来说，有影响力的机器学习方法的多样性已经应用于地球系统科学的所有主要子领域，越来越多地融入操作方案，并被用来发现模式，以提高我们的理解和评估综合物理模型。

尽管机器学习在地球科学中取得了成功，但重要警告和限制阻碍了更广泛的应用和影响。一些问题需要通过最佳实践和专家干预来避免，比如简单的插值、抽样或其他数据偏差的风险，对混淆因素的无知，作为因果关系的统计关联的解释，或多假设测试的基本缺陷。从根本上说，目前应用的机器学习方法存在固有的局限性。深度学习在这方面需要进行突破。

经典的机器学习方法提取特定领域的、手工制作的特征，以解释时间或空间的依赖关系(例如，从每天的时间序列中产生的累积降雨量)，但很少充分利用时空依赖。例如，在海洋-大气或陆地大气中的二氧化碳通量预测、瞬时映射、局部环境条件(如辐射、温度和湿度)到瞬时通量。在现实中，在时间和空间的某一点上的过程几乎总是被系统的状态所影响，通常没有观测值，因此不能作为预测器。然而，之前的时间步骤和相邻的网格数据包含了系统状态的隐藏信息(例如，长时间没有降雨，加上持续的晴天意味着干旱)。空间和时间背景都高度相关的一个例子是对火灾发生预测，以及痕量气体排放。火灾发生和扩散不仅取决于瞬时气候驱动因素和点火的来源(如人类、闪电或两者)，而且取决于状态变量，如可用燃料的状态和数量。火势蔓延及燃烧的区域不仅取决于每个像素的局部条件，还取决于燃料的空间安排和连通性、水分、地形属性、风速和风向。类似地，将某大气状况分类为飓风或温带风暴需要空间背景知识，如由像素构成的风暴几何形状、数值和拓扑结构。例如，探测对称流出和观测数据对于探测飓风和评估它们的强度很重要，因为不能仅通过局部的、单像素的值来确定。

时间动态属性(“内存效应”)可以用机器学习中的手工设计和领域特有特征来表示。例如每天温度的累积量用于预测植被物候阶段，以及标准化的降水指数，总结了过去几个月降水异常作为干旱状态的气象指标。尽管存在异常，通常这些方法只会在一个变量中考虑内存，忽略几个变量的交互影响。

机器学习还可以使用手工设计的特征，比如地形形状和卫星图像中的地形或纹理特征，来表示空间信息。这与早期的计算机视觉方法类似，物体通常由一组描述边缘、纹理、形状和颜色的特征来表征。然后这些特征被输入标准的机器学习算法，用于定位、分类或检测图像中的目标。遥感图像分类中也出现了类似的方法。手工设计特征同时具有优点(解释驱动的控制)和缺点(乏味的、流程化的，可能并非最优解)，但与使用一个限制和主观选择的特征相比，广泛的、通用的方法仍然是有效和重要的。然而，深度学习的新发展不再限制我们采取这种方法。

Deep learning opportunities in Earth system science

深度学习在序列数据建模和空间数据领域取得了显著的成功，例如计算机视觉、语音识别、控制系统，以及物理、化学、生物等相关科学领域。在地球科学中的应用处于初级阶段，但在关键问题上依然有很好的例子（分类、异常检测、回归、时空状态预测）。近期的两项研究证明了深度学习在极端天气问题上的应用，例如飓风探测，这对于传统的机器学习来说是比较困难的。这些工作应用深度学习框架来客观地提取空间特征，来定义和分类数值天气预报输出的极端情况（例如风暴、大气河流）。这种方法能够快速检测此类事件并进行预测模拟，而无需使用主观的人工注释或依赖于风速或其他变量预定义的任意阈值的方法。具体来说，这种方法在事件的空间形状中使用信息，比如典型的飓风螺旋。类似地，对于城市地区的分类问题，这些方法能够从遥感数据中自动提取多尺度特征，大大提高了分类精度(几乎总是大于95%)。

虽然深度学习方法被分类为空间学习(例如，基于卷积神经网络的目标检测)和序列学习(例如，语音识别)，但近期有很多研究把这两个角度混合在一起。典型的例子是视频和运动预测，这类问题与许多动态的地球科学问题有惊人的相似之处。我们面临着具有时间变化的多维结构，如有组织的降雨量转化，控制了热带降雨的主导模式，以及影响碳流的植被状态。研究工作开始将CNN和RNN结合，应用于复杂的地球科学问题，如降雨量预测。在模拟大气和海洋对流，火灾传播，土壤运动或植被动力学等问题中，时空动态过程都非常重要，但这些问题在应用这些新方法后依然没有较高的受益。

简而言之，经典深度学习应用中的数据和地球科学数据之间相似性，为深度学习与地球科学的融合提供了令人信服的证据，如下图所示。图像类似于包含特定变量的二维数组，类似于照片中多通道数据(RGB值)，而视频可以看成是系列图像，因此可以看做随时间变化的二维数组。同样，自然语言、语音信号与地球系统变量的动态时间序列具有相同的多分辨率特征。此外，分类、回归、异常检测和动态建模是计算机视觉和地球科学中的典型问题。

Deep learning challenges in Earth system science

经典深度学习应用与上面概述的地理科学应用之间的相似点非常引人注目，但是它们之间仍存在着许多差异。例如，经典计算机视觉处理的数据有三个通道(红色、绿色、蓝色)，高光谱卫星图像延伸到数百个光谱通道，远远超出了可见光范围，这通常会将不同的统计属性引入到自然图像中。这包括变量的空间依赖和相互依赖，违反了相同的、独立分布的数据假设。此外，集成多传感器数据并不简单，因为不同的传感器展示了不同的成像几何图形、空间和时间分辨率、物理意义、内容和统计信息。卫星观测序列(多传感器)也有不同的噪声源、不确定度、缺失数据(系统原因造成的)和间隙(由于云或雪的存在，采集、储存和传输中的扭曲，等其它原因)。

此外，光谱、空间和时间维度对计算性能也提出了挑战。数据量在不断增加，很快就需要在全球范围内每天处理PB级别。目前，最大的气象机构每天都要近实时地处理TB级别数据，精度通常非常高(32-bit、64-bit)。此外，典型的计算机视觉处理的图像大小为512×512像素，而中等分辨率(约1公里)的全球区域大小约为40000×20000像素，也就是3个数量级的倍数。

最后，与ImageNet（人工标注的数据集，标签比如猫或者狗）不同的，大型标注的地球科学数据集在地球学科中是不存在的，不仅仅是因为数据集的大小，还因为在标注数据时概念上的困难；例如，确定一张图像中是否包含一只猫要比是否反映了干旱要更容易，干旱是由程度和范围相对评估得到的，并可以根据收集和分析数据的方法进行变化，而且没有足够的样例数据来训练机器学习模型。除了有限的训练集挑战外，地球科学的问题通常被低估，导致模型被认为是高质量的模型，这种模型是指在训练集、甚至测试集效果表现良好，但是在其有效领域之外的数据偏差非常大。总之，针对地球科学与深度学习的结合，我们识别了如下五个主要挑战和途径：

1. 可解释性，interpretability

   提高预测精度固然重要，但是仍然不够，可解释性和理解也是非常重要的，包括可供人们分析的结果可视化。可解释性被认为是深度神经网络的一个潜在弱点，实现它是当前深度学习的重点。这个领域还远未达到自我解释的模型，也没能够从观测数据中找到因果关系。然而我们应该注意到，由于现代地球系统的复杂性，它们的模型也不容易追溯到物理过程的假设，这也限制了它们的可解释性。
   

2. 物理一致性，physical consistency

   深度学习模型可以很好地匹配观察结果，但预测可能在物理上不一致或不可信，例如，由于观测或者外推而导致的偏差。通过给模型中加入地球系统的物理规则可以整合领域知识并达到物理一致性，这个可以在观测数据的基础上提供很强的理论约束。

3. 复杂和不确定的数据，complex and uncertain data

   深度学习方法需要处理复杂统计、多输出、不同噪声源、高维空间。新的网络结构不仅需要利用局部临近信息（甚至不同尺度），而且还需要考虑长距离的关系（例如，大气遥相关），但是变量之间精准的因果关系并不是提前就清楚地，并且需要发现。对不确定性建模肯定是一个非常重要的方面，并且需要贝叶斯/概率推理的概念来进行整合，最终直接的表达出这些不确定性。

4. 有限的标注，limited labels

   深度学习方法需要从少量标注数据中学习，同时利用相关为标注数据中的丰富信息。这些方法包括无监督密度建模、特征提取、半监督学习和领域迁移

5. 算力需求，computational demand

   对于当前地球科学的高算力消耗是一个巨大的技术挑战，一个很好的例子是如何利用谷歌地球引擎来处理实际问题，预计在未来从砍伐森林到湖泊监测都期望能够用深度学习的方法来解决。

Integration with physical modelling

历史上，物理建模和机器学习被认为是两个不同的领域，有着不同的科学范式(theory-driven 与 data-driven)。然而这些方法实际上是互补的，物理方法原则上是可以直接解释的并且可以在观察条件之外提供外推的潜力，而数据驱动的方法可以高度适应数据并且可以发现意想不到的模式。两种方法之间的协同作用已经得到很多研究的关注，表现在基准制定和如紧急制约等概念上。  

本文认为机器学习中的进步，以及地球科学中观测和模拟能力的进步，提供了一个机会利用多种密集方法来整合仿真和数据科学。从系统建模的角度来看有5个潜在的协同作用，如图3中的序号所示。

1. Improving parameterizations

   如圈1所示，物理模型需要参数，但许多参数很难从第一原则得到。机器学习可以学习参数以最优描述真实值，这些真实值可以从详细的、高分辨率模型中观察或生成。例如，在地球系统模型中，将植被参数分配给植物功能类型(在大多数全球陆地表面模型中是一个常见的特殊决定)，这些参数可以从适当的统计协变量中学习，允许它们更加动态、相互依赖和与上下文相关。在水文研究中已经有一种原型方法(例如，降水和地表斜率)将环境变量映射到流域参数(如平均、最小和最大流流)，模型是从几千个流域数据中进行学习，并在该水文模型可以应用到全球范围。另一个来自全球大气模型的例子是学习了产生的沉淀对流的有效的粗尺度物理参数(例如，从数据或高分辨率模型中沉淀出来的水比例)，高分辨率的模型太昂贵且需要极大算力，这就是为什么需要粗尺度参数化。这些学习的参数可以更好地表征热带对流（66，67）。

2. Replacing a physical sub-model with a machine learning model

   如圈2所示，如果一个子模型的公式是半经验性质的，其中功能点几乎没有理论基础（例如生物过程），如果有充足的观测量，那么这个子模型可以由机器学习模型替代。这就导致了一个混合模型，它结合了物理模型的优点（理论基础，可解释性）和机器学习（数据适应）。例如，我们把水汽扩散的物理微分方程与知之甚少的生物调节机器学习模型结合在一起。这会生成一个更物理的模型，遵循公认的质量和能量守恒定律，但是生物调节是灵活的从数据中学习。这些原则近年来用于在海洋中有效地模拟水并预测海面温度。在这里，通过一个深神经网络来学习运动场（68），然后通过物理建模来更新热量和温度。此外，一些大气科学家已经开始尝试与相关方法进行实验，以规避在大气对流的物理条件下长期存在的偏差（65,69）。 

   如果要同时估计物理模型和机器学习参数，同时保持可解释性，特别是当用机器学习方法替换多个子模型时，问题可能会变得更加复杂。在化学领域，这种方法已被用于校准工作，并在维持生化反应器模型中的质量平衡的同时描述未知动力学速率的变化（70），该模型虽然不那么复杂，但与水文和生物地球化学模型有许多相似之处。

3. Analysis of model-observation mismatch

   如圈3所示，假设没有观测偏差，物理模型与观测结果的偏差可以被认为是不完备的知识导致模型误差。机器学习可以帮助我们识别、形象化和理解模型错误的模式，这也可以让我们对模型输出进行相应的修正。例如，机器学习可以从数据中自动提取模式，并识别那些在物理模型中没有明确表示的模式。该方法有助于改进物理模型和理论。在实践中，它还可以用来纠正动态变量的模型偏差，与繁琐的、特别的手工设计方法相比，它可以促进到更精细的空间尺度的改进缩小（71,72）。

4. Constraining submodels

   如圈4所示，子模型的输入可以使用机器学习算法的输出，而不是另一个离线模拟的子模型（可能存在偏差的）。这会有助于将源于子模型的相关模型与耦合模块的错误分离开来。因此，这会简化和减少了模型参数或观测系统变量同化中的偏差和不确定性。

5. Surrogate modelling or emulation

   如圈5所示，对物理模型完整的模拟能够对计算效率和可能跟踪性有效。机器学习模型一旦经过训练，就可以实现比原始物理模型更高的模拟数量级，并且准确率不会牺牲太多。这种情况就会满足快速敏感性分析，模型参数校准，置信区间评估。例如，机器学习模型可以用来替换成本昂贵、基于物理规则的辐射传递模型，包括辐射、植被、大气（57，73，74），这些模型对于陆地遥感的解译和同化至关重要。机器模型也同样被用于动态建模，其中状态是动态演变的，例如，在气候建模（75）和植被动态模型（76）。此外，由于物理模型的复杂性，仿真挑战是探索机器学习和深度学习非常好的测试平台，这些方法可以测试训练条件范围外的情况。

图3中的一些概念已经在被广泛采用，例如圈3相关的基准测试，统计下采样，模型输出统计MOS（77，78）。这里我们认为采用深度学习方法可以大大提高利用时空上下文信息来优化模型输出。圈5相关的模型已经在工程和地球科学的好几个分支中得到广泛的应用，主要是为了高效的建模，但是可跟踪性问题还没有深入研究。其它的几个方向都很少被探索，例如圈2的混合模型。从概念上讲，上面讨论的混合方法可以解释加深神经网络（图4）更加接近物理实际，其中物理模型作为神经网络层的顶部（图4b，c）。这种方法与前面讨论的反向方法形成了对比，上面的方法用物理模型输出，然后用额外的机器学习方法来订正。本文认为追求物理建模和机器学习的融合是值得的。  

图3展示了系统建模的视图，试图将机器学习集成到系统模型中。作为另一种视角，系统知识可以融入到机器学习框架。这会包含网络架构的设计、优化的物理约束、欠采样领域的训练数据集扩张（基于物理规律的数据增强）。例如，通常一种所谓的成本函数，比如普通的最小二乘法对模型数据不匹配，也可以避免对温度建模中难以解释的预测。物理和机器学习模型的集成不仅可以实现改进的性能和泛化，更为重要的是结合了机器学习模型的一致性和可信度。作为副产品，杂交具有一种有趣的正则化效应，因为物理消除了难以置信的模型。因此，物理相关的机器学习模型应该更好的对抗过拟合，特别是在小到中样本规模的数据集。这种观念也与实现可解释和解释器学习模型的方向相关，并且将逻辑规则与深度神经网络相结合。

最近有两种方法领域的进展能够促进机器学习和物理模型以一种合理的方式进行融合：概率规划probabilistic programming和可微分规划differentiable programming。概率规划允许以一种正式但灵活的方式来计算各种不确定性。通过先验和约束对数据和模型的不确定性以及知识的整合进行适当的计算，对于数据驱动和理论驱动的最佳组合范例至关重要，如统计学习中的那样。此外，误差的传播在概念上是无缝的，为模型输出提供了良好基础的不确定性边际。这种能力到目前为止在很大程度上是缺失的，但对于科学计算是至关重要的，特别是管理和政策决策。可微分规划中自动微分可以达到有效的优化（84，85）。这有助于使大型的、非线性的和复杂的反演问题在计算上更容易处理，并且可以更清楚地评估敏感度。

Advancing science

毫无疑问从展示的示例视角，现代机器学习方法极大地提高了分类和预测技能，这个本身就具有很大的价值。然而除了统计预测之外，考虑到复杂统计模型的结果往往很难解释，数据驱动的方法如何能够帮助基本的科学理解。一个基本的答案是观察总是科学进步的基础。例如，哥白尼的发现是通过对行星轨迹的精确观察来推断和测试规律。

现在，尽管探索的一般周期和测试仍是一样的，现代数据驱动的科学和机器学习可以在观测数据中提取出随机性的复杂模式，以挑战复杂的理论和地球系统模型。例如基于机器学习的全球数据估计的光合作用表明，气候模型对于光合作用过度估计（86）。这种不匹配导致科学家们建立了假设（23），可以更好的描述植被的辐射转移，这导致其他地区的光合作用估计有所改善，并且与叶片粒度观察数据的一致性更好。

除了数据驱动的理论和模型构建外，这些提取的模式越来越多的被用于探索地球系统模型（65，69），并且模型仿真器也越来越多的被用作模型校准的基础。理论和观察、假设生成与理论驱动的假设检验之间的科学相互作用将继续下去。由于通过强大的机器学习技术，我们可以期待复杂地球系统科学在定性和定量分析方面取得前所未有的进展。

Conclusion

地球科学需要处理大量快速增长的数据，以预测、建模和理解复杂地球系统的形式，提供更准确、更少不确定和物理一致的推理。机器学习和深度学习提供了有前途的工具来建立新的数据驱动的地球系统模型，从而建立我们对于地球的理解。地球系统的具体挑战将进一步促进方法的发展，四个主要建议如下

1. Recognition of the particularities of the data

   变量之间的多源、多尺度、高维、复杂的时空关系需要被充分建模，包括变量之间的非琐碎和长距离滞后关系。深度学习能够很好地应对这些数据挑战，需要设计新的方法来解决不同尺度的时间和空间信息，包括网络结构和算法。

2. Plausibility and interpretability of inferences

   模型应该不仅是准确的并且还应该是可信的，包含物理控制地球系统。如果模型变得更加透明和可解释，那么机器学习将会在地球科学中得到广泛的应用和促进：模型的参数和特征排序应该有最小的物理解释性，并且模型应该是可还原的，或者通过一组规则、描述符和关系来解释。

3. Uncertainty estimation

   模型应该定义他们的置信度和可信度。贝叶斯/概率推理应该集成到模型中，因为这种推理允许不确定性的显示表示与传播。此外，识别和外推的优先级比较高。

4. Testing against complex physical models

   机器学习的时空预测能力至少应该与物理模型中观测值保持一致。因此，我们建议用从地球系统的物理模型中获得的合成数据来测试机器学习方法的性能。例如，图4b，c中应用于真实数据的模型，需要在复杂模型模拟的大范围动力学中测试。这个对于训练数据有限和外推问题来说特别重要。

总体来说，我们建议未来模型应该融合流程化方法和机器学习方法。地球科学中数据驱动的机器学习方法不会取代物理建模，而是有力的补充和丰富。具体来说，我们展望了物理和数据驱动模型之间的协同效应，最终目标为混合模型：这些模型应该遵循物理定律，构建一个概念化的、可解释的模型结构，同时是完全数据适应模型的理论比较薄弱。重要的是机器学习研究将受益于来自自然科学中合理的物理基础关系。其中，两个主要地球系统挑战中几乎没有任何进展，大气对流的参数化和生态环境中的时空依赖性的描述，可以用混合方法来解决。