Google DeepMind新产物： 行星级卫星嵌入数据集（10m）光学+雷达+DEM+climate...

我们正在引入一种分析地球的新方法。Google 的卫星嵌入数据集利用人工智能的力量，将一年的多源卫星数据打包到每个 10 米像素中，从而实现更快、更强大的地理空间分析。欢迎来到 Earth Engine 中深度学习的未来。
15 年前，我们推出了 Earth Engine，其使命是提供对地球观测图像和地理空间数据的广泛访问。随着我们在地球引擎数据目录中添加了数 PB 的公开数据，这一雄心勃勃的目标带来了新的挑战： 用户如何有效地利用不断增长的图像档案以及大量输入和算法来解决世界上最紧迫的环境问题？ 答：人工智能的力量！

由 Google DeepMind 合作制作的新卫星嵌入数据集。它是使用 AlphaEarth Foundations 生成的，AlphaEarth Foundations 是 Google DeepMind 的新地理空间 AI 模型，该模型吸收了不同地理空间信息来源的观测结果，包括来自 Sentinel-2 和 Landsat 卫星的光学和热图像、可以透过云层的雷达数据、地表特性的 3D 测量、全球高程模型、气候信息、重力场和描述性文本。与需要用户微调权重并在高端计算机集群上运行自己的推理的传统深度学习模型不同，AlphaEarth Foundations 旨在生成信息丰富的 64 维地理空间"嵌入"，适合与 Earth Engine 的内置机器学习分类器和其他基于像素的分析一起使用。

我们大规模运行 AlphaEarth Foundations，以 10 米分辨率生成一个全球数据集，其中包含预计算的、可分析的嵌入，分辨率为 2017 年。虽然这可能看起来像任何标准的地球引擎图像集合，但我们已经有效地将人工智能驱动的特征提取打包到每个像素中，您可以使用这些嵌入的"图像"来代替更传统的图像合成和工程特征，如光谱指数和谐波拟合。最好的部分是嵌入层可以进行分析;无需大气校正、云掩蔽、光谱变换、散斑过滤或其他特征化技术 - 只需以更少的工作量和复杂性获得卓越的结果。

地球引擎数据目录中的卫星嵌入数据集。

嵌入中嵌入了什么？

测量。AlphaEarth Foundations 生成的地理空间嵌入是从 Earth Engine 数据目录和地理时间定位的文本标签中跨不同的数据源学习的。该模型使用自监督方法，可以同时从多种类型的数据中学习，而无需手动注释的训练数据。通过吸收跨多个来源和描述模式的信息，包括 Sentinel-1 C 波段 SAR、多光谱 Sentinel-2 以及来自 Landsat 8 和 Landsat 9 的多光谱、全色和热观测、GEDI 栅格冠层高度指标、GLO-30 DEM、ERA5 陆地再分析月度聚合、ALOS PALSAR-2 扫描 SAR、GRACE 月度质格网，以及多个文本源，AlphaEarth Foundations 能够学习像素属性和语义的更紧凑的表示。

空间和时间背景。AlphaEarth Foundations 接受了来自全球 500 多万个地点的超过 30 亿个单独图像帧的训练。通过将给定位置随时间变化的卫星图像视为视频中的帧，该模型能够跨空间、时间和测量模式进行学习，以生成捕获空间上下文并保留时间轨迹的嵌入。这意味着卫星嵌入数据集中的每个嵌入向量都为地球陆地表面的每 10 米像素（100 平方米）区域提供了高度紧凑但语义丰富的表面条件表示。每个 10 米像素的嵌入还捕获有关该像素周围区域的信息，因此单独考虑时看起来非常相似的区域，例如停车场或高速公路的沥青表面，将具有非常明显的嵌入。就我们的 GOOGLE/SATELLITE_EMBEDDING/V1/ANNUAL 收藏而言，嵌入总结了一整年的图像采集，这意味着它们包括季节性信号，如植被物候或季节性积雪，以及其他年内变化事件。

卫星嵌入数据集中的图像有 64 个波段，但它们不像经典的光学反射率或雷达回波。相反，我们的 AlphaEarth Foundations 嵌入中单个像素的 64 个"条带"代表 64 维"球体"表面上的 64 维坐标。与我们需要纬度、经度和海拔来最准确地描述我们在地球表面的位置类似，我们需要 AlphaEarth Foundations 表示的所有 64 个轴来精确定义卫星嵌入坐标——虽然想要解释这些轴很诱人，但重要的是要记住嵌入是通过深度学习模型学习的。虽然在数学上具有很强的解释性，但它们是更高维度测量空间的表示，而不是测量本身。

卫星嵌入数据集做什么呢？

为了激发您的灵感，以下是我们感到兴奋的几件事：

相似性搜索：您可以在地球上的任何地方选择一个点——例如，在特定类型的农田或森林中——并立即查找并绘制世界任何地方具有相似表面和环境条件的所有其他位置。
变化检测：通过比较不同年份同一像素的嵌入向量，您可以轻松发现变化并跟踪城市扩张、野火影响和恢复以及水库水位波动等过程。
自动聚类：在没有任何预先存在的标签的情况下，您可以使用聚类算法自动将像素分组到不同的类别中。这种时空分割可以揭示景观中隐藏的模式，区分各种类型的森林、土壤或城市发展。
更智能的分类：您可以使用更少的训练数据创建准确的地图。例如，每个类可能只需要几百个，而不是需要数万个标记点来映射具有更常规输入的作物类型，从而节省时间和计算。

查找其他类似的地方：相似性搜索

相似性搜索是一种比较不同位置的嵌入向量并快速识别与感兴趣位置具有相似环境和表面条件的像素的简单方法。例如，纽约市密集城市景观中 100 平方米（10 m x 10 m）像素的嵌入向量显示出与世界上其他高度发达的城市中心的强烈相似性。

检测变化：跟踪嵌入空间的变化

基于相似性的比较也随时间推移而起作用，可用于嵌入驱动的更改检测和稳定性监控。AlphaEarth Foundations 嵌入空间被设计为时间一致，因此相对稳定的位置应该在数据集中具有相似的嵌入向量，而给定位置的嵌入向量的逐年变化表明表面特性、环境条件和/或其时间动态的变化。通过计算不同年份的年度嵌入向量之间的角度，您可以监测长期稳定性和灾难性变化，并开始探索和理解这些变化的驱动因素。

下图显示了 2020 年至 2024 年间在嵌入空间中看到的一些变化示例，每行中的最终图像显示了以下类型变化中每个像素与自身的相似性（较亮的值表示较大的差异）：

• 郊区扩张
• 野火伤痕点缀着砍伐，植被丧失早于火灾事件
• 人造水库从干旱时期到水质压力较小的变化
• 年份之间田地的差异，显示嵌入如何捕捉作物周期和休耕等年内动态。

发现隐藏的模式：自动聚类

如果您想探索嵌入空间中更复杂的分组和其他隐藏模式，请 ee.Clusterer算法是一个很好的起点，尤其是在您没有现有标签或测量数据的情况下。与三通道 RGB 可视化不同，聚类允许您同时使用嵌入空间的所有 64 个维度来可视化图案。

要使用 Earth Engine API 对卫星嵌入进行聚类，请选择感兴趣的区域并生成一定数量的随机样本。对卫星嵌入数据集中任何年份的嵌入进行采样，并使用此随机样本来训练改变聚类数量的 kMeans 聚类算法，并将训练好的聚类应用回更大的感兴趣区域。查看由此产生的集群 ID 图，我们可以看到嵌入空间中出现了有趣的模式，包括地表类型和表象之间的差异，以及地形和水文。如需详细了解如何使用卫星嵌入数据集进行无监督分类，包括基本聚类可视化以及如何为聚类分配标签，请参阅我们的卫星嵌入数据集简介和使用卫星嵌入进行无监督分类 — 作物类型映射教程。

创建详细的地图，减少手动标记

探索潜在模式和手动标记聚类是探索卫星嵌入数据集的途径之一，但嵌入实际上是为有效插值现有标签和测量而设计的，即监督分类和回归问题。

如果您有标签数据集，则可以轻松地使用 Earth Engine 对标记位置的卫星嵌入向量进行采样，训练内置 ee.Classifier，并按比例应用训练的分类器来生成地图瓦片。低噪声嵌入空间意味着您需要更少的标签即可获得高质量的结果。例如，卫星嵌入可用于代理 2024 年 USDA NASS 农田数据层中的 87 个作物类型和土地覆盖类别，每个类别仅 150 个样本。

卫星嵌入旨在很好地用于聚类和基于树的分类，例如 kNN 或随机森林，但您可以在任何现有分类工作流程中用嵌入替换原始图像输入或其他工程特征，如复合或聚合统计数据。卫星嵌入图像可方便地进行分析，具有无间隙、墙到墙的覆盖，并作为投影在其本地 UTM 区域中的图块托管，无需额外的预处理。因此，与其花时间计算整理数据，不如专注于重要部分：良好的训练数据和高质量的映射结果。

在我们的使用卫星嵌入的监督分类 - 绘制红树林地图和使用卫星嵌入的回归 - 预测地上生物量（AGB）教程中了解有关使用卫星嵌入数据集进行监督分类和回归的更多信息。

将 AI 引入 Earth Engine

Earth Engine 数据目录中卫星嵌入数据集的推出标志着 Earth Engine 在实现使命方面迈出了下一步，即使地理空间数据更易于访问和有用，以了解我们不断变化的星球。通过将 AlphaEarth Foundations 的卫星嵌入作为图像集合引入 Earth Engine，我们将 AI 的强大功能作为分析就绪数据集提供，直接与 Earth Engine API 和更广泛的生态系统集成。

我们迫不及待地想看看您如何在 Earth Engine 中使用这一新的 AI 功能！查看地球引擎数据目录中的卫星嵌入数据集，立即开始使用该数据集。如果你还不是地球引擎用户，请开始使用代码编辑器快速入门。

想要详细了解如何使用卫星嵌入数据集、有疑问或有兴趣分享案例研究？使用我们的反馈表在此处联系。

最后，我们很高兴地宣布，我们将向符合条件的研究人员提供一系列小额赠款（最高 5,000 美元），以帮助加速卫星嵌入用例的科学探究和出版。我们将在未来几个月内接受提交。