在全球变暖的背景下，NVIDIA Earth-2 已成为气候技术的关键平台，在应对气候变化放大的越来越严重的极端天气影响方面产生可行的见解。
借助 Earth-2，有关天气和气候的见解不再局限于大气物理学或海洋动力学专家。现在，您可以利用先进技术，以远见卓识和精准度驾气候变化的复杂性，指导公司、组织和国家 地区预测前所未有的极端天气相关风险，并减轻其影响。
本文重点介绍了专为 AI 模型训练和推理而设计的全面 NVIDIA Earth-2 工具套件，其中重点介绍了使用生成式 AI 进行缩小。
缩小与图像处理中的超分辨率概念类似，涉及从较低分辨率的输入数据中生成更高分辨率的数据或预测。我们的重点扩展到用于公里级 (公里级) 天气预报的生成式 AI，涵盖从训练全球 AI 天气模型到推理和生成公里级预测的所有内容。
最后，本文重点介绍了推动这场地球数字孪生革命的软件工具，帮助您利用生成式 AI 技术，使用 Earth-2 AI 工具实现准确且经济高效的天气预报。
满足对经济高效的公里级天气预报的需求
随着 AI 推动的 NVIDIA Earth-2 技术的进步，气候模拟的格局发生了巨大变化，天气和气候信息的获取实现了大众化。
Earth-2 将促进前瞻性决策，指导公司、组织和国家 地区应对假设场景，并预测前所未有的天气，以实现可行的结果，涵盖政策制定、城市发展和基础设施规划。
准确预测即将发生的天气灾害需要以公里级分辨率进行成本高昂的模拟。预测未来的气候灾害也是如此。
传统模拟方法在公里级时会导致模型过于庞大、复杂且计算成本高昂。此外，天气和气候系统具有随机性和不确定性，需要进行集成预测以获得未来结果的概率分布。
模拟分辨率与集成大小成正比。这限制了可以采样以告知规划的危险范围。但是，具有成本效益的解决方案在于随机 AI 降采样模型。
作为 Earth-2 平台的核心，NVIDIA 提供了一种基于生成式 AI 和扩散建模的创新两步式方法，用于以高保真度缩小天气数据。这种方法称为 CorrDiff。
使用 CorrDiff 预测精细天气细节
由 NVIDIA 的领先研究和开发团队开发，CorrDiff 引入校正器扩散模型方法 旨在以公里级分辨率重新定义天气预报。
CorrDiff 的核心是利用生成式学习的强大功能，以出色的准确性和效率应对预测极端天气现象细节的挑战。
CorrDiff 方法有效地将生成式学习隔离到更短的长度范围内，从而能够精细地预测极端天气现象。例如，您可能从分辨率为 25 公里的预报开始，而想要生成分辨率为 2 公里的预报。
主要挑战是预测粗分辨率预测中缺失的细节，使其更准确、更精细，类似于更精细的分辨率数据，并包含极端天气的一致性空间结构。
CorrDiff 的工作原理分为两个主要步骤。首先，回归模型预测细分辨率场的均值。然后，在第二步中，CorrDiff 通过添加初始预测中未捕获的缺失细节来细化这一猜测，使其更好地匹配现实。
至关重要的是，由于这是一种生成式 AI 方法，CorrDiff 可以合成粗分辨率输入数据中不存在的新的精细分辨率字段。扩散模型的固有随机采样还可以生成与单个粗分辨率输入对应的许多可能的精细分辨率状态，从而提供结果分布和不确定性措施。
CorrDiff 背后的理念是，学习改进初始猜测所需的修正比直接从头开始学习精细分辨率细节更容易。通过将问题分解为回归和扩散步骤，CorrDiff 可以有效利用粗略分辨率预测中提供的信息，以更精细的分辨率生成更准确、更详细的预测。
总的来说，CorrDiff 提供了一种实用方法来提高天气预报的分辨率，合成新的变量，并通过利用现有的粗分辨率数据和模型为特定区域 (例如中国台湾) 生成更详细、更准确的预测，从而提供一系列状态。这种实用性通过其显著的效率得到强调，因为它速度快了几个数量级，并具有 高效 的优势，优于传统方法。
CorrDiff 还可以合成输入向量中可能不可用但假设与输入相关的输出。这意味着拥有自己数据集的用户可以为自己的用例训练自定义的 CorrDiff 等效输出，从而扩展 CorrDiff 在不同数据集和场景中的适用性和效用。
适用于 AI 天气模型的 NVIDIA Earth-2 软件工具包
NVIDIA Earth-2 提供了一套功能强大的气候技术工具，用于训练和推理 AI 天气模型，包括 NVIDIA Modulus 和 Earth2Studio。
在 NVIDIA Modulus 中训练 AI 天气模型
为了训练 AI 天气模型，您可以使用 NVIDIA Modulus，这是一个基于物理信息的开源机器学习 (Physics-ML) 平台。
NVIDIA Modulus 允许工程师构建 AI 代理模型，以生成比基于物理原理的模型更美观和超前的预测。Modulus 为领先的全球 AI 天气预报模型、诊断模型提供了推断更多变量的工具，并使用 CorrDiff 进行降采样。
Modulus 还包含用于构建训练管线的功能，例如适用于最常见数据类型的数据加载器。这些功能在示例工作流中结合使用，用于训练大气中的 AI 模型。Modulus 的组件经过全面设计，可充分利用 GPU 并扩展到大型训练设置。
对于每个大气 AI 模型，Modulus 都包含一个工作流程示例，用于在合适的数据集上训练相应的模型。目前，Modulus 实现了多个预测模型：
- FourCastNet 是我们基于 AI 的全球天气模型，它利用球形里叶神经运算符架构。
- 分层二面体图神经网络 (GNN) 与 GraphCast 等类似方法相似。
- DLWP-HEALPix 是一种基于 DLWP 的具有等面积网格的物理启发式 AI 预测方法。它展示了竞争优势，这是首个展示从亚季节性到季节性的预测技能的全球预测模型。
- 其他模型，例如 Pangu-Weather，FengWu 以及 SwinVRNN，都基于视觉 Transformer 架构构建。
有关更多信息和示例，请参阅 NVIDIA/modulus GitHub 库。
此类全球天气预报模型预测了及时推进大气状态所需的一系列表面和压力水平变量。
通常，您可能会对未包含在全局模型中的变量感兴趣，例如，假设自定义数据流中的降水量或其他变量可从全局天气模型主干中预测。
诊断模型不会及时推进大气状态，而是基于现有模型同时获得所需数量。通过结合诊断和预测模型，您可以预测其他变量，而无需重新训练后者。
Modulus 提供根据特定用例所需的变量集训练诊断模型的方法。要试用诊断模型，请参阅用于预测降水的模型检查点。
通过 Earth2Studio 进行 AI 天气模型推理
为了更好地支持开发者和研究人员在 AI 天气和气候推理工作流程中试验、构建和自定义，NVIDIA Earth-2 开发了一个开源 Python 软件包 Earth2Studio，该软件包将在 NVIDIA Modulus 24.04 版本中提供。
Earth2Studio 旨在为各种推理工作流程所需的常用模型、数据源、微扰方法、IO 模块等提供服务，同时简化扩展和自定义。
您可以开箱即用地访问常见的公共在线数据源 API，包括以下内容：
您可以在 Earth2Studio 中访问一系列预训练模型，后续还会提供更多内容，作为为您的用例集成 AI 天气模型的起点：
- FourCastNet
- Modulus 图形投射
- 盘古天气
- LWP
检查点随时可用 NGC 目录 中，例如 FCN 和 Earth2Studio 包含用于自动下载这些模型并将其缓存到您的设备的例程。一些模型从外部来源加载，例如 ECMWF 托管的 PanguWeather 检查点。
Earth2Studio 的目标是让您能够轻松构建自己的自定义工作流，用于推理预测和诊断模型。它包含一组通用工作流，只需几行代码，即可开箱即用，实现确定性和基于集成的预测和验证。
以下代码示例展示了如何通过 Earth2Studio 利用 FourCastNet 模型，仅使用八行代码即可生成确定性预测。
from earth2studio.models.px import FCNfrom earth2studio.data import GFSfrom earth2studio.io import ZarrBackendimport earth2studio.wf_simple as wf # Load FourCastNet pretrained modelmodel = FCN.load_model(FCN.load_default_package())# Create the data sourcedata = GFS ()# Create the Zarr IOio = ZarrBackend()# Run 20 steps of inferenceoutput_datastore = wf.run([ “2024-01-01” ], 20, model, data, io) |
图 1 显示了在预测的最后一个时间步长产生的总塔水汽场。
在 NVIDIA Modulus 中训练 CorrDiff
此示例演示了超分辨率和新通道合成，训练 CorrDiff 将中国台湾 25 千米的 ERA5 数据转换为 2 千米的数据。
该数据由中国台湾中央气象局 (CWA) 使用高分辨率区域数值天气预报模型生成。该数据集以 CC BY-NC-ND 4.0 许可证 授权，并可从 NGC 下载 获得。有关训练模型的特定说明，请参阅 NVIDIA/modulus GitHub 库。
NVIDIA Modulus 除了易于使用外，还有一个主要优势是性能优化。目前，在 NVIDIA A100 或 NVIDIA H100 GPU 上训练 CorrDiff 需要 2 – 3K GPU 小时，CorrDiff 团队正在努力进一步优化训练程序。在类似硬件上，只需几秒钟即可生成一个超分辨率样本。
通过 Modulus 推理 CorrDiff
(来源：适用于 Km 级大气降采样的残差扩散建模)
同一 CorrDiff 示例还包含推理脚本，用于基于低分辨率 ERA5 条件反射 (输入距离为 25 公里) 生成高分辨率天气的条件样本。
有关生成样本并将其保存为 NetCDF 文件的说明，请参阅 NVIDIA/modulus GitHub 库。推理运行需要为回归和扩散模型设置 Modulus 检查点。这些检查点作为训练管线的组成部分另存。
有关更多信息和访问权限，请参阅 CorrDiff 推理包 的 NGC 目录页面。
台湾风暴追踪
作为 CorrDiff 极端天气问题用例的一个示例，我们展示了在中国台湾追踪风暴所面临的挑战。
虽然全球 AI 预测模型在预测风暴路径方面表现出色，但其 25 公里的有限分辨率阻碍了其有效性，无法捕获通常包含对风暴相关破坏至关重要的最强风力和降水的精细细节。
在分辨率为 25 公里的情况下，ERA5 输入数据中的台风结构通常无法很好地解决，导致其大小和强度的表示不准确。风眼墙和雨带中也缺少与物理危险相关的关键空间细节。
中国台湾是全球最潮的地区之一，年降水量为 2600 毫米 (约为全球平均值的 3 倍)，每年的平均灾害成本为 6.5 亿美元。这种财务负担是由季风给台湾带来的大量降水造成的，导致广泛的洪水，损害了生命和财产，需要大规模的疏散工作。
灾害风险是指危险的严重程度和频率、暴露于危险中的人员和资产的数量，以及其对损害的易受伤害性的组合。图 3 显示了 IPCC 示意图 2022 年关于影响、适应和漏洞的第六份评估报告中对灾害风险的阐述。
(来源：IPCC AR6，WG2，第一章，第 146-144 页)
台湾国家科学技术中心 (NCDR) 概述了四个阶段的台风应对方法 (图 4)。
前两个阶段 (启动和准备) 专注于分析风险和发出灾害警报。第 3 和第 4 阶段 (响应和恢复) 专门用于监测灾害和实施应对措施。
NVIDIA 技术可以应对这些挑战。
AI 天气预报的增强功能有可能改进第 1 阶段和第 2 阶段的风险分析。通过改进天气预报技术，特别是通过更高分辨率和更大的集成，我们可以更全面地评估暴露风险。
CorrDiff 是开创性的 NVIDIA 生成式 AI 扩散模型，使用台湾 CWA 提供的高分辨率雷达 WRF 数据和来自欧洲中期天气预报中心的 ERA5 再分析数据进行训练。
借助 CorrDiff，可以将对极端天气现象 (如台风) 的预测从 25 公里分辨率大幅提升到 2 公里分辨率。
在本文中，我们已经证明，通过将 ERA5 的距离从 25 公里缩小到 2 公里，我们可以探索更多的局部地区预测场景，旨在清晰呈现风暴在最佳、最糟糕和最有可能产生的影响。
评估不确定性至关重要。然而，鉴于计算资源有限，集成预测成员的数量及其分辨率之间存在妥协。NCDR 生成的预测由大约 200 个集成成员组成，分辨率各不相同。
引入 CorrDiff 等尖端 AI 技术标志着一项重大变革。它能够在单个 GPU 节点上扩展多达数千个成员，以进行近乎实时的集成预测。
台湾 CWA 管理员 Chia-Ping Cheng 提到了 NVIDIA 生成式 AI CorrDiff 模型的变革潜力，并强调了其变革天气预报的能力。Cheng 重点介绍了 CorrDiff 如何能够生成公里级天气预报，使社会能够以前所未有的准确性预测极端天气事件的详细特征，从而帮助减轻自然灾害。
台湾国家科技中心 (National Science and Technology Center for Disaster Relationship in T 台湾) 主任 Hongey Chen 也表示，他强调了 CorrDiff 在应对自然灾害带来的各种前所未有的影响方面的重要意义。Chen 强调说，CorrDiff 是确保公共安全的创造性解决方案。
普及 AI-weather 并实现气候技术
总而言之， NVIDIA Earth-2 实现了天气信息获取的大众化，并体现了一项现代举措，旨在将气候科学的覆盖范围扩展到学术界之外，使决策者、企业、记者和普通公众能够轻松获取这些信息。
CorrDiff 是基于 NVIDIA 生成式 AI 的先进降采样模型，在以下各个领域都有前景：
- 除了金融服务领域之外，CorrDiff 可以用于用户在风险评估和资产管理方面做出明智的决策。
- 在能源行业之外，CorrDiff 的精确缩减功能可以实现更好的资源分配和基础设施规划，这对于优化能源生产和分配至关重要。
- 政府机构可以利用 CorrDiff 的优势，从而增强灾害准备和应急工作。
- 个人用户可以通过更准确、更本地化的天气预报来感受 CorrDiff 对日常规划和安全的影響。
凭借出色的适应能力和效率，CorrDiff 可以提供可行的见解和准确的预测，助力我们所有人构建一个更具弹性的世界。
