在阿联酋 (UAE) ，极端天气事件破坏日常生活、延误航班、危及交通并使城市规划复杂化。白天的高温限制了人类在户外的活动，而浓雾则是导致严重且往往致命的车祸的常见原因。与此同时，2024 年是该国 75 年来最强烈的降水事件，在通常干旱的地区引发了严重的洪水。
G42 是一家总部位于阿联酋的领先 AI 和云计算公司 ，开发了先进的区域生成式 AI 预测系统，能够以高达 200 米的分辨率预测阿联酋的各种气象事件。在本文中，我们展示了 G42 如何使用 NVIDIA GPUs 和 Earth-2 平台构建此系统。
阿联酋区域预测的重要性
在阿联酋，区域天气预报在应对极端天气事件（例如暴雨、浓雾、沙尘暴和酷热）带来的挑战方面发挥着至关重要的作用，这些事件可能会造成基础设施损坏，并破坏交通、物流和公共安全。除了这些紧迫的问题之外，局部天气预报对于能源转型也至关重要，因为它可以为将可再生能源纳入电网提供信息，并支持电网的整体稳定性。
全球天气模型缺乏捕获影响特定区域的精细动态所需的分辨率，因此定制解决方案不可或缺。区域天气模型用于为有限的区域生成更高分辨率的预报，但运行成本高昂且需要消耗大量能源。
为解决这一问题，G42 利用 NVIDIA Earth-2 平台创建了 AI 驱动的区域预测工作流。G42 的开发者使用 Earth-2 的 PhysicsNeMo 框架中的 CorrDiff 架构为阿联酋地区开发了一个自定义区域模型，用于缩小全球天气预报数据的比例。G42 中的 AI 研发公司 Inception 训练了该模型，而 Space42 创建了训练数据。
通过将自定义 CorrDiff 连接到预训练的 NVIDIA FourCastNet 全球天气预报模型，G42 能够在几分钟内以 2 公里的分辨率生成全国范围的天气预报，而传统数值天气预报方法则需要几小时。
使用 CorrDiff 模型的另一个变体，Inception 开发者还将输入数据的分辨率提高了 10 倍。该变体经过训练后可输出阿布扎比市及其周围分辨率为 200 米的天气数据，被用作预报工作流的第二步，可实现城市级别的超局部预报。它捕捉了地理特征（例如阿布扎比的沿海岛屿和城市发展）对当地天气模式的形成和行为的影响，有助于更好地了解地形、城市化和天气之间的复杂相互作用。
G42 团队在其用例中调整了 Earth-2 NVIDIA Omniverse 蓝图 ，这是构建从模型训练到交互式可视化的 AI 天气工作流的参考。牢记这种端到端情况有助于找到为 G42 客户创造价值的解决方案。
G42 的 AI 降噪工作流
阿联酋的本地预测模型在 G42 的 NVIDIA H100 GPU 集群上进行训练和部署，每个节点由 8 个 H100 组成。CorrDiff 训练在多个节点上执行，最多使用 64 个 GPU，但这个数字可以根据 GPU 的可用性来扩大或缩小。CorrDiff 训练 recipe 可自动扩展到多个 GPU 和节点，并可根据所使用的批量大小适应任意数量的 GPU。
由于 CorrDiff 步骤独立运行，因此可以在多个 GPU 上并行执行。分布式推理工作流使用 Earth2Studio Enterprise 包构建。
由于 CorrDiff 等扩散模型的推理成本相对较高，我们发现使用一个 H100 GPU 同时推理 FourCastNet 和时间插值，同时使用 7 个 H100 GPU 来处理 CorrDiff 是此工作流程的最佳比率。分发代码利用 NVIDIA PhysicsNeMo 和 PyTorch 的自动分发功能，利用 GPU 之间的快速 NVLink 数据传输。
由 NVIDIA H100 GPU 加速的 AI 预报工作流模型使用嵌套的 2 公里和 200 米模型，在 170 GPU 秒内生成一天的预报，而使用 Weather Research and Forecasting (WRF) 模型，在一天内生成相当于 200 米分辨率的数据需要 960 个 CPU 核心小时。
为 CorrDiff 模型训练准备数据
训练 CorrDiff 模型所需的数据包括粗分辨率输入和高分辨率目标数据集。G42 使用包含 ERA5 再分析的输入数据，并通过内部模拟生成高分辨率数据。
训练输入数据来自 ECMWF ERA5 再分析数据，空间分辨率为 0.25°，来自 Copernicus Climate Data Store。该数据集提供高质量的全球气象信息，并作为模型训练的基准输入。ERA5 数据也可以每小时获取一次，确保与目标数据保持一致并进行适当的时间对齐。
目标数据包括两组不同空间分辨率的模拟：
- 2 公里，覆盖阿联酋及其他地区
- 阿布扎比市 200 米
这些数据集是使用 WRF 模型进行模拟的，该模型已进行区域调整，以提高当地大气条件下的准确性。模拟跨越五年 (2019-2023 年)，数据以小时为间隔提供。WRF 模型由 Global Forecast System (GFS) Global Data Assimilation System (GDAS) 数据集的边界条件驱动。
在 NVIDIA PhysicsNeMo 中训练自定义 CorrDiff 数据加载器
整个阿联酋的 CorrDiff 区域模型的 训练分辨率 为 2 公里，阿布扎比市的训练分辨率为 200 米，能够针对区域和城市环境进行量身定制的精细天气预报。为了训练此模型，G42 利用了 PhysicsNeMo 框架中的 CorrDiff 训练方法。此示例旨在让任何拥有高分辨率天气数据的人都能训练自己定制的生成式降尺度模型。
天气数据可以以多种不同的结构、标记和格式到达。PhysicsNeMo 中的训练示例旨在帮助用户将自己的数据管道集成到 CorrDiff 训练方法中。示例包括两个 dataloaders：
- 一个是复制原始 CorrDiff 论文中的台湾模型训练
- 名为 CorrDiff-Mini 的实现，使用简单的数据集和较小的网络来实现轻量级 CorrDiff。
可以通过编辑配置文件来指定不同的 dataloader。CorrDiff-Mini dataloader 是实现新的自定义 dataloader 的良好起点。
在 Earth2Studio 中创建高分辨率区域预测管道
G42 使用多个步骤构建自定义的阿联酋高分辨率天气预报，从数据检索到使用 FourCastNet 进行推理，再到使用 CorrDiff 模型进行插值到更高的时间分辨率和降尺度。以下介绍了如何在 Earth2Studio 中设置此类工作流，以及 G42 如何针对其特定用例定制工作流。
数据检索
预测始于分析，即对给定时刻的大气状态的最佳估计。
在 G42 工作流中，从 GFS 检索初始条件 (IC) ，如图所示，但 Earth2Studio 还包含连接其他数据源 (例如 ERA5) 的接口。
from earth2studio.data import GFS
data = GFS()
预测
对于全球预测，G42 使用 Earth2Studio 支持的 FourCastNet (SFNO) 模型 ：
from earth2studio.models.px import SFNO
fc_model = SFNO.load_model(SFNO.load_default_package())
FourCastNet 将大气的初始状态作为输入，并以 0.25° 的空间分辨率每隔 6 小时预测所需的未来状态数量。有关 安装 支持 SFNO 的 Earth2Studio 的更多信息，请参阅 Earth2Studio 文档中的安装主题。
插值
基于 AI 的天气插值模型 以 6 小时时间分辨率接收 FourCastNet 的时间序列预测输出，并估算中间天气状态，将分辨率提高到 1 小时。在 Earth2Studio 中，通过包装另一个预测模型来使用插值模型。
from earth2studio.enterprise.models.px import ForecastInterpolation
interp_model = ForecastInterpolation.load_model(
Package(interp_package_path, cache=False),
fc_model=fc_model
)
内插模型的接口与任何其他预测模型相同，因此可用于任何需要预测模型的工作流。
缩小
CorrDiff 模型的加载方式与预测模型类似，除非使用从在 PhysicsNeMo 中训练的自定义 CorrDiff 模型中创建的模型包。
from earth2studio.enterprise.models.dx.corrdiff import CorrDiff
corrdiff_model = CorrDiff.load_model(
Package(corrdiff_package_path, cache=False
)
该代码示例概述了如何为基本的 CorrDiff 工作流创建模型，但 Earth2Studio CorrDiff 包装器也可以进行自定义，以添加更高级的功能。
G42 将两个嵌套的 CorrDiff 模型连接在一起：一个是适用于阿联酋的 2 公里 CorrDiff 模型，另一个是适用于阿布扎比市及其周围地区的 200 米 CorrDiff 模型。他们还在模型中加入了 雾指数 的计算、显示雾概率和厚度的启发式指标，以及定制的降水处理，以提高降雨输出的质量。
运行工作流程
将所有组件准备就绪后，运行一个工作流，将所有组件整合在一起，生成局部高分辨率预报：
from earth2studio.run import diagnostic
from earth2studio.io.netcdf4 import NetCDF4Backend
io = NetCDF4Backend(output_file)
time = ["2025-03-17T00:00:00"]
timesteps = 168
diagnostic(
time, timesteps, interp_model, corrdiff_model, data, io,
output_prognostic=False
)
预测开始时间指定为 2025-03-17T00:00:00，以及要预测的所需时间步长数。假设插值时间间隔为 1 小时，则每个时间步长代表一个小时。例如，指定 168 个时间步长会生成一个以 1 小时为间隔的一周天气预报。输出结果将保存为 NetCDF4 格式的文件。
可视化
Earth-2 Omniverse 蓝图提供了一个参考实现，用于使用 NVIDIA Omniverse SDK 和微服务构建可视化工作流。Omniverse 是一个用于构建数字孪生的平台，将交互式 3D 场景与加速物理模拟和 AI 集成在一起。它支持跨团队的实时协作，以及基于 OpenUSD 文件格式的数据互操作性。
Omniverse Kit 用于将阿联酋特定 CorrDiff 模型生成的雾和风预测与 3D 建筑信息相结合 (图 2) 。G42 根据 Earth-2 蓝图定制了参考应用，以构建交互式界面，使用户能够探索全球规模的大气数据。
结果
G42 突破了 Earth-2 堆栈的极限，成功训练了两个自定义版本的 CorrDiff，以阿联酋及其周围地区的 2 公里分辨率和阿布扎比附近地区的 200 米分辨率实现了温度、风、湿度和降水的区域天气模拟。他们使用这些模型生成完整的端到端天气预报，展示了该平台提供区域预报的能力。
CorrDiff 已经学会了以高分辨率再现该地区气象学的许多特征。图 3 展示了分辨率为 2 公里的风向预测示例。CorrDiff 展示了阿布扎比城市的建筑物对减缓下午的海风的影响。
在图 3 中，颜色表示风速，流线表示风向。
图 4 展示了输入 2 米温度 (左) 和 CorrDiff 以两种分辨率 (每像素 2 公里 (中心) 和每像素 200 米 (右) 生成的相同变量) ，展示了从 0.25° 网格放大到城市比例时分辨率的提升。中心图中的红色方框表示右侧 200 米视图中显示的区域。
2 公里的模拟对整个阿联酋及其周围地区进行了全面的预报，而 200 米的模拟则放大并捕获了阿布扎比市及其周围地区的更精细的细节。
G42 的定制 CorrDiff 实现结合输出，生成城市规模的雾预测。200 米的分辨率凸显了雾概率的细微变化，这对于提高该地区的交通安全、城市规划和能源优化至关重要。
2024 年 4 月，阿联酋经历了 75 年来最强降雨，在不到 24 小时的时间内累计降雨量超过 250 毫米。新版阿联酋 CorrDiff 模型针对分辨率为 2 公里的降水输出进行了优化，表明与上一次迭代相比，该模型捕获此次极端天气事件降雨结构的能力有所提高。
CorrDiff 生成的降水量与阿联酋的观测数据大致相符，G42 正在进行进一步的分析，以便根据实际事件评估模拟降雨的统计属性。这些进步凸显了 CorrDiff 在以更高的精度对罕见且有影响力的天气现象进行建模方面的潜力。
为政府和行业带来的主要优势
以高分辨率模拟天气事件对于区域预测至关重要，可为地方政府和行业带来直接效益，尤其是在交通、安全和电网稳定性方面。通过及时访问这些模拟，相关部门能够采取主动措施，在危险天气条件下管理交通、减少事故并优化公共安全。借助超高分辨率的准确天气预报，能源供应商还能预测需求波动并保持电网稳定性，尤其是在极端温度事件期间，例如使用 GPU、PyTorch 和 pandas 等技术进行模拟和分析。
在传统模拟中，达到这种细节水平需要大量的时间和资源。但是，使用 NVIDIA AI 赋能的技术可以显著加速这一过程，以前所未有的速度实现超分辨率模拟，例如基于 Earth-2 的堆栈的 G42 生成的模拟。现在，可以比以往更快、更高效地提供可行的预报。
结合集成预报方法，基于 AI 的区域预报速度还可以描述未来天气的各种可能场景，从而提高识别即将到来的极端事件的概率。
