NVIDIA 的科学家与劳伦斯伯克利国家实验室（伯克利实验室）合作，推出了一款名为 Huge Ensembles（HENS）的机器学习工具，用于预测极端天气。该工具能够实现接近超级计算机级别的预测精度，同时显著降低计算资源需求和成本。HENS 以开源形式或即用模型提供，可预测从长期热浪到百年一遇飓风等低概率、高影响的气候事件。这项技术使气候科学家、城市管理者和应急管理人员能够以较少的计算资源快速模拟多种场景，并及时更新应对方案。
这项由两部分组成的研究发表在《地球科学模型开发》期刊上，介绍了一种名为 HENS 的方法，该方法可生成 27000 年的数据，是目前可用的规模最大、可靠性最高的天气与气候模拟集成之一。
研究人员使用 NVIDIA PhysicsNeMo，一个用于大规模构建、训练和微调物理 AI 模型的开源 Python 框架，以及 Makani 开源框架，训练全球天气模型，以进一步优化 HENS 方法。
“长达两万七千年时间的模拟为研究极端天气事件的统计特征及其驱动因素提供了宝贵的资源，”该研究的共同作者、伯克利实验室地球与环境科学领域研究生研究员 Ankur Mahesh 表示。“如此庞大的样本规模，前所未有。”
根据这项研究，HENS 能够比其他方法更快速地预测天气，仅需几分钟而非几小时。它还延长了预测时间范围，能够以 15 英里（25 公里）的分辨率预测未来 6 小时至 14 天的极端天气事件。此外，该系统可帮助研究人员以高分辨率回顾过去几十年的天气模式，从而发现导致极端天气事件的新线索。
资深合著者 Bill Collins 是伯克利实验室地球与环境科学部门的教职高级科学家，同时也是加州大学伯克利分校的教授。他表示：“借助 HENS，我们现在能够应对未来几年乃至几十年内可能发生的低概率、高影响的极端事件，而不再局限于单一的近期事件。”
Collins 补充道，与其他方法相比，这种新方法所需的能源和人工时间显著减少，而且通过使用新数据重新训练模型（一种确保准确性的技术）也比其他方法更高效，进一步节省了能源。
训练 HENS：PhysicsNeMo 和 40 年的气候数据
HENS 使用基于 40 年 ERA5 数据（目前最佳的历史大气状态数据源之一）训练的 PhysicsNeMo AI 模型。Shashank Subramanian 是能源部伯克利实验室国家能源研究科学计算中心 (NERSC) 的机器学习工程师，也是协助 Mahesh 开发和测试训练与评估工作流程的研究合著者。他表示，模型训练完成后，可提供一种成本更低的计算方法用于预测，国家能源研究科学计算中心 (NERSC)。
“HENS 改变了游戏规则。直到今天，由于高昂的计算和数据存储成本，生成包含 1000 或 10000 个成员的模拟集成完全不切实际，”NVIDIA 气候模拟研究总监、加州大学尔湾分校教授 Michael Pritchard 表示。“得益于该团队对新型 AI 模拟技术的细致校准，如今已能够以远超传统数值模拟的速度生成大规模集成，包括数量级上更为逼真的热浪反事实。”
如何使用 HENS 提高天气预报的准确性？
为捕捉未来可能出现的天气结果范围，国家气象局会运行多个不同的模拟（即“集合成员”），每个模拟对初始条件进行细微调整。这些数值模型基于物理定律，如质量守恒、动量守恒和能量守恒。人们高度信赖这些基于物理的模拟，但其计算成本十分昂贵，需要依赖超级计算机才能运行。
由于这项费用，传统天气模型只能包含 50 个集合成员。为了识别极端天气，需要对模型的初始条件进行数千次扰动，并耗费数百小时的超级计算资源。
研究人员利用 HENS，根据 2023 年夏季每日的初始天气状况生成了 7424 个集合成员，这一数量是当时记录中前所未有的规模（约为传统模型成员数量的 150 倍）。每个集合成员代表一种独特的天气演变路径，即不同的天气发展可能性。
“这有助于我们更准确地估算分布的尾部，从而更好地了解今年夏天可能发生的极端事件。”
HENS 的预测不确定性比传统模型低 10 倍以上，能够捕捉其他模型通常忽略的 96% 的罕见但严重的极端天气事件。凭借这些优势，该团队成功构建了一个庞大的数据集，包含约 27000 年（20PB）的气候数据。
在 NERSC 进行的严格验证实验期间，Mahesh 及其团队通过多种诊断指标对集成预测进行了权衡，结果表明 HENS 非常接近黄金标准。
Mahesh 表示，未来该团队计划开展长达 27000 年的模拟研究，旨在深入理解近年来摧毁社区的灾难性热浪、飓风和大气河流等低概率高影响事件背后的驱动因素。他们还致力于进一步降低运行 HENS 所需的计算资源。
相关资源
- HENS GitHub 上的 HENS 开放源代码和完全训练的模型
- HENS 研究论文：
NERSC 是美国能源部科学办公室（DOE Office of Science）设在伯克利实验室的用户设施。本工作获得了 DOE 科学办公室的支持。
