생성형 AI가 NVIDIA Earth-2를 통해 기후 과학 기술을 강화하는 방법

Reading Time: 8 minutes

지구 온난화로 인해 점점 더 심각해지는 기상이변에 대응하기 위해 NVIDIA Earth-2는 실용적인 인사이트를 창출하는 기후 기술의 중추적인 플랫폼으로 부상하고 있습니다.

Earth-2를 통해 날씨와 기후에 대한 인사이트는 더 이상 대기 물리학이나 해양 역학 전문가에게만 국한되지 않습니다. 이제 첨단 기술을 활용하여 변화하는 기후의 복잡성을 예측하고 정밀하게 탐색함으로써 기업, 조직, 국가가 전례 없는 극심한 기상 관련 위험을 예측하고 그 영향을 완화할 수 있도록 안내할 수 있습니다.

이 게시물에서는 생성형 AI를 사용한 다운스케일링에 중점을 두고 AI 모델 학습 및 추론을 위해 설계된 포괄적인 NVIDIA Earth-2 도구 제품군을 집중 조명합니다.

이미지 처리의 초해상도 개념과 유사한 다운스케일링은 저해상도 입력 데이터에서 고해상도 데이터 또는 예측을 생성하는 것을 포함합니다. 이 글에서는 킬로미터 단위(km 규모) 기상 예측을 위한 생성형 AI에 초점을 맞춰 글로벌 AI 기상 모델 학습부터 추론 및 생성에 이르기까지 모든 것을 포괄합니다.

마지막으로, 이 게시물에서는 이러한 지구 디지털 트윈 혁명을 주도하는 소프트웨어 도구를 소개하며, 생성형 AI 기술을 활용하여 정확하고 비용 효율적인 일기 예보를 실현하는 데 도움이 되는 Earth-2 AI 도구에 대해 알아봅니다.

비용 효율적인 킬로미터 단위 일기 예보의 필요성 해결

AI 기반의 NVIDIA Earth-2의 발전으로 기후 시뮬레이션의 환경이 극적으로 변화하여 날씨 및 기후 정보에 대한 액세스가 대중화되었습니다.

Earth-2는 사전 의사 결정을 촉진하여 기업, 조직 및 국가가 가상 시나리오에 대한 답을 찾고 전례 없는 날씨를 예측하여 정책 수립, 도시 개발 및 인프라 계획에 걸쳐 실행 가능한 결과를 도출할 수 있도록 지원합니다.

임박한 기상 위험을 정확하게 예측하려면 킬로미터 단위의 해상도로 고비용의 시뮬레이션이 필요합니다. 미래의 기후 위험을 예측하는 것도 마찬가지입니다.

기존의 시뮬레이션 방법을 사용하면 모델이 너무 크고 복잡하며 계산 비용이 많이 듭니다. 게다가 날씨와 기후는 본질적으로 불확실한 혼란스러운 시스템으로, 미래 결과의 확률을 예측하기 위해서는 앙상블(ensembles)이라고 하는 대규모 예측 집합이 필요합니다.

시뮬레이션 해상도는 앙상블 크기와 상충됩니다. 따라서 계획에 정보를 제공하기 위해 샘플링할 수 있는 위험의 범위가 제한됩니다. 그러나 비용 효율적인 솔루션은 확률론적 AI 다운스케일링 모델에 있습니다.

Earth-2 플랫폼의 핵심인 NVIDIA는 기상 데이터를 고충실도로 다운스케일링하기 위한 새로운 2단계 생성형 AI, 확산 모델링 기반 접근 방식인 CorrDiff를 지원합니다.

CorrDiff로 세밀한 날씨 세부 사항 예측하기

선구적인 NVIDIA 연구 및 개발자 기술팀이 개발한 CorrDiff는 킬로미터 단위 해상도로 날씨 예측을 재정의하는 보정 확산 모델 접근 방식을 도입했습니다.

CorrDiff의 핵심은 생성 학습의 힘을 활용하여 전례 없는 정확도와 효율성으로 극심한 기상 현상의 세부 사항을 예측해야 하는 과제를 해결하는 것입니다.

CorrDiff 방법은 생성 학습을 더 짧은 길이의 스케일로 효과적으로 분리하여 극심한 기상 현상의 세밀한 세부 사항을 능숙하게 예측할 수 있게 해줍니다. 예를 들어, 25km 해상도의 예측으로 시작하여 2km 해상도의 예측을 생성하고자 할 수 있습니다.

핵심 과제는 해상도가 낮은 예보에서 누락된 세부 사항을 예측하여 더 세밀한 해상도 데이터와 유사하고 극한 기상 현상의 일관된 공간 구조를 포함하여 더 정확하고 세부적인 예보를 만드는 것입니다.

CorrDiff는 두 가지 주요 단계로 작동합니다. 먼저 회귀 모델이 세분화된 해상도 필드의 평균을 예측합니다. 그런 다음 두 번째 단계에서 CorrDiff는 초기 예측에서 포착되지 않은 누락된 세부 정보를 추가하여 이 추측을 구체화하여 현실과 더 잘 일치하도록 합니다.

결정적으로, 생성형 AI 접근 방식이기 때문에 CorrDiff는 저해상도 입력 데이터에 존재하지 않는 새로운 고해상도 필드를 합성할 수 있습니다. 또한 확산 모델의 본질적인 확률적 샘플링을 통해 하나의 거친 해상도 입력에 해당하는 많은 가능한 미세 해상도 상태를 생성하여 결과의 분포와 불확실성의 척도를 제공할 수 있습니다.

CorrDiff의 기본 개념은 처음부터 세밀한 해상도의 세부 사항을 직접 학습하는 것보다 초기 추측을 개선하는 데 필요한 수정 사항을 학습하는 것이 더 쉽다는 것입니다. 문제를 회귀 및 확산 단계로 세분화함으로써 CorrDiff는 거친 해상도 예측에서 사용할 수 있는 정보를 효과적으로 활용하여 더 세밀한 해상도에서 더 정확하고 상세한 예측을 생성할 수 있습니다.

전반적으로 CorrDiff는 일기 예보의 해상도를 개선하고, 새로운 변수를 합성하며, 기존의 저해상도 데이터와 모델을 활용하여 특정 지역(이 경우 대만)에 대한 보다 상세하고 정확한 예측을 생성하는 앙상블 상태를 제공하는 실용적인 접근 방식을 제공합니다. 이러한 실용성은 기존 방법보다 훨씬 빠르고 에너지 효율이 높은 놀라운 효율성으로 더욱 강조됩니다.

CorrDiff는 입력 벡터에서 사용할 수 없지만 입력과 상관관계가 있다고 가정된 출력도 합성할 수 있습니다. 즉, 자체 데이터 세트를 보유한 사용자는 자신의 사용 사례에 맞는 맞춤형 CorrDiff를 훈련하여 다양한 데이터 세트와 시나리오에서 CorrDiff의 적용 가능성과 유용성을 확장할 수 있습니다.

AI 기상 모델을 위한 NVIDIA Earth-2 소프트웨어 툴킷

NVIDIA Earth-2는 AI 날씨 모델의 훈련과 추론을 위한 강력한 기후 기술 도구 세트를 제공하며, 여기에는 NVIDIA Modulus와 Earth2Studio가 포함됩니다.

NVIDIA Modulus에서 AI 날씨 모델 훈련하기

AI 날씨 모델을 훈련하기 위해 오픈 소스 물리 기반 머신 러닝(physics-ML) 플랫폼인 NVIDIA Modulus를 사용할 수 있습니다.

엔지니어는 NVIDIA Modulus를 통해 물리 기반 예측 모델에 필적하고 이를 능가하는 현실적인 예측을 하는 AI 대리 모델을 구축할 수 있습니다. Modulus는 선도적인 글로벌 AI 기상 예측 모델의 학습 가능한 아키텍처, 예측에서 추가 변수를 도출하는 진단 모델, 다운스케일링을 위한 CorrDiff를 제공합니다.

Modulus에는 가장 일반적인 데이터 유형에 대한 데이터 로더와 같은 학습 파이프라인을 구축하기 위한 기능도 포함되어 있습니다. 이러한 기능은 대기 AI 모델 학습을 위한 워크플로우 예시에서 결합되어 있습니다. Modulus의 구성 요소는 처음부터 GPU를 최적으로 활용하고 대규모 훈련 설정으로 확장할 수 있도록 설계되었습니다.

각 대기 AI 모델에 대해 각 모델을 적합한 데이터 세트에서 훈련하는 워크플로우의 예가 Modulus에 포함되어 있습니다. 현재 Modulus는 몇 가지 예측 모델을 구현하고 있습니다:

구체형 푸리에 신경 연산자(Spherical Fourier Neural Operator) 아키텍처에 기반한 자체 AI 기반 글로벌 날씨 모델인 FourCastNet (FCN).
GraphCast와 유사한 계층적 아이코사헤드(icosahedral) 그래프 신경망(GNN).
경쟁력 있는 계절별-계절별 예측 능력을 입증한 최초의 글로벌 예측 모델인 DLWP를 기반으로 하는 등면적 그리드를 사용한 물리 기반의 AI 예측 방법인 DLWP-HEALPix.
비전 트랜스포머 아키텍처를 기반으로 구축된 Pangu-Weather, FengWu, SwinVRNN과 같은 다른 모델도 곧 출시될 예정입니다.

자세한 정보 및 액세스 권한은 /NVIDIA/modulus GitHub 리포지토리를 참조하세요.

이러한 글로벌 일기 예보 모델은 대기 상태를 제때에 진행하는 데 필요한 지표면 및 기압 수준에 대한 일련의 변수를 예측합니다.

강수량이나 글로벌 기상 모델 백본에서 예측 가능하다고 가정한 사용자 지정 데이터 스트림의 기타 변수처럼 글로벌 모델에 포함되지 않은 변수에 관심이 있는 경우가 많습니다.

진단 모델은 대기 상태를 시간에 따라 발전시키지 않고 기존 대기 상태를 기반으로 원하는 수치를 동시에 도출합니다. 진단 모델과 예측 모델을 결합하면 후자를 재학습하지 않고도 추가 변수를 예측할 수 있습니다.

Modulus에는 사용 사례에 필요한 변수 집합에 대한 진단 모델을 훈련하는 방법도 포함되어 있습니다. 진단 모델을 사용해 보려면 강수량 예측 모델에 대한 체크포인트를 참조하세요.

Earth2Studio를 통한 AI 기상 모델 추론

개발자와 연구자가 AI 날씨 및 기후 추론 워크플로우를 더 쉽게 실험, 구축, 커스터마이징할 수 있도록 NVIDIA Earth-2는 오픈 소스 Python 패키지인 Earth2Studio를 개발했습니다. 이 패키지는 NVIDIA Modulus 24.04 릴리스에서 제공될 예정입니다.

Earth2Studio는 다양한 추론 워크플로우에 필요한 일반적으로 사용되는 모델, 데이터 소스, 섭동(perturbation) 방법, IO 모듈 등을 제공하는 동시에 확장 및 커스터마이징을 쉽게 할 수 있도록 하는 것을 목표로 합니다.

다음과 같은 일반적인 공개 온라인 데이터 소스 API에 바로 액세스할 수 있습니다:

Earth2Studio에서 사전 학습된 모델 모음에 액세스할 수 있으며, 사용 사례에 맞는 AI 기상 모델을 통합하기 위한 시작점으로 더 많은 모델이 추가될 예정입니다:

FourCastNet
Modulus GraphCast
Pangu-Weather
LWP

FCN과 같은 모델은 NGC 카탈로그에서 쉽게 구할 수 있으며, Earth2Studio에는 자동으로 다운로드하여 디바이스에 캐싱하는 루틴이 포함되어 있습니다. 일부 모델은 ECMWF에서 호스팅하는 PanguWeather 체크포인트와 같은 외부 소스에서 로드됩니다.

Earth2Studio는 예측 및 진단 모델을 추론하기 위한 사용자 지정 워크플로우를 적은 노력으로 구축할 수 있도록 하는 것을 목표로 합니다. 여기에는 몇 줄의 코드만으로 결정론적 및 앙상블 기반 예측과 검증을 위한 일련의 공통 워크플로우가 포함되어 있습니다.

다음 코드 예제는 Earth2Studio를 통해 단 8줄의 코드로 FourCastNet 모델을 활용하여 결정론적 예측을 생성하는 방법을 보여줍니다.

from earth2studio.models.px import FCN
from earth2studio.data import GFS
from earth2studio.io import ZarrBackend
import earth2studio.wf_simple as wf
  
# Load FourCastNet pretrained model
model = FCN.load_model(FCN.load_default_package())
# Create the data source
data = GFS ()
# Create the Zarr IO
io = ZarrBackend()
# Run 20 steps of inference
output_datastore = wf.run([ “2024-01-01” ], 20, model, data, io)

그림 1은 예측의 마지막 시간 간격에서 생성된 총 컬럼(column) 수증기 필드를 보여줍니다.

NVIDIA Modulus에서 CorrDiff 훈련하기

이 예는 초고해상도 및 새로운 채널 합성을 보여 주는 것으로, 대만 주변 25km의 ERA5 데이터를 2km 데이터로 변환하도록 CorrDiff를 훈련합니다.

이 데이터는 대만 중앙 기상청(CWA)에서 고해상도 지역 수치 기상 예측 모델을 사용하여 생성되었습니다. 이 데이터 세트는 CC BY-NC-ND 4.0 라이선스에 따라 비상업적 용도로 사용할 수 있으며 NGC에서 다운로드할 수 있습니다. 모델 훈련에 대한 구체적인 지침에 대한 자세한 내용은 /NVIDIA/modulus GitHub 리포지토리의 시작하기 섹션을 참조하세요.

사용 편의성 외에도 NVIDIA Modulus의 주요 이점은 성능 최적화입니다. 현재 CorrDiff를 훈련하려면 NVIDIA A100 또는 NVIDIA H100 GPU에서 2~3K GPU 시간이 필요하며, CorrDiff 팀은 훈련 절차를 더욱 최적화하기 위해 노력 중입니다. 유사한 하드웨어에서 초고해상도 샘플 하나를 단 몇 초 만에 생성할 수 있습니다.

Modulus를 통해 CorrDiff 추론하기

*그림 2.* *생성형 AI 기반 다운스케일링을 위한 CorrDiff 접근 방식*
*(출처:* Km급 애트머스피어 다운스케일링을 위한 잔여 확산 모델링)

동일한 CorrDiff 예제에는 저해상도 ERA5 조건부(25km 입력)를 기반으로 고해상도 날씨의 조건부 샘플을 생성하는 추론 스크립트도 포함되어 있습니다.

샘플을 생성하고 NetCDF 파일에 저장하는 지침에 대한 자세한 내용은 /NVIDIA/modulus GitHub 리포지토리를 참조하세요. 추론을 실행하려면 회귀 및 확산 모델 모두에 대한 Modulus 체크포인트가 필요합니다. 이러한 체크포인트는 훈련 파이프라인의 일부로 저장됩니다.

자세한 내용과 액세스 방법은 NGC 카탈로그에서 CorrDiff 추론 패키지를 참조하세요.

대만 상공의 폭풍 추적

극한 기상 문제에 대한 CorrDiff의 사용 사례의 예로 대만 상공의 폭풍 추적 문제를 제시합니다.

글로벌 AI 예보 모델은 폭풍의 진로를 예측하는 데 탁월하지만, 해상도가 25km로 제한되어 있어 폭풍 관련 피해에 중요한 가장 강한 바람과 강수량을 포함하는 미세한 규모의 세부 사항을 포착할 수 없기 때문에 그 효율성이 저해됩니다.

25km의 해상도에서는 ERA5 입력 데이터에서 태풍의 구조가 제대로 해상되지 않아 태풍의 크기와 강도가 부정확하게 표현되는 경우가 많습니다. 또한 물리적 위험과 관련된 아이월과 레인밴드의 주요 공간 세부 정보가 누락되어 있습니다.

연간 강우량이 전 세계 평균의 약 3배에 달하는 2,600mm로 세계에서 가장 습한 지역 중 하나로 유명한 대만은 연평균 6억 5,000만 달러의 재해 비용에 직면해 있습니다. 이러한 재정적 부담은 계절성 태풍이 섬에 상당한 강우량을 축적하여 광범위한 홍수로 인해 인명 및 재산 피해가 발생하고 대규모 대피 노력이 필요하기 때문에 발생합니다.

재난 위험은 위험의 심각성과 빈도, 위험에 노출된 사람과 자산의 수, 피해에 대한 취약성의 조합으로 간주됩니다. 그림 3은 2022년 6차 평가 보고서의 영향, 적응, 취약성에 대한 IPCC의 도식입니다.

*그림 3.* *점점 더 복잡해지는 기후 관련 위험*
*(출처:* IPCC AR6, WG2, 1장, 146-147페이지)

대만 국립재해경감센터(NCDR)는 태풍 대응을 위한 4단계 접근법을 제시하고 있습니다(그림 4).

처음 두 단계인 개시 및 준비 단계에서는 위험을 분석하고 재난 경보를 발령하는 데 집중합니다. 3단계와 4단계인 대응 및 복구 단계에서는 재난을 모니터링하고 대응 조치를 실행하는 데 전념합니다.

NVIDIA 기술은 이러한 과제를 해결할 수 있습니다.

AI 일기 예보의 향상은 1단계와 2단계의 위험 분석을 개선할 수 있는 잠재력을 가지고 있습니다. 특히 더 높은 해상도와 더 큰 앙상블을 통해 일기 예보 기술을 개선함으로써 노출 위험을 보다 포괄적으로 평가할 수 있습니다.

획기적인 NVIDIA의 생성형 AI 확산 모델인 CorrDiff는 대만 CWA에서 제공하는 고해상도 레이더 통합 WRF 데이터와 유럽 중거리 기상 예보 센터에서 제공하는 ERA5 재분석 데이터로 학습됩니다.

CorrDiff를 통해 태풍과 같은 기상이변 현상에 대한 예측을 25km 해상도에서 2km 해상도로 크게 향상시킬 수 있습니다.

이 게시물에서는 ERA5 25km에서 2km로 해상도를 낮추면 태풍의 최상의 경우, 최악의 경우, 가장 가능성이 높은 영향에 대한 명확한 그림을 제공하는 것을 목표로 더 많은 지역 예보 시나리오를 탐색할 수 있음을 보여주었습니다.

불확실성을 평가하는 것은 매우 중요합니다. 그러나 한정된 계산 리소스를 고려할 때 앙상블 예측 멤버의 수와 해상도 사이에는 절충점이 있습니다. NCDR은 다양한 해상도를 가진 약 200개의 앙상블 멤버로 구성된 예측을 생성합니다.

CorrDiff와 같은 최첨단 AI 기술의 도입은 중요한 변화를 의미합니다. 이 기술은 단일 GPU 노드에서 거의 실시간으로 앙상블 예측을 위한 멤버를 최대 수천 명까지 확장할 수 있는 기능을 제공합니다.

대만 기상청(CWA)의 관리자인 Chia-Ping Cheng은 NVIDIA 생성형 AI CorrDiff 모델의 혁신적인 잠재력을 언급하며 일기 예보에 혁신을 일으킬 수 있다고 강조합니다. 청은 CorrDiff를 통해 킬로미터 단위의 일기 예보를 생성함으로써 사회가 전례 없는 정확도로 극한 기상 현상의 세부적인 특징을 예측하여 재난 완화 노력을 지원할 수 있게 되었다고 강조했습니다.

대만 국립재해경감과학기술센터의 책임자인 혼지 첸은 자연재해의 다양하고 전례 없는 영향에 대처하는 데 있어 CorrDiff의 중요성을 강조합니다. 첸은 공공 안전을 보장하기 위한 창의적인 솔루션으로 CorrDiff를 강조합니다.

AI 날씨의 대중화와 기후 기술 활성화

요약하자면, NVIDIA Earth-2는 날씨 정보에 대한 액세스를 민주화하고 기후 과학의 범위를 학계를 넘어 정책 입안자, 기업, 언론인, 일반 대중이 쉽게 접근할 수 있도록 하는 현대적인 이니셔티브를 구현합니다.

최첨단 NVIDIA 생성형 AI 기반 다운스케일링 모델인 CorrDiff는 다양한 분야에서 잠재력을 발휘합니다:

금융 서비스 분야에서 CorrDiff는 사용자가 위험 평가 및 자산 관리와 관련하여 정보에 입각한 의사 결정을 내릴 수 있도록 지원합니다.
에너지 부문에서는 에너지 생산 및 분배를 최적화하는 데 중요한 자원 할당 및 인프라 계획을 개선할 수 있는 CorrDiff의 정밀한 다운스케일링 기능을 활용할 수 있습니다.
정부 기관은 재난 대비 및 대응 노력을 강화하기 위해 CorrDiff의 이점을 활용할 수 있습니다.
개인 사용자는 일상적인 계획과 안전을 위해 보다 정확하고 지역화된 일기 예보를 통해 CorrDiff의 영향력을 체감할 수 있습니다.

놀라운 적응성과 효율성을 갖춘 CorrDiff는 실행 가능한 인사이트와 정확한 예측을 통해 우리 모두가 보다 탄력적인 세상을 만드는 데 힘을 실어줄 수 있습니다.