NVIDIA는 로렌스 버클리 국립연구소(Lawrence Berkeley National Laboratory, Berkeley Lab)와 협력하여, 극한 기상 예측을 위한 머신러닝 도구인 Huge Ensembles(HENS)를 발표했습니다. 이 도구는 슈퍼컴퓨터급 예측 성능을 제공하면서도 훨씬 적은 연산 자원과 비용으로 동작합니다. HENS는 오픈소스 코드 또는 바로 실행 가능한 모델 형태로 제공되며, 장기 폭염부터 100년 빈도의 허리케인까지 발생 확률은 낮지만 영향력이 큰 사건들을 예측할 수 있습니다. 이 기술은 기후 과학자, 도시 당국자, 재난 대응 관리자들이 적은 컴퓨팅 자원으로도 시나리오를 신속히 실험하고 대응 계획을 업데이트를 지원합니다.
기후 모델링 분야 저널인 Geoscientific Model Development에 발표된 이번 두 편의 연구는, HENS라는 기법을 통해 2만 7천 년 분량의 데이터를 생성하는 방법을 소개합니다. 이는 현재까지 공개된 기후 및 날씨 시뮬레이션 앙상블 중 가장 크고 신뢰도 높은 집합 중 하나입니다.
연구팀은 NVIDIA의 PhysicsNeMo와 Makani 오픈소스 프레임워크를 활용해 전 지구적 기상 모델을 학습시키고, HENS 기법을 정교화했습니다. PhysicsNeMo는 물리학 기반 AI 모델을 대규모로 구축하고 학습하며 파인튜닝할 수 있는 파이썬 기반 오픈소스 프레임워크입니다.
“2만 7천 년 분량의 시뮬레이션은 극한 기상 현상의 통계와 원인을 연구하는 데 있어 그야말로 금광과도 같은 자산입니다.” — Ankur Mahesh, 공동 저자이자 버클리 연구소 지구환경과학부의 대학원 연구원
연구에 따르면, HENS는 기존 기법들보다 훨씬 빠르게 날씨를 예측할 수 있으며, 몇 시간이 아닌 몇 분 만에 결과를 생성합니다. 또한 예측 가능 시간을 확장하여, 극한 기상 현상을 6시간에서 최대 14일 앞까지, 25km 해상도로 예측할 수 있습니다. 이를 통해 연구자들은 수십 년 동안의 고해상도 날씨 패턴을 분석하고, 극한 사건이 발생하기 전의 새로운 단서들을 발견할 수 있습니다.
“HENS 덕분에 우리는 이제 단기적인 사건이 아니라 수년 혹은 수십 년 단위로 발생하는 저확률·고위험 기상 사건까지 예측할 수 있게 되었습니다.” — Bill Collins, 수석 공동 저자이자 버클리 연구소 지구환경과학부 수석 과학자 및 UC 버클리 교수
Collins는 이 새로운 접근 방식이 기존 방법보다 훨씬 적은 에너지와 인력을 필요로 하며, 정확도를 유지하기 위한 모델 재학습 또한 더 빠르게 수행할 수 있어 에너지 절감 효과까지 기대할 수 있다고 덧붙였습니다.
HENS 훈련: PhysicsNeMo와 40년의 기후 데이터
HENS는 PhysicsNeMo를 사용해 ERA5 데이터의 40년치를 학습에 활용합니다. ERA5는 역사상 기상 상태를 기록한 자료 중 최고 수준의 데이터 출처 중 하나입니다. 학습이 완료되면 이 모델은 예측을 위해 훨씬 적은 연산량으로 작동하는 접근 방식을 제공합니다. 이 점은 Berkeley Lab의 NERSC(Department of Energy’s National Energy Research Scientific Computing Center) 소속 머신러닝 엔지니어인 Shashank Subramanian이 Mahesh와 함께 학습 및 평가 워크플로우를 개발하고 테스트하는 과정에서 강조했습니다.
“지금까지는 시뮬레이션 앙상블을 1,000명 또는 10,000명 규모로 생성하는 것은 계산 비용과 데이터 저장 비용이 너무 커서 현실적이지 않았습니다,”라고 공동 저자이자 NVIDIA의 기후 시뮬레이션 연구 책임자이며 UC Irvine 교수인 Michael Pritchard는 말했습니다. “이 팀이 새 AI 시뮬레이션 기술을 정밀하게 보정한 덕분에, 전통적인 수치 시뮬레이션 방식보다 훨씬 빠른 속도로, 현실성 있는 폭염 대안 시나리오(heat wave counterfactuals)를 포함한 대규모 앙상블을 생성할 수 있게 되었습니다.”
기상 예측 정확도를 HENS로 어떻게 향상시킬 수 있을까요?
국가 기상청은 미래 날씨의 다양한 가능성을 포착하기 위해, 초기 조건을 약간씩 다르게 설정한 수십 개의 시뮬레이션(‘앙상블 멤버’)을 실행합니다. 이들 수치 모델은 질량 보존, 운동량 보존, 에너지 보존과 같은 물리 법칙을 기반으로 하기 때문에 신뢰도가 높지만, 슈퍼컴퓨터가 필요할 정도로 계산 비용이 매우 큽니다.
이처럼 높은 비용으로 인해 기존 기상 모델은 50개 내외의 앙상블 멤버만 운용할 수 있습니다. 하지만 극한 날씨를 탐지하려면, 초기 조건을 수천 번이나 변형해 수백 시간의 슈퍼컴퓨터 연산이 필요합니다.
연구진은 HENS를 활용해, 역대 가장 더웠던 2023년 여름의 매일 초기 기상 조건을 바탕으로 7,424개의 앙상블 멤버를 생성했습니다. 이는 기존 모델 대비 약 150배 더 많은 수치입니다. 각각의 앙상블 멤버는 서로 다른 날씨 시나리오를 나타냅니다.
“이 덕분에 우리는 확률 분포의 꼬리 부분을 더 잘 추정할 수 있었고, 그 여름에 발생할 수도 있었던 극한 기상 현상을 더 깊이 이해할 수 있었습니다,”라고 Mahesh는 설명합니다.
HENS가 생성한 예측값의 불확실성은 기존 모델보다 10배 이상 작습니다. 또한 다른 모델이 놓치기 쉬운, 희귀하지만 심각한 기상 이변의 96%를 포착할 수 있습니다. 이러한 강점을 바탕으로 연구팀은 약 2만7천 년 분량에 달하는 기후 데이터를 생성했으며, 그 규모는 약 20페타바이트에 달합니다.
NERSC에서 수행한 엄격한 검증 실험에서는, Mahesh와 연구팀이 다양한 진단 지표에 따라 앙상블 예측 성능을 평가한 결과, HENS는 ‘골드 스탠다드’ 모델에 매우 근접한 성능을 보였습니다.
다음 단계는?
Mahesh는 앞으로의 연구에서, 연구팀이 2만7천 년 분량의 시뮬레이션 데이터를 분석해 최근 몇 년간 지역 사회에 막대한 피해를 준 파괴적인 폭염, 허리케인, 대기강수대 등과 같은 저확률 고충격 사건의 원인을 새롭게 규명하고자 한다고 밝혔습니다. 또한 HENS 실행에 필요한 계산 자원을 더욱 줄이는 것도 목표로 하고 있습니다.
관련 자료
- GitHub에서 제공되는 HENS 오픈소스 코드 및 학습 완료 모델
- HENS 관련 연구 논문:
NERSC는 버클리 연구소의 미국 에너지부(DoE) 과학국 사용자 시설입니다. 본 연구는 에너지부 과학국의 지원을 받아 수행되었습니다.
