신규 비디오: ChatGPT를 운영하는데 무엇이 필요할까요?

Reading Time: 2 minutes

몇 년 전, NVIDIA의 창립자 겸 CEO인 젠슨 황은 세계 최초의 NVIDIA DGX AI 시스템을 OpenAI에 선보였습니다. 그리고 현재 OpenAI의 ChatGPT는 전 세계를 강타하며 인공지능(AI)의 이점과 기능, 그리고 이를 중소기업이든 대기업이든 모든 산업과 비즈니스에 어떻게 적용할 수 있는지를 강조하고 있습니다.

그렇다면 ChatGPT를 호스팅하고 지원하는 데 필요한 기술과 인프라에 대해 생각해 본 적이 있나요?

이 비디오에서는 Microsoft Azure CTO인 Mark Russinovich가 특수 목적으로 구축된 AI 슈퍼컴퓨터 인프라의 기술 스택에 대해 설명합니다. 이 인프라는 어떤 규모에서든 ChatGPT 및 기타 대규모 언어 모델(LLM)을 호스팅하기 위해 NVIDIA와 Microsoft Azure가 OpenAI와 협력하여 개발했습니다.

주요 내용

데이터 병렬 처리 접근 방식을 통해 추론 성능은 30배, 모델 트레이닝 성능은 4배 더 높은 NVIDIA H100 Tensor 코어 GPU를 사용했습니다.
LLM의 더 높은 처리 요구 사항을 충족하기 위해 NVIDIA Quantum-2 InfiniBand 네트워킹으로 VM을 확장했습니다.
대규모 트레이닝에서는 서버 장애와 네트워크 플랩이 불가피합니다. Microsoft의 Project Forge는 투명한 체크포인팅을 도입하여 작업을 신속하게 재개하고 전 세계적으로 높은 수준의 활용도를 유지했습니다.
로우랭크 적응형(LoRA) 미세 조정은 수십억 개의 매개변수 모델을 대규모로 처리할 때 GPU 사용량과 체크포인트 크기를 줄여줍니다.
Wayve와 같은 업계 선구자들은 컴퓨팅 집약적인 워크로드를 위해 AI 슈퍼컴퓨터 인프라를 활용하고 있습니다.
곧 출시될 Azure의 NVIDIA H100 GPU를 통한 컨피덴셜 컴퓨팅 지원은 민감한 데이터를 보호하고 사용 중인 귀중한 AI 모델을 보호하여 AI를 위한 안전한 다자간 협업 사용 사례를 가능하게 합니다.