AI로 움직이는 로봇과 자율 기계의 개발 및 배포 속도는 계속해서 빠르게 증가하고 있습니다. 차세대 애플리케이션은 동시에 실행되는 멀티모달 AI 애플리케이션을 실시간으로 처리해야하기 때문에 크게 향상된 AI 컴퓨팅 성능을 필요로 합니다.
인간과 로봇의 상호 작용은 일반 상점, 음식 배달, 병원, 창고, 작업 현장 및 기타 상업 분야에서 증가하고 있습니다. 이때 자율 로봇은 각 응용 프로그램에 대한 상당한 계산 성능과 매우 정확한 훈련된 신경 모델을 필요로 하는 3D 인식, 자연어 이해, 경로 계획, 장애물 회피, 포즈 예측(Pose Estimation)을 동시에 수행해야 합니다.
NVIDIA Jetson AGX Orin 모듈은 NVIDIA Jetson 제품군 중 가장 성능이 뛰어난 최신 모델입니다. 이러한 모듈은 동급 최고의 에너지 효율로 엄청난 성능을 제공합니다. 이들은 포괄적인 NVIDIA AI 소프트웨어 스택을 실행하여 차세대 엣지 AI 애플리케이션에 전력을 공급합니다.
Jetson AGX Orin과 Jetson Orin NX 시리즈
GTC Spring 2022에서 Jetson Orin 모듈 4개가 2022년 4분기에 출시될 것이라고 발표했습니다. 초당 최대 275테라 연산(TOPs)의 성능을 제공하는 Jetson Orin 모듈은 엔드 투 엔드 애플리케이션 파이프라인 가속으로 엣지에서의 서버 클래스 AI 모델을 실행할 수 있습니다. Jetson Xavier 모듈에 비해 Jetson Orin은 최신 AI 애플리케이션에 훨씬 더 높은 성능, 전력 효율성 및 추론 기능을 제공합니다.
| JETSON AGX XAVIER 64GB | JETSON AGX ORIN 64GB |
| 32 DENSE INT8 TOPS | 275 SPARSE|138 DENSE, INT8 TOPS |
| 10W to 30W | 15W to 60W |
| $1,299 (1KU+) | $1,599 (1KU+) |
| JETSON XAVIER NX 8GB | JETSON AGX ORIN 32GB |
| 32 DENSE INT8 TOPS | 200 SPARSE|100 DENSE, INT8 TOPS |
| 10W to 30W | 15W to 40W |
| $899 (1KU+) | $899 (1KU+) |
| JETSON XAVIER NX 16GB | JETSON ORIN NX 16GB |
| 21 DENSE INT8 TOPS | 100 SPARSE|50 DENSE, INT8 TOPS |
| 10W to 20W | 10W to 25W |
| $499 (1KU+) | $599 (1KU+) |
| JETSON XAVIER NX 8GB | JETSON ORIN NX 16GB |
| 21 DENSE INT8 TOPS | 70 SPARSE|35 DENSE, INT8 TOPS |
| 10W to 20W | 10W to 20W |
| $399 (1KU+) | $399 (1KU+) |
Jetson AGX Orin 시리즈는 Jetson AGX Orin 64GB와 Jetson AGX Orin 32GB 모듈을 포함합니다.
- Jetson AGX Orin 64GB는 15W~60W 전력으로 활용가능하며 최대 275 TOPs의 성능을 제공합니다.
- Jetson AGX Orin 32GB는 15W~40W 전력으로 활용가능하며 최대 200개의 TOPs를 제공합니다.
이 모듈은 동일한 컴팩트 폼 팩터로 Jetson AGX Xavier 시리즈 모듈과 핀 호환되므로 동일한 가격에 최대 6배의 성능 업그레이드를 제공합니다.
엣지 및 임베디드(Embedded) 시스템은 센서의 수, 성능 및 대역폭이 증가함에 따라 계속 활용되고 있습니다. Jetson AGX Orin 시리즈는 이러한 센서를 처리하기 위한 추가 컴퓨팅뿐만 아니라 다음과 같은 추가 I/O도 제공합니다.
- 최대 22 레인(lane)의 PCIe Gen4
- 10Gb 이더넷(Ethernet) 4개
- 고속 CSI 레인
- 64GB eMMC 5.1로 스토리지 2배 증가
- 메모리 대역폭 1.5배
자세한 내용은 Jetson Orin 제품 페이지 및 Jetson AGX Orin Series 데이터 시트를 참조하세요.
USB 3.2, UFS, MGBE 및 PCIe는 UPHY 레인(Lane)을 공유합니다. 지원되는 UPHY 구성은 설계 가이드를 참조하세요.
NVIDIA Orin NX 시리즈는 최대 100 TOPs의 AI 성능을 가진 Jetson Orin NX 16GB와 최대 70 TOPs의 Jetson Orin NX 8GB가 있습니다. 이 시리즈는 Jetson Xavier NX와 유사한 설계를 따랐습니다. NVIDIA Orin 아키텍처를 도입하였고 가장 작은 Jetson 폼 팩터인 저전력 260핀 SODIMM을 제공하고 있습니다.
드론이나 휴대용 장치와 같은 차세대 소형 폼팩터 제품에 이러한 높은 수준의 성능을 제공할 수 있습니다. Jetson Orin NX 16GB는 10W와 25W 사이에서 구성 가능한 전력을 제공하며 Jetson Orin NX 8GB는 10W와 20W 사이에서 구성 가능한 전력을 제공합니다.
Orin NX 시리즈는 Jetson Xavier NX 시리즈와 호환되는 폼 팩터로 같은 가격에 최대 5배, 최대 3배 성능을 제공합니다. 또한 Orin NX 시리즈는 최대 7개의 PCIe 레인과 3개의 10Gbps USB 3.2 인터페이스를 갖춘 추가 고속 I/O 기능을 제공합니다. 스토리지의 경우 추가 PCIe 레인을 활용하여 외부 NVMe에 연결할 수 있습니다. 자세한 내용은 Jetson Orin 제품 페이지를 참조하세요.
Jetson AGX Xavier는 NVIDIA Xavier SoC를 기반으로 설계되었으며, 이는 자율 시스템을 위해 개발된 최초의 아키텍처입니다. NVIDIA Orin 아키텍처는 Jetson AGX Xavier을 한 단계 업그레이드합니다. 다양한 온-칩(On-chip) 프로세서를 계속 선보이며 더 큰 기능, 더 높은 성능 및 더 높은 전력 효율성을 제공합니다.
Jetson Orin 모듈에는 다음이 포함됩니다:
- 최대 2048개의 CUDA 코어 및 최대 64개의 텐서 코어를 지원하는 NVIDIA Ampere 아키텍처 GPU
- 최대 12개의 Arm A78AE CPU 코어
- 2개의 차세대 딥 러닝 가속기(DLA)
- 컴퓨터 비전 가속기
- GPU와 CPU를 오프로드하는 다양한 프로세서:
- 비디오 인코더
- 비디오 디코더
- 비디오 이미지 컴포지터(Compositor)
- 이미지 시그널 프로세서
- 센서 처리 엔진
- 오디오 처리 엔진
다른 Jetson 모듈과 마찬가지로 Jetson Orin은 SOM(System-on-Module) 설계를 사용하여 제작되었습니다. 모든 처리, 메모리 및 전원 레일은 모듈에 포함되어 있습니다. 모든 고속 I/O는 699핀 커넥터(Jetson AGX Orin 시리즈) 또는 260핀 SODIMM 커넥터(Jetson Orin NX 시리즈)를 통해 사용할 수 있습니다. 이 SOM 설계를 통해 시스템 설계에 모듈을 쉽게 통합할 수 있습니다.
Jetson AGX Orin 개발자 키트
GTC 2022에서 NVIDIA는 또한 Jetson AGX Orin 개발자 키트의 출시를 발표했습니다. 개발자 키트에는 빠르게 시작하고 실행하는 데 필요한 모든 것이 포함되어 있습니다. 최고 성능을 자랑하는 Jetson AGX Orin 모듈을 포함하며 세계 최고 수준의 딥러닝 소프트웨어 스택을 구동합니다. 이 키트는 현재와 미래를 위한 정교한 AI 솔루션을 만들 수 있는 유연성을 제공합니다.
이 개발자 키트는 컴팩트한 사이즈, 고속 인터페이스 및 많은 커넥터를 통해 첨단 AI 구동 로봇과 제조, 물류, 소매, 서비스, 농업, 스마트 시티, 의료, 생명과학 등을 위한 엣지 애플리케이션을 프로토타이핑하기에 완벽합니다.
Jetson AGX Orin 개발자 키트 특징:
- NVIDIA Ampere 아키텍처 GPU 및 12코어 Arm Cortex-A78AE CPU 64비트 CPU, 차세대 딥 러닝 및 비전 가속기
- 여러 AI 애플리케이션 파이프라인을 동시에 공급할 수 있는 고속 I/O, 204.8GB/s의 메모리 대역폭 및 32GB의 DRAM
- SDK 및 소프트웨어 플랫폼을 지원하는 강력한 NVIDIA AI 소프트웨어 스택:
- NVIDIA JetPack
- NVIDIA Riva
- NVIDIA DeepStream
- NVIDIA Isaac
- NVIDIA TAO
Jetson AGX Orin 개발자 키트는 최신 NVIDIA JetPack 5.0 소프트웨어를 실행합니다. NVIDIA JetPack 5.0은 Jetson AGX 개발자 키트를 사용하여 Jetson Orin NX 및 Jetson AGX Orin 시리즈 모듈의 성능과 클럭(clock) 주파수를 모방할 수 있습니다. 지금 바로 해당 모듈에 대한 개발을 시작할 수 있습니다.
Jetson AGX Orin Developer Kit는 전 세계 NVIDIA 공인 판매업체를 통해 구입할 수 있습니다. 지금 시작 안내서에 따라 시작하십시오
동급 최고의 성능
Jetson Orin은 당신의 애플리케이션에 큰 도약을 선사합니다. Jetson AGX Orin 개발자 키트를 사용하여 컴퓨터 비전과 대화형 AI를 위한 매우 정확하고 Production-ready가 된 Pretrained-model 성능의 평균치을 얻을 수 있었습니다. 테스트에는 다음과 같은 벤치마크가 포함되었습니다.
- 사용자 탐지를 위한 NVIDIA PeopleNet
- NVIDIA ActionRecognitionNet 2D 및 3D 모델
- 번호판 인식을 위한 NVIDIA LPRNet
- 다인용 포즈(Pose) 측정을 위한 NVIDIA DashcamNet, BodyPoseNet
- 음성 인식을 위한 Citrinet-1024
- 자연어 처리를 위한 BERT-base
- 텍스트 음성 변환을 위한 FastPitchHifiGanE2E
NVIDIA JetPack 5.0 Developer Preview로 Jetson AGX Orin은 Jetson AGX Xavier에 비해 성능이 3.3배 향상되었습니다. 향후 소프트웨어 개선을 통해 성능이 5배 가까이 향상될 것으로 예상됩니다. Jetson AGX Xavier의 성능은 NVIDIA JetPack 4.1.1 Developer Preview보다 1.5배 향상되었습니다.
벤치마크는 Jetson AGX Orin Developer Kit에서 실행되었습니다. PeopleNet과 DashcamNet은 GPU와 두 DLA에서 동시에 실행할 수 있는 고밀도 모델의 예를 제공합니다. DLA는 GPU에서 동작하는 일부 AI 응용 프로그램을 오프로등하는데 사용될 수 있으며, GPU와 병렬로 동작할 수 있습니다.
PeopleNet, LPRNet, DashcamNet 및 BodyPoseNet은 Jetson에서 실행되는 고밀도 INT8 벤치마크의 예를 제공합니다. Action RecognitionNet 2D 및 3D와 대화형 AI 벤치마크는 고밀도 FP16 성능의 예를 제공합니다. 이 모든 모델은 NVIDIA NGC에서 찾을 수 있습니다.
더나아가, 최신 MLPerf 산업 추론 벤치마크에서 NVIDIA는 계속해서 상위를 차지하며 Jetson Orin은 엣지에서의 AI에 대한 기준을 높이고 있습니다. Jetson AGX Orin은 Jetson AGX Xavier의 이전 결과와 비교하여 이러한 MLPerf 벤치마크에서 최대 5배 향상된 성능을 제공하는 동시에 평균 2배의 에너지 효율성을 제공합니다.
Jetson 소프트웨어를 통한 제품 출시 기간 단축
Jetson Orin의 동급 최고의 성능과 에너지 효율은 GPU 가속 데이터 센터, 하이퍼스케일 서버 및 강력한 AI 워크스테이션에 구축된 것과 동일한 강력한 NVIDIA AI 소프트웨어를 통해 지원됩니다.
NVIDIA JetPack은 Jetson 플랫폼의 기본 SDK입니다. NVIDIA JetPack은 하드웨어 가속 AI-at-the-edge 개발을 위해 완벽한 개발 환경을 제공합니다. Jetson Orin은 다음을 포함하는 NVIDIA JetPack 5.0에서 지원됩니다.
- LTS Kernel 5.10
- Ubuntu 20.04 기반 루트 파일 시스템
- A UEFI-기반 부트로더(bootloader)
- CUDA 11.4, TensorRT 8.4 및 cuDNN 8.3이 포함된 최신 컴퓨팅 스택
NVIDIA JetPack 5.0은 Jetson Xavier 모듈도 지원합니다.
NVIDIA는 Jetson 플랫폼에서 완전히 가속화된 애플리케이션을 신속하게 개발할 수 있도록 다양한 사용 사례에 적합한 애플리케이션 프레임워크를 제공합니다.
- DeepStream을 통해 전 AI 애플리케이션 및 서비스를 신속하게 개발하고 배포합니다. DeepStream은 엔드 투 엔드 AI 파이프라인 가속을 위한 하드웨어 가속 플러그인을 제공하기 때문에 추론을 넘어 하드웨어 가속을 제공합니다.
- NVIDIA Isaac은 하드웨어 가속 ROS 패키지를 제공하여 ROS 개발자가 고성능 로봇 솔루션을 쉽게 구축할 수 있도록 지원합니다.
- Omniverse로 구동되는 NVIDIA Isaac Sim은 사진 사실적(Photo-realistic)이고 물리적으로 정확한 가상 환경에 AI 기반 로봇을 개발, 테스트, 관리할 수 있는 도구입니다.
- NVIDIA Riva는 자동 음성 인식(ASR) 및 TTS(텍스트 투 스피치)를 위한 최첨단 Pretrained-model을 제공합니다. 이 모델을 통해 GPU 가속 대화형 AI 애플리케이션을 신속하게 개발할 수 있습니다.
NVIDIA는 Production-ready가 된 정확한 AI 모델의 개발 시간 단축을 위해 훈련 데이터를 생성하고 모델을 훈련 및 최적화하며 AI 모델을 신속하게 구축할 수 있는 다양한 도구를 제공합니다.
합성 데이터 생성을 위한 NVIDIA Omniverse Replicator는 모델 훈련을 강화하는 고품질 데이터 세트를 만드는 데 도움이 됩니다. Omniverse Replicator를 사용하면 실제 환경에서는 만들기가 어려울 뿐만 아니라 불가능할 정도로 크고 다양한 합성 데이터 세트를 만들 수 있습니다. 모형을 훈련하는 데 실제 데이터와 함께 합성 데이터를 사용하면 모형 정확도를 크게 향상시킬 수 있습니다.
NGC의 NVIDIA Pretrained-model은 다양한 사용 사례에 적합한 매우 정확하고 최적화된 모델과 모델 아키텍처를 제공합니다. Pretrained-model은 Production-ready된 모델입니다. NVIDIA TAO(Train-Adapt-Optimize) 워크플로우를 사용하여 실제 데이터 또는 합성 데이터를 사용하여 이러한 모델을 추가로 사용자 지정하여 정확하고 즉시 구현할 수 있는 모델을 신속하게 구축할 수 있습니다.
로봇 사용 사례에서 Jetson AGX Orin에서 제공되는 NVIDIA의 기술을 확인해보세요.
다음 비디오에서 Jetson AGX Orin 개발자 키트의 모든 것에 대해 알아보세요.
NVIDIA Jetson Orin 모듈에 제공되는 모든 NVIDIA 기술에 대한 자세한 내용은 Jetson 소프트웨어 웨비나를 참조하세요.
자율 기계와 로보틱스의 새로운 시대
Jetson AGX Orin 개발자 키트를 주문하고 NVIDIA JetPack 5.0 SDK를 다운로드하여 Jetson Orin 모듈 4개를 모두 개발하세요. Jetson AGX Orin에 대한 추가 문서는 다운로드 센터에서 찾을 수 있습니다. 정보 및 지원을 받으려면 NVIDIA 임베디드 개발자 페이지 및 포럼을 방문하여 커뮤니티 전문가의 도움을 받으세요.
