Robotics

NVIDIA Jetson Orin Nano 개발자 키트, “슈퍼” 부스트

NVIDIA Jetson Orin Nano 개발자 키트, “슈퍼” 부스트
Reading Time: 7 minutes

새로운 거대 언어 모델(LLM), 시각 언어 모델(VLM), 비전 언어 액션(VLA) 모델이 매일 등장하면서 생성형 AI 환경이 빠르게 진화하고 있습니다. 이 혁신적인 시대의 선두에 서기 위해 개발자는 클라우드에서 엣지까지 최신 모델을 원활하게 배포할 수 있을 만큼 강력한 플랫폼과 CUDA를 사용한 최적화된 추론 및 개방형 ML 프레임워크가 필요합니다.

로보틱스와 멀티모달 에이전트에서 생성형 AI 워크로드를 위한 새로운 애플리케이션을 지원하기 위해 NVIDIA는 소프트웨어 업데이트를 통해 최대 1.7배의 전례 없는 성능 향상과 함께 249달러라는 놀라운 새 가격으로 NVIDIA Jetson Orin Nano 개발자 키트를 새롭게 선보입니다. Jetson Orin Nano 개발자 키트는 최첨단 AI의 성능과 접근성을 대폭 향상시킨 점을 인정받아 NVIDIA Jetson Orin Nano Super 개발자 키트로 그 이름이 변경되었습니다.

Jetson Orin Nano 개발자 키트는 소프트웨어 업데이트만으로 Jetson Orin Nano Super 개발자 키트로 업그레이드할 수 있습니다.

본 게시물에서는 개발자 키트의 새로운 기능과 향상된 성능을 원활하게 활용하는 방법에 대해 알아보세요.

새로운 Jetson Orin Nano Super 개발자 키트

이제 Jetson Orin Nano Super 개발자 키트는 다음과 같은 향상된 기능을 제공합니다:

  • 1.7배 향상된 생성 AI 모델 성능.
  • 67 Sparse TOP으로 이전 40 Sparse TOP보다 크게 증가.
  • 102GB/s의 메모리 대역폭, 이전의 65GB/s 메모리 대역폭에서 크게 향상.
  • 1.5GHz에서 1.7GHz로 향상된 CPU 클럭 속도.
  • 499달러에서 249달러로 인하된 새로운 가격
비디오 1. NVIDIA Jetson Orin Nano Super 소개: 세계에서 가장 경제적인 생성형 AI 컴퓨터

동일한 하드웨어 아키텍처에서 GPU, 메모리 및 CPU 클럭을 증가시키는 새로운 전원 모드를 통해 이러한 성능 향상이 가능합니다. 기존의 모든 Jetson Orin Nano 개발자 키트는 최신 버전의 JetPack으로 업그레이드하여 새로운 파워 모드를 사용할 수 있습니다.

이러한 성능 향상을 통해 Jetson Orin Nano Super 개발자 키트는 최대 70% 더 높은 AI 생성형 성능을 제공하므로 새로운 클래스의 최신 트랜스포머 기반 모델을 실행할 수 있습니다. 이 작지만 강력한 시스템은 소형 모델부터 최대 8B 매개변수를 가진 모델(예: Llama-3.1-8B 모델)까지 광범위한 LLM, VLM, 비전 트랜스포머(ViT)를 손쉽게 처리할 수 있습니다.

Jetson은 다른 플랫폼과 동일한 ML 프레임워크와 최적화된 추론 인프라(예: HuggingFace Transformers, Ollama, llama.cpp, vLLM, MLC, NVIDIA TensorRT-LLM 등)를 지원합니다. 따라서 클라우드, 엣지, PC 간에 확장 가능한 솔루션을 신속하게 적용하고 배포하는 데 이상적인 선택입니다.

Jetson Orin Nano Super 개발자 키트 구성

NVIDIA Jetson Orin Nano 개발자 키트
(오리지널)
NVIDIA Jetson Orin Nano Super 개발자 키트
GPU NVIDIA Ampere 아키텍처

1,024 CUDA 코어

32 Tensor 코어

635 MHz
NVIDIA Ampere 아키텍처

1,024 CUDA 코어

32 Tensor 코어

1,020 MHz
AI PERF40 INT8 TOPS (Sparse)

20 INT8 TOPS (Dense)

10 FP16 TFLOPs 
67 TOPS (Sparse)

33 TOPS (Dense)

17 FP16 TFLOPs 
CPU6-core Arm Cortex-A78AE v8.2 64-bit CPU

1.5 GHz
6-core Arm Cortex-A78AE v8.2 64-bit CPU

1.7 GHz
메모리8GB 128-bit LPDDR5 

68 GB/s
8GB 128-bit LPDDR5 

102 GB/s
모듈 파워7W | 15W7W | 15W | 25W
Table 1. Jetson Orin Nano Super 개발자 키트 구성 비교

다양한 LLM, VLM 그리고 ViT를 실행

NVIDIA Jetson Orin Nano Super 개발자 키트는 임베디드 애플리케이션에 생성형 AI 기능을 도입하거나 합리적인 가격의 컴퓨터에서 최첨단 생성형 AI 모델을 경험하고자 하는 경우 획기적인 성능을 제공합니다.

LLM, VLM, 비전 트랜스포머(ViT)는 다양한 영역에서 혁신을 주도하는 혁신적인 AI 아키텍처입니다. 파운데이션 LLM은 일반화된 언어 처리와 인간과 유사한 텍스트 생성에 탁월하며, 스트리밍 음성 인식 및 합성 파이프라인인 NVIDIA Riva와 결합하면 자연스러운 인간/기계 인터페이스를 구현할 수 있습니다.

푸르닝(Pruning)과 Distillation와 같은 기술을 통해 대규모 모델과 경쟁하기 위해 빠르게 발전한 소규모 언어 모델(SLM)은 엣지 사용 사례에 최적화되어 있으며 일반적으로 파라미터 크기가 7B 미만인 것으로 알려져 있습니다.

오늘날 많은 개방형 LLM과 SLM은 일반적으로 에이전트 도구 사용과 구조화된 I/O를 통한 함수 호출을 위해 훈련되어 LLM 구문 분석과 추론을 실제 시스템에 연결하는 것이 일반적입니다.

LLM 파인튜닝과 메모리 효율적인 LoRA에 대한 지원도 NVIDIA NeMo를 비롯한 많은 ML 프레임워크에서 개선되어 애플리케이션별 도메인에서 SLM의 조정 및 전문화를 위한 잘 이해된 레시피를 사용할 수 있습니다.

ViT는 픽셀 패치를 임베딩으로 토큰화하여 비전에 트랜스포머의 성능을 활용합니다. 기본적인 작업 전반에서 최첨단 성능을 달성했습니다:

  • 특징 추출(Feature extraction)
  • 분류(Classification)
  • 탐지(Detection)
  • 세분화(Segmentation)
  • 포즈 추정(Pose estimation)

또한 3D 포인트 클라우드 및 비디오와 같은 고차원 모달리티로 확장하여 NVIDIA Cosmos Tokenizers를 사용할 수 있습니다. ViT는 추가적인 파인튜닝 없이도 다양한 주제 및 오브젝트 클래스에 대해 맞춤형 비전 기능과 오픈 어휘 언어 지원 및 동적 런타임 쿼리를 결합하는 창의적인 새로운 하이브리드 모델을 구현합니다.

VILA와 같은 VLM은 시각 및 텍스트 양식 전반에 걸쳐 ViT와 LLM을 융합하여 모델이 상세한 장면 설명을 이해하고 생성하며 관심 대상을 감지하고 OCR로 텍스트를 추출할 수 있도록 지원합니다. 이미지나 비디오 시퀀스에 대한 사용자 쿼리에 대한 응답으로 멀티모달 추론을 적용할 수 있습니다.

SLM과 유사한 축소 작업을 거친 VLM은 Jetson Platform Services의 레퍼런스 VLM 워크플로우에서와 같이 유연한 이벤트 기반 알림 및 요약 기능을 통해 카메라 스트림의 원격 모니터링에 적용하면 엣지 애플리케이션에 점점 더 유용해지고 있습니다.

이러한 기술은 함께 생성형 AI와 멀티모달 시스템과 실제 애플리케이션의 발전을 뒷받침합니다. 새로운 NVIDIA Jetson Orin Nano Super는 다양한 LLM, SLM, ViT 및 VLM에서 상당한 성능 향상을 제공하며, 물리 AI의 관문으로서 최신 트랜스포머 모델에 대한 실무 경험을 쌓기 위한 진입 장벽을 크게 낮췄습니다. 아래에서 몇 가지 인기 있는 LLM, VLM 및 ViT를 벤치마킹하여 Jetson Orin Nano Super 개발자 키트가 이전 버전에 비해 얼마나 빠른 속도를 제공하는지 살펴보겠습니다.

그림 1. Jetson Orin Nano Super 개발자 키트에서 LLM 성능 향상
ModelJetson Orin Nano (original)Jetson Orin Nano SuperPerf Gain (X)
Llama 3.1 8B1419.141.37
Llama 3.2 3B27.743.071.55
Qwen2.5 7B14.221.751.53
Gemma 2 2B21.534.971.63
Gemma 2 9B7.29.211.28
Phi 3.5 3B24.738.11.54
SmolLM24164.51.57
표 2. 인기 있는 LLM의 토큰/초 단위 벤치마크 성능
*MLC API를 사용한 INT4 양자화를 통한 LLM 생성 성능(초당 토큰 수).
그림 2. NVIDIA Jetson Orin Nano Super개발자 키트에서 VLM 성능 향상
ModelJetson Orin Nano (original)Jetson Orin Nano SuperPerf Gain (X)
VILA 1.5 3B0.71.061.51
VILA 1.5 8B0.5740.831.45
LLAVA 1.6 7B0.4120.571.38
Qwen2 VL 2B2.84.41.57
InternVL2.5 4B2.55.12.04
PaliGemma2 3B13.721.61.58
SmolVLM 2B8.112.91.59
표 3. 인기 있는 VLM의 토큰\초 단위 벤치마크 성능
*모든 VILA 및 LLAVA 모델은 MLC를 사용하여 INT4 정밀도로 실행되었으며, 나머지 모델은 허깅 페이스 트랜스포머를 사용하여 FP4 정밀도로 실행되었습니다.
그림 3. NVIDIA Jetson Orin Nano Super 개발자 키트에서 ViT의 성능 향상
ModelJetson Orin Nano (original)Jetson Orin Nano SuperPerf Gain (X)
clip-vit-base-patch321963141.60
clip-vit-base-patch16951611.69
DINOv2-base-patch14751261.68
SAM2 base4.426.341.43
Grounding DINO4.116.231.52
vit-base-patch16-224981581.61
vit-base-patch32-2241712731.60
표 4. 인기 있는 비전 트랜스포머의 초당 프레임 수 벤치마크 성능
*모든 ViT 모델은 NVIDIA TensorRT를 사용하여 FP16 정밀도로 실행되었습니다(측정값은 FPS 단위).

Jetson Orin Nano Super 개발자 키트 시작하기

향상된 성능을 즐기려면 JetPack SDK 페이지에서 SD 카드 이미지를 다운로드하고 시작 가이드를 따르세요.

NVIDIA는 향상된 성능을 지원하는 JetPack 6.1 기반 SD 카드 이미지를 출시했습니다. SDK 관리자를 사용하여 Jetson Orin Nano 개발자 키트용 성능이 강화된 JetPack 6.1을 설치할 수도 있습니다. 설치하는 동안 SDK 관리자를 업데이트하고 JetPack 6.1(rev. 1)을 선택했는지 확인하세요.

JetPack을 실행한 후 다음 명령어를 사용하여 전원 모드를 변경하면 최고 성능을 발휘할 수 있습니다. 모드 2는 최고 성능을 제공하는 MAXN 모드입니다.

sudo nvpmodel -m 2

Ubuntu 데스크톱의 상단 표시줄 오른쪽에 있는 전원 모드 선택기를 사용하여 전원 모드를 변경할 수도 있습니다.

Jetson Orin Nano Super 개발자 키트에서 생성형 AI 경험하기

NVIDIA는 Jetson Orin Nano 개발자 키트에서 생성형 AI를 살펴볼 수 있는 다양한 튜토리얼과 사전 빌드된 컨테이너를 Jetson AI 랩을 통해 제공합니다. 로보틱스에 관심이 있다면 LeRobot 튜토리얼을 살펴보세요. 생성형 AI 챗봇을 만들고자 하는 분들을 위해 전용 튜토리얼이 마련되어 있습니다.

Hugging Face LeRobot

NVIDIA는 Hugging Face와 협업하여 LeRobot 오픈 AI 플랫폼에서 로봇 연구를 가속화하고 있습니다. 비주얼 입력과 이전 궤적에서 특정 작업에 대한 동작을 예측하기 위해 생성형 AI 모델을 실행하는 Jetson Orin Nano Super 개발자 키트에서 HuggingFace LeRobot을 실행할 수 있습니다.

그림 5. Jetson Orin Nano 개발자 키트에서 실행되는 Hugging Face LeRobot

Ollama를 사용한 생성형 AI 기반 챗봇

Jetson Orin Nano Super 개발자 키트에서 생성형 AI 챗봇을 실행하세요. 이 챗봇은 로컬에서 실행되는 LLM에 연결하는 널리 사용되는 오픈 소스 챗봇 서버 인터페이스인 Open WebUI가 포함된 Ollama를 특징으로 합니다. 검색 증강 생성(RAG)을 사용하여 사용자 경험과 기능을 더욱 향상시킵니다.

그림 6. Jetson Orin Nano Super 개발자 키트에서 실행되는 생성형 AI 챗봇

Jetson AI Lab과 함께 발전하는 생성형 AI

Jetson AI Lab은 엣지 디바이스에 최적화된 최신 생성형 AI 기술을 발견하고 실험할 수 있는 허브입니다.

공개적으로 협업하고 커뮤니티가 주도하는 환경을 조성함으로써 NVIDIA는 개발자 및 파트너와 함께 오픈 소스 엣지 AI 및 로봇 학습을 발전시키기 위해 노력하고 있습니다. 인기 있는 머신 러닝 프레임워크와 최적화된 추론 마이크로서비스에 대한 포괄적인 지원을 통해 Jetson 디바이스에서 최신 연구 혁신 및 모델을 신속하게 구축하고 배포하여 빠른 혁신 속도를 따라잡을 수 있습니다.

그림 7은 NanoOWL 개방형 어휘 실시간 객체 감지 ViT의 예를 보여줍니다.

그림 7. 실시간 물체 감지 비전 예시

그림 8은 대화형 txt2img 및 img2img 유사성 검색 기능을 갖춘 NanoDB 멀티모달 벡터 데이터베이스를 보여줍니다.

그림 8. 이미지 유사도 검색 예시

Jetson AI Lab은 약 50개의 따라 하기 쉬운 튜토리얼과 사전 빌드된 컨테이너를 제공하여 입문부터 고급까지 모든 수준의 개발자들이 온디바이스 LLM, SLM, 멀티모달 VLM을 빠르게 시작할 수 있으며, VLA, 확산 정책 및 음성 모델에 대한 변형도 함께 제공합니다. 이들 모두는 클라우드에서 사용되는 것과 동일한 최적화된 추론 인프라를 통해 로컬에 배포됩니다.

커뮤니티 중심의 협업 튜토리얼과 리소스를 제공하는 Jetson AI Lab은 최첨단 생성형 AI를 엣지에 배포하기 위한 진입 장벽을 크게 낮추고 있습니다.

모든 Jetson Orin Nano 시리즈와 Jetson Orin NX 시리즈 모듈의 성능 대폭 향상

NVIDIA는 또한 Jetson Orin Nano 시리즈와 Jetson Orin NX 시리즈 전반의 성능을 새롭게 개선하고 있습니다. 소형 AI 카메라부터 대형 자율 머신까지, 모든 엣지 디바이스에는 생성형 AI 모델을 실행할 수 있는 컴퓨팅 성능이 필요합니다.

동일한 모듈 하드웨어를 사용하면 여러 모듈에서 최대 1.7배 향상된 성능을 활용할 수 있습니다.

  • Orin Nano 시리즈: GPU, CPU, 메모리의 주파수 및 성능 향상.
  • Orin NX 시리즈: GPU 및 DLA 전반에 걸친 향상.
표 5. Jetson Orin Nano Super 및 Orin NX Super 모듈 사양

Jetson Orin Nano Orin NX 프로덕션 모듈의 성능 향상을 위한 지원 및 설명서는 오는 1월 상반기에 JetPack 6.1.1과 함께 출시될 예정입니다.

또한, Orin에 대한 수요가 증가함에 따라 NVIDIA는 최근 Jetson Orin의 제품 수명 주기를 2032년까지 연장한다고 발표했습니다. 이러한 ‘슈퍼’ 성능 향상을 통해 Orin Nano 시리즈와 Orin NX 시리즈는 현재 및 미래 모델 모두에 이상적인 플랫폼이 될 것입니다.

지금 바로 생성형 AI 개발을 시작하세요

Jetson Orin Nano Super 개발자 키트는 엣지 컴퓨팅을 위한 생성형 AI 개발을 선도하기 위한 최고의 플랫폼입니다. 지금이 바로 시작하고 NVIDIA와 함께 실제 AI로 현실 세계의 과제를 해결하기 위해 노력하는 활기차고 다양한 고급 개발자 및 연구자 커뮤니티에 합류할 수 있는 완벽한 시기입니다.

기존 Jetson Orin Nano 개발자 키트 사용자의 경우, 지금 바로 JetPack SDK를 업그레이드하여 향상된 성능을 활용하세요.

로보틱스 관련 소식을 계속 받고 싶다면 NVIDIA 뉴스레터를 구독하거나, LinkedIn, Instagram, X, Facebook에서 NVIDIA Robotics 채널을 팔로우하세요. 자세한 내용은 설명서를 살펴보거나 개발자 포럼, Discord 그리고 YouTube 채널에서 로보틱스 커뮤니티에 참여하여 확인할 수 있습니다.

관련 리소스

Discuss (0)

Tags