GB300 테스터 트레이를 조립하는 로봇을 가르친 과정, 그리고 로봇 학습과 기계적 지능, 전통적인 엔지니어링에서 얻은 교훈
NVIDIA Grace Blackwell GB300 슈퍼칩은 최신 파운데이션 모델의 학습과 추론을 이끄는 엔진입니다. 그러나 GB300 트레이를 조립하려면 전 세계 공장에서 숙련된 인력이 직접 작업해야 합니다. NVIDIA Seattle Robotics Lab, 즉 SRL은 NVIDIA Isaac 엔지니어링 팀과 협력하여 핵심 질문을 던졌습니다. 이처럼 복잡한 시스템을 조립하는 지능형 로봇을 만들 수 있을까?
답은 그렇다이지만, 쉬운 길은 아니었습니다. 로봇이 GB300 트레이를 조립하도록 만드는 일은 SRL이 9년간 수많은 성과를 내며 다뤄 온 문제 중에서도 가장 어려운 축에 속합니다. 이 문제는 엔드투엔드 학습이 가장 강력한 영역은 어디이고 모듈형 스택이 더 효과적일 수 있는 영역은 어디인지에 대한 기존 가정에도 의문을 던졌습니다.
당면 과제: 모라벡의 역설이 돌아오다
GB300 테스터 트레이 조립에 집중했습니다. 테스터 트레이는 GB300 컴퓨트 모듈을 출하와 배포에 앞서 기능과 성능 측면에서 검증하는 데 쓰입니다. NVIDIA Operations 팀과 GB300 위탁 생산업체인 Foxconn의 권고에 따라 두 가지 핵심 과제를 선정했습니다. (1) 버스바 조립과 (2) 다중 커넥터 삽입입니다.
버스바 조립에서는 길고 무거운 버스바(고전류를 전달하는 금속 막대)를 파지하여 트레이로 옮기고, 삽입한 뒤 16곳에 나사로 체결해야 합니다. 픽스처와 클램프도 삽입했다가 제거해야 합니다. 다중 커넥터 삽입에서는 케이블에 달린 대형 커넥터 2개와 소형 커넥터 2개를 트레이에서 들어 올려, 여유 공간이 거의 없는 소켓에 삽입해야 합니다.
실제 환경의 실험 구성은 아래와 같습니다.
숙련된 공장 작업자는 이 두 과제를 큰 부담 없이 안정적이고 유려하게 수행합니다. 그러나 모라벡의 역설이 다시 한번 드러나듯, 이런 과제에 필요한 손재주는 자동화하기가 극단적으로 어렵습니다.
첫 번째 핵심 난제는 불확실성입니다. 부품의 형상, 외관, 동역학이 정확히 알려져 있지 않고, 부품의 초기 자세도 크게 달라질 수 있습니다. 게다가 전기 커넥터는 길이 전체가 변형되는 케이블에 연결되어 있고, 제조 편차가 크며, 소성 변형과 피로로 인해 기계적 특성까지 변합니다.
많은 제조 공정에서는 환경을 엄격하게 통제하는 고정 자동화로 불확실성을 줄입니다. 픽스처와 어댑터가 부품을 서브밀리미터 정밀도로 구속하고, 로봇은 같은 동작을 반복하는 기계로 작동할 수 있습니다. 반면 GB300 테스터 트레이 조립에서는 설계 주기가 짧고 물량이 적어 고정 자동화를 적용할 수 없으므로, 유연 자동화로 불확실성에 대응해야 합니다. 로봇은 본질적으로 적응력이 있고 불확실성에 강건해야 합니다. AI 인프라 수요가 커지는 만큼, 이러한 패러다임은 NVIDIA의 전략적 우선순위입니다.
두 번째 핵심 난제는 성능입니다. 로봇 연구에서는 성공률 50%~60%만으로도 충분하다고 보는 경우가 많고, 80%~90%이면 과제를 해결했다고 말하기에 충분할 수 있습니다. 사이클 타임, 동작의 부드러움, 부드러운 취급은 부차적으로 여겨지곤 합니다. 통계적 엄밀성도 부족한 경우가 많습니다. 과제당 시행을 10~20회만 수행하는 일이 흔하지만, 합리적인 신뢰 구간을 확보하려면 훨씬 많은 평가가 필요할 수 있습니다.
성능 요구 사항은 해결했다는 말이 정말로 해결을 의미하도록 NVIDIA Operations 팀 및 Foxconn과 직접 협력하여 정했습니다. 이 글을 게시한 시점에서 그 기준에 빠르게 다가가고 있습니다.
기술 전략: 적절한 시점에 적절한 도구
로봇 연구에서는 기술적 참신성을 높이 평가합니다. 이 전통은 발명을 촉진하지만, 더 높은 성능을 낼 수 있는 베이스라인을 최적화할 유인은 거의 만들지 않습니다. 그 결과 논문을 읽고도 기존 접근법이 왜 통하지 않았는지 이해하지 못한 채 넘어가기 쉽습니다.
GB300 테스터 트레이 조립의 전략은 적절한 시점에 적절한 도구를 쓰는 것이었습니다. 하위 문제마다 고전적인 베이스라인을 먼저 검토하고 대개 구현했습니다. 이것이 한계에 부딪히면 모방 학습, 시뮬레이션 기반 강화 학습인 RL과 sim-to-real 전이, 실제 환경 RL, 비전-언어-행동 모델인 VLA를 차례로 탐색했습니다. 이 순서를 따르면서 각 접근법의 강점과 약점을 파악하고, 혁신과 복잡성이 정당한지 판단할 수 있었습니다.
이제 버스바 조립과 다중 커넥터 삽입을 자세히 살펴봅니다. 이 두 과제가 실제 조작 문제를 풀려는 다른 연구 및 엔지니어링 그룹에 사례 연구가 되기를 바랍니다.
버스바 조립: 고전으로 돌아가다
버스바 조립은 다음 단계로 이루어집니다.
- 리미트 픽스처(조립을 돕는 특정 픽스처)를 파지하여 트레이에 삽입합니다.
- 클램프가 부착된 버스바를 파지하여 트레이에 삽입합니다.
- 나사 16개를 체결하여 버스바를 트레이에 고정합니다.
- 버스바에 부착된 클램프를 풀어서 제거합니다.
- 리미트 픽스처를 제거합니다.
초기 조건은 제조 현장과 일치시켰습니다. 리미트 픽스처와 버스바(클램프 부착)는 로봇 옆 평평한 면의 임의 위치에 놓았고, 나사는 처음에 버스바 안에 들어 있었습니다.
제조사는 성공률 99.5%를 달성하고, 숙련 작업자가 걸리는 시간의 2배 이내(이 경우 124초 이내)에 작업을 끝낼 것을 요구했습니다. 트레이와의 의도하지 않은 충돌은 허용되지 않았습니다. 경미한 손상조차 시스템 전체를 폐기하는 사유가 될 수 있기 때문입니다.
먼저 인지, 계획, 제어 모듈을 분리한 고전적 파이프라인, 즉 “전통적인 엔지니어링“을 구현했고, 이후 엔드투엔드 학습으로 전환하리라 예상했습니다. 그러나 고전적 파이프라인이 매우 효과적이어서 전환할 필요가 없었습니다. 모듈형 구조 덕분에 디버깅과 튜닝이 쉬웠고, 로봇 팔 간에 작업을 분산하기도 수월했습니다.
인지에는 처음에 NVIDIA FoundationPose를 사용했습니다. 메시, RGB 이미지, 깊이 이미지로 물체의 6D 자세를 추정하는 범용 모델입니다. 그러나 물체가 충분히 보이지 않으면 추정값이 90도나 180도씩 어긋나기도 했습니다. 그래서 파이프라인이 여러 시점을 입력받아 시점마다 추정값을 하나씩 내고, 신뢰도 점수가 높은 추정값을 선택하도록 확장하여 오차를 줄였습니다. (참고: 이후 특화 모델인 DOPER로 전환했으며, 뒤에서 설명합니다.)
계획에는 사이클 타임을 줄이기 위해 자유 공간용 고속 웨이포인트 플래너를 사용했습니다. 처음에 어긋나 있을 수 있는 부품을 정렬하는 데는 리사주 곡선과 기타 단순한 경로에 기반한 조작 프리미티브를 활용했습니다.
제어에는 삽입 중 충분한 힘을 가하면서도 부드럽고 안정적으로 접촉하도록 고성능 임피던스 컨트롤러를 구현했습니다. 최신 학습 파이프라인은 대체로 가능한 한 단순한 컨트롤러를 쓰지만, 이 솔루션은 자동 댐핑 설계와 관성 보상을 활용했습니다. 고성능 제어는 로봇 학습에서 강력하지만 충분히 활용되지 않는 도구라고 봅니다.
사이클 타임을 줄이기 위해 작업을 로봇 팔 3대에 나누었습니다. Flexiv Rizon 4S 한 대는 자세 추정용 카메라를 배치했고, 다른 한 대는 리미트 픽스처와 버스바를 삽입한 뒤 나중에 버스바 클램프와 픽스처를 제거했습니다. Universal Robots UR10e는 OnRobot 스크루드라이버로 나사 체결 16회를 수행했습니다. 제조사와 합의하여, 팔 한 대로 클램프를 풀 수 있도록 버스바 클램프를 약간 수정했습니다.
이 버스바 조립 솔루션은 95%가 넘는 성공률을 달성했으며, 이를 더 높이는 작업을 진행 중입니다. 남은 실패는 주로 파지 오류와 삽입 중 손안의 미끄러짐에서 발생합니다. 리미트 픽스처와 버스바 하위 과제는 사이클 타임 요구 사항을 충족했지만 나사 체결은 충족하지 못해, 전체 사이클 타임은 목표인 124초보다 긴 160초였습니다. 장치 전용 스크루드라이버 작업이 순차적으로 이어지는 것이 주된 병목이며, 최적화 방향은 비교적 분명합니다.
막간 1: 인프라의 놀라운 효과
버스바 조립처럼 까다로운 문제에서는 잘 설계된 실제 로봇 인프라 덕분에 시스템을 빠르게 개발, 배포, 점검할 수 있었습니다.
첫 번째 핵심 인프라는 로보틱스 서비스입니다. 로봇 공학자라면 알다시피, 여러 라이브러리를 실험하다 보면 의존성 지옥에 빠지기 십상입니다. 라이브러리를 독립적으로 배포할 수 있는 웹 서비스로 변환하여 엣지, 온프레미스, 클라우드에서 실행합니다. 서비스는 FastAPI/HTTP 엔드포인트를 갖춘 Docker 컨테이너로 패키징되며, 연구자는 경량 Python 클라이언트로 서로 다른 언어와 프레임워크의 서비스를 조합할 수 있습니다. 모션 계획에는 cuRobo 서비스, 자세 추정에는 FoundationPose 서비스, 깊이 추정에는 FoundationStereo 서비스 등을 사용합니다.
두 번째 핵심 인프라는 Task and Agent Lifecycle Orchestration System, 즉 TALOS입니다. TALOS는 ros2_control을 기반으로 하며 모션 플래너, 조작 프리미티브, 고성능 컨트롤러(임피던스, 어드미턴스, 힘 제어)를 제공합니다. 이 라이브러리는 이러한 구성 요소와 학습된 정책을 매끄럽게 순차 실행하고, 500 Hz보다 빠른 실시간 루프로 컨트롤러를 실행할 수 있습니다. TALOS는 Franka FR3, Flexiv Rizon 4S, Universal Robots UR10e, SO-101을 지원합니다. 키네스테틱 티칭, 원격 조작, 양팔 협응, 모션 계획을 포함한 모든 실제 로봇 응용에 이 라이브러리를 사용합니다.
TALOS는 표준 웹 인터페이스로도 노출됩니다. 따라서 코딩 에이전트가 로보틱스 서비스와 실제 로봇에 접근할 수 있고, 개발과 배포 단계 모두에서 인지, 계획, 제어 기능을 조합할 수 있습니다. 이는 물리 장치를 AI 에이전트가 발견하고 안전하게 조작할 수 있게 하는 모델 비종속 사양, 즉 Anthropic의 Model Hardware Standard인 MHS의 방향과 일치하며, 오픈소스 DROID+ 프로젝트가 이 접근법을 보여 줍니다.
이러한 로봇 인프라와 버스바 조립의 진전에 힘입어, 두 번째 핵심 과제인 다중 커넥터 삽입으로 넘어갔습니다.
다중 커넥터 삽입: ‘역 쓰라린 교훈’
다중 커넥터 삽입은 다음 단계로 나눌 수 있습니다. 전기 커넥터(대형 2개, 소형 2개)마다 다음을 수행합니다.
- 연결된 케이블을 파지하여 보드에서 전기 커넥터를 들어 올리기
- 케이블 끝의 커넥터를 파지하기
- 커넥터를 보드의 해당 소켓에 삽입하기
초기 조건도 제조 현장과 일치시켰습니다. 케이블 4개는 모두 한쪽 끝이 GB300 보드에 연결되어 있었고, 심하게 엉키지 않았으며, 케이블에 달린 커넥터는 보드 위 임의의 위치에 놓을 수 있었습니다.
제조사는 이번에도 성공률 99.5% 이상을 달성하고, 숙련 작업자가 걸리는 시간의 2배 이내(케이블 4개 전체에 72초 이내)에 다중 커넥터 삽입을 끝낼 것을 요구했습니다. 이전과 마찬가지로 트레이와의 의도하지 않은 충돌은 허용되지 않았습니다.
과제를 설명하기는 간단하지만, 다중 커넥터 삽입은 세 가지 요인 때문에 매우 어렵습니다. (1) 케이블이 불규칙하고 소성 변형이 가능하며 마모되기 쉽습니다. (2) 커넥터가 작고 텍스처가 거의 없습니다. (3) 커넥터와 소켓 사이의 여유 공간이 좁아 오차를 허용할 여지가 거의 없습니다.
이번에도 고전적인 파이프라인부터 구현했습니다. 케이블을 파지하기 위해 Segment Anything Model인 SAM3로 상단 RGB 이미지의 미리 정한 영역에서 케이블을 분할했습니다. 각 마스크에 중심선을 맞추고, 로봇이 지정한 높이에서 중심선의 중점을 파지한 뒤 위로 올려 커넥터를 노출하도록 명령했습니다.
이 단순한 접근법에서는 관찰된 실패가 거의 없었습니다.
노출된 커넥터를 파지하는 일은 훨씬 어려웠습니다. 범용 모델을 이용한 자세 추정은 효과가 없었습니다. 커넥터가 작고 텍스처가 없으며 케이블에 연결되는 위치도 일정하지 않아 큰 오차가 생겼습니다. 그 결과 모션과 파지 계획을 신뢰할 수 없었습니다. 그래서 인지, 모션, 파지를 엔드투엔드로 학습하는 방향으로 전환했습니다.
이 길도 막다른 길이었습니다. 액션 청킹 트랜스포머인 ACT나 디퓨전 정책을 이용한 행동 복제는 성공률이 낮았습니다. 이런 접근법은 대규모의 고품질 데이터가 있어야 효과를 내는데, 데이터를 확보하기가 어려웠습니다. 케이블의 형상과 강성이 샘플마다 크게 달랐고, 이러한 특수 케이블은 소량만 구할 수 있었습니다. 케이블 하나를 파지하고 조작할 수 있는 횟수도 제한적이어서, 그 횟수를 넘기면 영구적으로 변형되어 더 이상 실제 배포 조건을 대표하지 못했습니다.
이러한 상황을 ‘역 쓰라린 교훈’으로 봅니다. 물리적, 금전적, 물류적 요인 때문에 규모 확장이 불가능한 실제 상황이 있다는 뜻입니다. 도메인 지식을 활용하고 상호작용 데이터가 적게 필요한 고전적 접근법을 다시 살펴볼 가치가 생깁니다.
다시 자세 추정으로 돌아가되, 요구 사항을 달리했습니다. 대상 부품에 특화하고, 정확하거나 뚜렷한 시각적 텍스처에 의존하지 않으며, 실제 데이터로 빠르게 개선되도록 하는 것입니다. NVIDIA Research의 동료들과 함께 Deep Object Pose Estimation Revisited, 즉 DOPER라는 인지 프레임워크를 개발했습니다. DOPER는 NVIDIA Deep Object Pose Estimation인 DOPE에서 영감을 받았습니다. DOPE는 대규모 합성 데이터로 실제 환경 인지를 가능하게 하는 방안을 처음 연구한 논문 중 하나입니다.
시뮬레이션에서 DOPER 모델은 먼저 특정 부품의 CAD 모델을 입력받아 여러 시점의 RGB 이미지를 렌더링하고, 부품의 볼록 껍질에서 최원점 샘플링으로 키포인트 레이블을 자동 생성하는 방식으로 학습합니다. 이때 점의 가시성과 현저성을 기준으로 레이블을 걸러냅니다. 이어서 빠르고 가벼운 합성곱 신경망이 RGB 이미지에서 바운딩 박스, 분할 마스크, 키포인트 레이블을 예측하도록 학습합니다.
실제 환경에서는 부품의 3D 신경 재구성을 확보합니다. 사전 학습된 DOPER 모델을 배경을 무작위화한 신경 재구성의 여러 시점에서 실행해 의사 레이블을 생성하고, 신뢰도가 낮은 예측은 신뢰도가 높은 예측을 대상 시점에 투영하여 보정합니다.
그런 다음 이 레이블로 DOPER 모델을 파인튜닝합니다. 마지막으로 추론 시에는 대상 장면에서 DOPER 모델을 실행하고, 예측된 키포인트에서 자세 추정값을 추출합니다. 이 과정은 카메라 속도인 30 Hz 이상으로 실행할 수 있습니다.
DOPER 덕분에 자세 추정의 잠재력에 대한 믿음이 되살아났습니다. 이 프레임워크로 커넥터에 특화된 정확한 자세 추정 모델을 학습하여 실시간으로 배포할 수 있었습니다. 추정 결과를 이용해 로봇 팔 하나가 각 커넥터를 두 번째 팔이 안정적으로 파지할 수 있는 자세로 이동시키고 회전시킬 수 있었습니다.
막간 2: 불확실성을 줄이는 기구 설계
앞서 설명했듯이 설계 주기가 짧고 물량이 적어 GB300 테스터 트레이 조립에는 유연 자동화가 필요하며, 로봇은 부품과 자세의 불확실성에 적응하고 강건해야 합니다. 그러면서도 유연한 시스템은 기구 설계로 불확실성을 줄이는 등 고정 자동화의 혁신에서 여전히 이득을 얻을 수 있습니다.
그러나 아쉽게도 고정 자동화를 연구하는 메카트로닉스 연구자와 유연 자동화를 연구하는 컴퓨터 과학자는 오랫동안 서로 다른 영역에서 활동해 왔습니다. 이에 반해 하드웨어, 소프트웨어, AI 연구를 총체적으로 고려하는 풀스택 접근법을 제안합니다.
커넥터를 파지할 때 그리퍼가 닫히며 접촉하는 과정에서 커넥터가 의도치 않은 불안정한 자세로 흐트러질 수 있었습니다. 촉각 센싱, 재파지, 손안 조작이 효과적인 해법일 수 있지만, 이 경우 가장 단순하면서 사이클 타임 면에서도 최적인 해법은 기구 설계를 개선하는 것이었습니다.
로봇이 버스바, 리미트 픽스처, 케이블, 대형 커넥터와 소형 커넥터를 모두 파지할 수 있도록 다목적 그리퍼 핑거 두 세트를 설계했습니다.
핑거 형상이 접촉 중 부품의 움직임을 구속하여 파지 자세의 반복성이 크게 높아졌습니다. 이 핑거는 거의 모든 취미용 3D 프린터로 제작할 수 있습니다.
마지막 단계: 접촉이 관건
각 커넥터를 파지한 뒤 다중 커넥터 삽입의 마지막 단계는 커넥터를 GB300 보드의 해당 소켓에 삽입하는 일이었습니다. 버스바 삽입보다 커넥터 삽입이 더 어려웠습니다. 전도성 핀이 섬세하고, 여유 공간이 좁으며, 접촉 중 가이드 역할을 하는 면이 거의 없기 때문입니다.
이런 조건에서는 고전적 접근법이 어려움을 겪는 것으로 알려져 있습니다. 소켓 형상의 편차, 로봇 제어에서 누적된 오차, 부적절한 삽입 힘 프로파일이 있으면 커넥터가 소켓에 끼거나, 소켓을 빗나가거나, 주변 부품과 충돌하기도 합니다. 컴플라이언트 컨트롤러가 도움이 되지만, 큰 위치 오차에는 강건하지 않고 과제마다 세심한 튜닝이 필요합니다.
그래서 학습 기반 해법으로 방향을 돌렸습니다. sim-to-real 연구 계열(1, 2, 3, 4, 5)을 토대로, 모델 프리 RL로 NVIDIA Isaac Lab에서 정책을 학습했습니다. 이 정책은 다양한 초기 자세에서 전기 커넥터를 삽입할 수 있으며, 실제 환경에 배포했습니다.
sim-to-real 전이는 실제 환경의 대형 커넥터에서 높은 성공률을 달성했습니다. 그러나 소형 커넥터에서는 효과가 떨어졌습니다. 정책이 자세 추정값을 입력으로 받았기 때문에, 아주 작은 추정 오차만으로도 커넥터가 소켓 모서리에서 미끄러질 수 있었습니다. 대형 커넥터조차 신뢰성이 산업 표준에 미치지 못했습니다. 그래서 최종적인 기술적 결론에 도달했습니다. 실제 환경 데이터를 대체할 수단은 없다는 것입니다.
좀 더 정확히 말하면, 실제 배포 대부분은 최대 신뢰성, 최고 속도, 최소 개입률 같은 최적의 성능을 목표로 합니다. 시뮬레이션과 실제 환경 사이에는 항상 불일치가 있으므로, 시뮬레이션에서 학습한 정책은 최적에 미치지 못하기 쉽습니다. 따라서 실제 배포에서는 실제 환경 데이터에서, 가능하다면 온라인 상호작용에서 직접 학습하는 방식이 이점이 됩니다.
삽입 정책은 기존 연구인 SPARR을 확장하여 개선했습니다. SPARR에서는 상태 기반 기본 정책을 먼저 시뮬레이션에서 RL로 학습하고, 이미지 기반 잔차 정책을 실제 환경에서 RL로 학습합니다. 기본 정책의 롤아웃이 실제 환경 학습의 부트스트랩 역할을 하여 효율적인 학습과 안전한 탐색을 돕습니다. 삽입 중에는 커넥터가 시야에서 가려지므로, 잔차 정책은 이미지 대신 힘-토크 입력으로 학습했습니다.
최종 다중 커넥터 삽입 솔루션은 케이블 파지, 커넥터 파지, 커넥터 삽입 접근법을 통합하여 커넥터 4개를 처음부터 끝까지 조립합니다. 성공률은 90~95%였으며, 남은 실패는 주로 커넥터 파지 과정에서 팔 여러 대의 협응 문제로 발생합니다. 사이클 타임은 케이블당 평균 40초이고, 주된 병목은 노출된 커넥터를 파지하기 전에 자세를 느리고 불연속적으로 조정하는 단계입니다. 성능이 배포 요구 사항에는 미치지 못하지만, 그 격차를 좁히는 작업이 계속되고 있습니다.
중요한 이유: 선순환을 향하여
GB300 시스템과 그 후속 제품의 생산과 테스트를 자동화하는 일은 NVIDIA와 AI 생태계에 매우 중요합니다. 이 시스템들이 파운데이션 모델의 연산 엔진이기 때문입니다. 더 먼 미래를 보면, 지능형 자동화로 숙련 인력을 보완하는 것은 자국 내 제조업에 핵심적입니다. 2033년까지 제조업 일자리 190만 개가 채워지지 않을 수 있습니다. 장기적으로 AI 하드웨어의 로봇 조립은 더 원대한 비전을 실현할 수 있습니다. 사람의 감독 아래 AI 기반 로봇이 AI 하드웨어를 조립하고, 이 하드웨어가 다시 차세대 AI 기반 로봇을 학습시키는 안전한 선순환입니다.
블랙웰의 우화: 이야기의 교훈
GB300 테스터 트레이 조립에 도전한 일은 지금까지 수행한 연구 중 가장 많은 것을 배운 경험의 하나였으며, 과제 중심 연구의 가치를 다시 확인해 주었습니다.
연구에서는 추상적인 차원에서 기술적 접근법을 발명하는 것이 흔하고 가치 있는 관행입니다. 응용 분야가 분명해지는 몇 년 뒤에 결실을 맺을 수 있기 때문입니다. GB300 조립 경험은 이를 보완하는 접근법의 필요성을 보여 줍니다. 실제 가치가 큰 불가능에 가까운 문제를 찾아내고, 기존 방법의 능력과 한계를 드러내고, 뚜렷한 길이 없는 곳에서 혁신하는 접근입니다.
이번 작업에서는 일곱 가지 핵심 기술 교훈도 얻었습니다.
- 자세 추정은 매우 효과적일 수 있습니다. 프로젝트 초기에는 이 결론을 믿지 않았고 사실이기를 바라지도 않았습니다. 그러나 DOPER 프레임워크는 산업용 부품을 위한 빠르고 정확한 자세 추정 모델을 만들어 냈습니다. 핵심은 요구 사항을 바꿔 자세 추정을 다시 살펴본 것이었습니다. 특화 모델을 학습하고, 정확하거나 뚜렷한 시각적 텍스처에 의존하지 않으며, 실제 데이터로 빠르게 파인튜닝할 수 있게 했습니다.
- 기구 설계는 불확실성을 효율적으로 줄일 수 있습니다. 자동화 업계에서는 당연한 결론이지만 로봇 학습 분야에서는 덜 알려져 있을 수 있습니다. 3D 프린팅 그리퍼 핑거를 기구적으로 설계한 덕분에 촉각 센서, 재파지 메커니즘, 손안 조작으로 복잡성을 늘리지 않고도 클램프, 케이블, 픽스처를 안정적으로 파지할 수 있었습니다. 로보틱스는 풀스택 문제이며, 인공 지능과 기계적 지능을 함께 활용할 때 최상의 결과를 얻을 수 있습니다.
- 고성능 제어를 간과해서는 안 됩니다. 연구자들은 수십 년간 고성능 로봇 컨트롤러를 개발해 왔지만, 대부분의 로봇 학습 논문은 가능한 한 단순한 제어 법칙을 씁니다. 자동 댐핑 설계와 관성 보상을 갖춘 고성능 컨트롤러는 자유 공간에서 부드러운 움직임을 보장하고, 부드럽고 안정적인 접촉 상호작용을 돕고, RL로 학습한 동작의 성공률과 사이클 타임을 개선할 수 있습니다.
- 규모가 병목이 되는 영역을 더 깊이 연구해야 합니다. 쓰라린 교훈은 놀라운 실증적 증거로 뒷받침됩니다. 그러나 ‘역 쓰라린 교훈’이라 부르는 영역에서는 상호작용 데이터가 부족하거나, 부품을 시뮬레이션하기 어렵거나, 교체 비용이 높거나, 반복 사용으로 물체가 열화되면 규모 확장이 불가능할 수 있습니다. 고전적 접근법은 여전히 강력할 수 있으며, 학습 기반 연구는 구조와 샘플 효율성을 더 강조하면 도움이 될 수 있습니다.
- 사이클 타임은 성공률과 대등한 지표입니다. 일반적인 로봇 학습 시스템은 1 kHz 고유수용 감각, 100 Hz 정책, 30 Hz 카메라 스트림, 5 Hz 그리퍼 제어를 결합하며, 실시간 보장 수준도 서로 다릅니다. 일부 하위 과제는 병렬화가 어렵거나 불가능할 수 있습니다. 속도를 높이더라도 제어 정확도를 유지하고, 사람과 로봇의 안전을 보장하고, 부품 손상을 피해야 합니다. 연구자는 사이클 타임과 성공률을 동등한 우선순위로 봐야 합니다.
- 연구 인프라는 개발과 배포를 가속합니다. 이번 작업에서 로보틱스 서비스와 TALOS는 의존성 충돌을 피하고, 서로 다른 플래너와 컨트롤러를 교체 가능하게 만들고, 로봇 간에 코드를 옮기는 데 핵심적이었습니다. 스타트업과 대기업은 인프라에 깊이 투자하기도 하지만 연구실은 보통 그렇지 않습니다. 연구 목적에 맞는 인프라를 개발하는 커뮤니티의 노력이 이 분야의 진전을 앞당길 수 있습니다.
- 합성 데이터와 실제 데이터 모두 중요한 역할을 합니다. DOPER는 부품별 대규모 합성 데이터로 학습을 시작했고, 커넥터 삽입 방식은 시뮬레이션 기반 RL로 정책을 사전 학습했습니다. 그럼에도 실제 데이터는 여전히 필수적이었습니다. 산업용 로보틱스의 엄격한 요구 앞에서는 성능을 남겨 둘 여유가 없으며, 합성 데이터와 실제 데이터를 결합해야 실제 가치를 만들 수 있습니다.
연구실과 공장 사이의 간극 좁히기
로보틱스에서 연구 성공의 진정한 척도는 실제 세계로의 이전입니다. 다음 목표는 NVIDIA의 위탁 생산업체가 AI 하드웨어를 만드는 공장에 이 기술을 배포하는 것입니다. 이들의 성능 요구 사항을 충족하거나 넘어서고, 이를 통해 세계에서 가장 앞선 컴퓨팅의 생산을 앞당기고자 합니다.
그러나 실제 배포에는 만만치 않은 과제가 따릅니다. 가장 큰 문제는 이것입니다. 로봇 솔루션이 실험실 시험에서 잘 작동하더라도, 배포 전에 성능을 어떻게 보장할 수 있을까요? 공장의 주변 환경과 워크셀 조건은 다르며, 도메인 불일치를 다루는 일은 학습 기반 로봇의 거의 공통된 약점입니다. 실제 생산 라인에서는 제품 설계도 바뀌는데, 이는 실험실에서는 관찰할 수 없는 또 하나의 자유도입니다.
또한 시스템이 충분히 강건하거나 적응력이 있더라도 성능을 검증해야 합니다. 성공 확률 99.5% 이상을 단측 95% 신뢰 구간으로 뒷받침하려면, 최소 598회 시행에서 실패가 한 번도 관찰되지 않아야 합니다. 이 프로젝트에서는 마모 때문에 이러한 평가에 GB300 부품이 수백 개 더 필요할 수 있습니다. 물리 시뮬레이션과 인터랙티브 월드 모델이 최근 발전했음에도, 형상과 기계적 특성이 불규칙한 부품을 정확하게 시뮬레이션하는 것은 아직 해결되지 않은 과제입니다.
자율주행차, 즉 AV 업계에서 영감을 얻을 것을 제안합니다. AV에서는 오프라인 학습과 온라인 배포의 경계가 흐릿합니다. 처음에는 사람이 차량의 동작을 면밀히 감독하고 교정하지만, 시간이 지날수록 차량은 점점 더 자율적으로 움직입니다. 로봇 학습 시스템도 마찬가지로 강하지만 완벽하지는 않은 성능으로 배포해야 합니다. 사람이나 사람이 감독하는 에이전트가 개입 내용을 매끄럽게 기록하고, 시스템은 이를 활용해 지속적으로 개선해야 합니다. 시간이 지나면 실제 배포 조건에서 충분한 데이터가 모여 성능에 대한 강력한 통계적 보장을 제공할 수 있습니다.
실제 배포의 두 번째 핵심 난제는, 특정 과제를 풀기 위해 로봇 솔루션을 배포한 뒤 다음 과제를 더 적은 노력으로 해결하는 방법입니다. 이 목표는 일반화와 적응성이라는 두 단어로 요약됩니다.
강한 의미의 일반화는 일련의 과제로 학습한 로봇이 새로운 과제도 잘 풀어내는 것입니다. 로봇이 다월 핀을 구멍에 끼우고, 기어 세트를 조립하고, 나사를 조이는 법을 안다면, USB-C 케이블을 꽂을 수 있는 상위 수준의 상식과 하위 수준의 손재주도 갖춰야 합니다. 강한 의미의 적응성은 로봇이 새로운 과제를 푸는 법을 모르더라도 효율적으로 학습하는 것입니다. 여유 공간 0.5 mm로 기어를 조립할 수 있는 로봇은 여유 공간 0.1 mm 기어 조립도 빠르게 학습해야 합니다.
연구계의 공통된 견해에 따라, 일반화와 적응성으로 가는 장기적인 길은 인터넷 규모의 데이터로 학습하는 모델에 있다고 봅니다. VLA, 월드-액션 모델인 WAM, 로보틱스 네이티브 파운데이션 모델이 여기에 포함됩니다. 이들 모델은 물리적 상식, 빠른 적응, 인컨텍스트 학습의 놀라운 징후를 보였습니다.
그러나 로보틱스 커뮤니티에는 공공연한 비밀이 있습니다. 물리 세계의 거의 무한한 다양성을 담아내고 이로부터 효율적으로 학습하려면 아직 갈 길이 멉니다. 사고 실험을 해 보면, AV 기업은 하루에 유용한 데이터를 100 TB에서 1 PB까지 수집할 수 있지만, 자율주행은 범용 로봇이 수행할 줄 알아야 하는 과제 중 하나일 뿐입니다. 더욱이 적당히 제약된 환경에서는 모듈형 시스템이 엔드투엔드 모델보다 더 잘, 더 빠르게 일반화하는 경우가 많습니다(예: 1, 2).
로보틱스 파운데이션 모델의 일반화와 적응성으로 가는 세 가지 상호 보완적인 경로가 있다고 봅니다. 첫 번째 경로는 데이터 플라이휠입니다. 배포 조건에서 지속적으로 개선되는 로봇 시스템을 구축하고, 배포 중에 데이터를 수집하여 파운데이션 모델의 미드 트레이닝이나 포스트 트레이닝에 활용합니다. 핵심적인 한계는 커버리지입니다. 배포 하나가 담는 상호작용 분포는 좁고, 파운데이션 모델이 그 사이를 보간하기 어려울 수 있습니다.
두 번째 경로는 월드 모델입니다. ‘행동 조건부 멀티모달 예측 모델’로 정의하는 월드 모델은 거의 모든 물리 데이터 소스로 학습할 수 있습니다. 연구자들이 언젠가 이를 모든 물리적 상호작용의 시뮬레이터로 활용하여 로보틱스 파운데이션 모델의 다양한 포스트 트레이닝을 가능하게 할 수도 있습니다. 하지만 앞서 논의했듯 물체의 동역학은 비정상성이 매우 클 수 있으므로, 미래의 월드 모델은 시간에 따라 진화해야 합니다.
세 번째 경로는 에이전트 기반 로보틱스입니다. 최근의 돌파구(예: 1, 2, 3)가 시사하듯, 에이전트는 공간 추론을 비롯한 인간의 상식을 점점 더 많이 보여 줄 뿐 아니라 시뮬레이터, 월드 모델, 실제 세계에서 효과적인 행동을 제안할 수도 있습니다. 에이전트가 이끄는 행동은 포스트 트레이닝 데이터를 생성할 수 있고, 에이전트가 이끄는 개입은 새로운 과제에서 사람의 교정을 대체할 수도 있습니다.
마지막으로 동참을 제안합니다. 이 여정에 함께해 주십시오. AI 하드웨어의 로봇 조립은 현대에 가장 영향력이 큰 문제의 하나일 뿐 아니라, 기초 및 응용 로보틱스 연구의 설득력 있는 북극성이기도 합니다. 이 방향으로 커뮤니티가 빠르게 발전하기를 기대합니다.
더 알아보기
방법론과 최신 실험 결과를 상세히 설명하는 백서를 준비하고 있습니다. 또한 NVIDIA Isaac 엔지니어링 팀과 협력해 만든 커넥터 삽입용 레퍼런스 워크플로와 함께, DOPER와 TALOS를 커뮤니티에 공개하기 위해 작업 중입니다.
각 릴리스가 공개되는 대로 링크를 이 게시글에 추가하겠습니다.
NVIDIA Research가 피지컬 AI와 로보틱스 응용 전반에서 거둔 최신 성과를 간략히 정리한 NVIDIA Robotics Research and Development Digest (R2D2)도 확인해 보십시오.
뉴스레터를 구독하고 YouTube, Discord, 개발자 포럼에서 NVIDIA Robotics를 팔로우하면 최신 소식을 받아볼 수 있습니다. 로보틱스 여정을 시작하려면 무료 NVIDIA Robotics Fundamentals 강좌에 등록해 보십시오.
