최근 몇 년 동안 컴퓨터 그래픽스와 컴퓨터 비전에서 신경 필드에 대한 연구가 점점 더 화제가 되고 있습니다. 신경 필드는 좌표를 입력받고 그 위치에서 해당 데이터를 출력하는 뉴럴 네트워크를 사용하여 모양, 외관, 움직임 및 기타 물리적 수량과 같은 3D 데이터를 표현할 수 있습니다.
이러한 표현은 생성적 모델링 및 3D 재구성과 같은 다양한 애플리케이션에 유용하다는 것이 입증되었습니다. NGLOD, GANcraft, NeRF-Tex, EG3D, Instant-NGP 및 가변 비트레이트 신경 필드 등의 NVIDIA 프로젝트는 다양한 방식으로 신경 필드, 컴퓨터 그래픽스 및 컴퓨터 비전의 최첨단 기술을 발전시키고 있습니다.
연구 과제
신경 필드에 대한 연구는 빠르게 진행되고 있으며 따라서 기준과 소프트웨어가 뒤처지는 경우가 많습니다.구현 차이로 인해 품질 메트릭 및 성능이 크게 달라질 수 있습니다. 신경 필드의 구성 요소에서 복잡성이 증가함에 따라 새 프로젝트의 비용이 크게 증가할 수 있습니다. 작업은 연구 그룹 간에 중복되는 경우가 많습니다. 예를 들면 신경 필드 출력을 시각화하기 위한 완전한 인터랙티브 애플리케이션을 만드는 것이 해당됩니다.
한 가지 중요한 이정표는 NVIDIA Instant-NGP로, 신경 방사 필드(NeRF), 부호화 디스턴스 필드(SDF), 이미지 등 다양한 신호에 거의 즉각적으로 맞출 수 있는 기능으로 인해 최근 연구 커뮤니티에서 많은 관심을 받고 있습니다. 컴퓨팅 효율성 덕분에 실용적인 애플리케이션 및 연구 방향의 새로운 지평이 열리고 있습니다. 하지만 이 컴퓨팅 효율성은 조정과 확장이 어려울 수 있는 고도로 전문화되고 최적화된 코드로 인해 연구를 가로막는 장벽이 될 수도 있습니다.
NVIDIA Kaolin Wisp
NVIDIA Kaolin Wisp는 성장하는 분야의 과제를 탐색하는 연구원들을 지원하기 위해 빠른 속도의 신경 필드용 연구 지향 라이브러리로 개발되었습니다. 이는 3D 딥 러닝 연구를 위한 보다 일반적이고 안정적인 구성 요소를 포함하는 핵심 Kaolin 라이브러리 기능을 기반으로 구축되었습니다.
Wisp의 목표는 신경 필드 연구를 위한 공통 핵심 라이브러리 및 프레임워크를 제공하는 것입니다. 라이브러리는 복잡한 신경 필드를 만드는 데 사용할 수 있는 모듈식 기본 구성 요소와 신경 필드를 트레이닝 및 시각화하는 인터랙티브 앱으로 구성됩니다.
Wisp는 구체적인 구현을 제공하는 대신 신경 필드의 기본 구성 요소를 공급합니다. 프레임워크는 연구 목적으로 쉽게 확장 가능하며, 표준 트레이닝을 위한 플러그 앤 플레이 구성을 제공하기 위해 각 파이프라인 구성 요소를 간단하게 맞바꿔 사용할 수 있는 모듈식 파이프라인으로 구성됩니다.
Wisp의 목적은 정식으로 사용 가능한 코드를 제공하는 것이 아니라 새로운 모듈을 빠르게 출시하여 이 기술의 우위를 유지하는 것입니다. 또한 Kaolin Core를 사용하여 연구를 가속화하는 방법과 Kaolin Core 프레임워크를 보여주는 다양한 예제도 제공합니다.
NVIDIA Kaolin Wisp 기능 하이라이트
Kaolin Wisp는 PyTorch에 구축되는 Python 기반 API를 사용하여 사용자가 프로젝트를 빠르게 개발하도록 지원합니다. 다른 많은 공개 PyTorch 기반 프로젝트와 호환되는 Kaolin Wisp는 PyTorch/CUDA 기반 기본 구성 요소를 통해 쉽게 사용자 정의할 수 있습니다.
Wisp는 컴퓨팅 성능에 비해 개발자의 속도를 높이기 위해 설계되었지만 라이브러리에 제공된 기본 구성 요소는 몇 분 이내에 신경 필드를 트레이닝하고 대화식으로 시각화하는 데 최적화되어 있습니다.
Kaolin Wisp에는 혼합 접근 방식을 통해 신경 필드 파이프라인을 구성하는 기본 요소가 탑재되어 있습니다. 주목할 만한 예는 다음과 같은 기능 그리드입니다.
- 계층적 옥트리: NGLOD에서 공간 세분화 트리의 기능을 학습합니다. 또한 옥트리는 SDF 외에 멀티뷰 이미지 기반 NGLOD-NeRF 변형을 트레이닝할 수 있도록 하는 레이 트레이싱 작업도 지원합니다.
- 삼평면 기능: EG3D 및 합성곱 점유 네트워크 논문에서 삼평면 텍스처 맵의 입체 특성을 학습하는 데 사용됩니다. 또한 삼평면은 다중 해상도 피라미드 구조에서 다양한 세밀도(LOD)를 지원합니다.
- 코드북: 가변 이변량 신경 필드에서 다양한 학습 가능 키가 있는 압축된 기능 코드북을 학습합니다.
- 해시 그리드: Instant-NGP 논문에서 성능이 좋은 메모리 액세스가 있는 컴팩트한 캐시 친화적 기능 코드북을 학습합니다.
NVIDIA Kaolin Wisp는 NeRF 및 신경 SDF의 변형과 같은 신경 기초 파이프라인의 유연한 렌더링을 지원하는 인터랙티브 렌더러와 결합되어 있습니다. 이를 통해 새로운 표현을 통합할 수 있습니다.
OpenGL 스타일의 래스터화된 기초 요소는 신경 표현과 혼합되어 카메라 및 점유율 구조와 같은 더 많은 데이터 계층의 시각화를 추가할 수 있습니다. 또한 트레이닝 및 렌더링과 상호 작용할 수 있는 GUI에서 맞춤형 위젯을 지원하여 맞춤화 가능한 앱을 쉽게 구축할 수 있도록 합니다.
다른 유용한 기능으로는 속성 뷰어, 최적화 컨트롤, 맞춤형 출력 렌더링 버퍼, 장면 카메라를 손쉽게 조작할 수 있도록 하는 카메라 개체 등이 있습니다.
Kaolin Wisp 및 기타 라이브러리에 대해 자세히 알아보려면 NVIDIA 리서치를 방문하십시오. GitHub에서 kaolin-wisp 프로젝트에 액세스할 수 있습니다.
SIGGRAPH 2022에서 NVIDIA 3D 딥 러닝 연구원 및 Kaolin 라이브러리 개발자와 함께 그래픽의 미래 밝히기 세션에 참여하세요. 질문하고, 데모를 시청하고, Kaolin Wisp가 뉴럴 네트워크 연구를 가속화하는 방법을 알아보세요.
이 블로그에 열거된 SDK의 대부분의 독점 액세스, 얼리 액세스, 기술 세션, 데모, 교육 과정, 리소스는 NVIDIA 개발자 프로그램 회원은 무료로 혜택을 받으실 수 있습니다. 지금 무료로 가입하여 NVIDIA의 기술 플랫폼에서 구축하는 데 필요한 도구와 교육에 액세스하시고 여러분의 성공을 가속화 하세요.
