오늘날 브랜드와 크리에이티브 대행사는 캠페인의 주요 비주얼부터 이커머스용 팩샷에 이르기까지 고품질의 정확한 제품 이미지를 대규모로 제작하고 전달해야 하는 엄청난 부담을 안고 있습니다. 개인화되고 현지화된 시각적 변형과 같은 오디언스 타겟팅 콘텐츠는 제작에 복잡성을 더합니다.
제작 비용, 짧은 타임라인, 리소스, 브랜드 아이덴티티 유지 등은 마케팅 팀이 오디언스 세그먼트를 위해 더 많은 자산과 타겟팅된 콘텐츠를 제작하는 데 방해가 되는 반복적인 장애물입니다.
예를 들어, 에스프레소 머신 제조업체는 곧 출시될 제품을 위해 도시에 거주하는 젊은 직장인부터 시골에서 은퇴를 즐기는 노년층까지 다양한 오디언스를 타겟팅하고자 할 수 있습니다. 기존에는 이를 실행하기 위해 여러 워크스트림, 위치, 팀, 검토 주기가 필요했기 때문에 마케팅 팀이 타겟팅에 사용할 수 있는 콘텐츠가 제한되는 경우가 많았습니다.
이제 크리에이티브 팀은 광범위한 오디언스 세그먼트를 대상으로 고품질의 브랜드 정확도 높은 콘텐츠를 대규모로 생성하기 위해 생성형 AI 워크플로우를 활용할 수 있습니다. 브랜드에 맞는 정확한 비주얼 에셋 생성 및 콘텐츠 제작에 사용되는 툴과 애플리케이션에 생성형 AI를 통합하면 콘텐츠 공급망에 새로운 가능성과 효율성을 제공할 수 있습니다.
이미 많은 개발자가 새로운 가능성과 효율성을 제공하기 위해 노력하고 있는데요.
이 포스팅에서는 정밀한 시각 생성형 AI를 위한 3D 컨디셔닝을 위한 NVIDIA Omniverse Blueprint를 소개하고, 그 작동 방식과 활용 가능성에 대한 개요, 그리고 이 분야의 발전에 대해 어떻게 생각하는지 업계 리더 몇 분의 의견을 들어보려고 합니다.
NVIDIA Omniverse Blueprint는 3D, 시뮬레이션 및 디지털 트윈 애플리케이션을 쉽게 적용하고 구축할 수 있는 레퍼런스 워크플로우입니다.
확장 가능하고 제어 가능한 에셋 생성을 위한 생성형 AI를 활성화하는 모델 컨디셔닝
워크플로우에 생성형 AI를 통합하여 정밀한 온브랜드 이미지를 생성하는 것은 제품의 시각적 입력을 제어할 수 없는 경우 문제가 될 수 있습니다. 특정 형상, 색상, 로고, 브랜드 가이드라인이 특정 조건이 없으면 잘못 해석되거나 손실될 수 있습니다
모델 컨디셔닝이란 모델에 특정 정보나 규칙을 제공하여 모델이 원하는 바에 따라 더 나은 예측이나 결정을 내릴 수 있도록 하는 것을 의미합니다. LLM을 컨디셔닝하려면 텍스트 기반 지침, 예제, 컨텍스트 또는 이전 대화 기록을 제공합니다. 이미지 생성기의 경우 텍스트나 샘플 이미지를 제공할 수 있습니다.
하지만 이 방식으로는 AI 모델을 제어하는 데 한계가 있습니다. 그렇기 때문에 3D 컨디셔닝이 필요합니다.
3D로 장면을 구성하면 아티스트가 생성된 비주얼의 결과물에 대해 궁극적인 창작적 통제권이나 방향성을 가질 수 있습니다. 또한, 사용하기 쉬운 UI를 구축하면 비기술적 팀도 통제되고 조정된 환경에서 콘텐츠를 반복 제작할 수 있으며, 동시에 브랜드 자산은 AI의 영향을 받지 않도록 보호할 수 있습니다.
이 Omniverse Blueprint는 히어로 에셋을 위한 3D와 간단한 환경 지오메트리, 신속한 인페인팅을 위한 2D 렌더 패스를 결합하여 제어된 씬을 완성하는 멀티모달 접근 방식을 취합니다. 마스킹을 통해 제품 디지털 트윈의 무결성을 유지하고 3D 뷰포트에서 카메라 앵글과 줌을 변경하여 샷의 구도를 잡을 수 있습니다.
정밀한 시각적 생성형 AI를 위한 3D 컨디셔닝 워크플로우를 구축하려면 몇 가지 핵심 요소가 필요합니다:
- 브랜드에 맞는 히어로 애셋(On-brand hero asset): 아티스트가 제작하고 보통 브랜드 관리자와 아트 디렉터의 승인을 거친 최종 애셋으로, 히어로 애셋으로 간주해야 합니다. 이 예제에서는 간단한 에스프레소 머신을 제공했습니다.
- 단순한 텍스처 없는 3D 장면: 히어로 애셋을 배치하고 레이아웃 및 구성을 제어하기 위해 3D 아티스트가 제공한 장면입니다.
- 맞춤형 애플리케이션: Kit 106.2를 기반으로 한 Kit 앱 템플릿을 사용하여 제작되었습니다.
- 생성형 AI 마이크로서비스 및 Kit 확장 기능: 맞춤형 애플리케이션에 생성형 AI 기능을 추가합니다. 이 경우, 확산(디퓨전) 모델이 인페인팅(Inpainting)을 담당합니다.
- 솔루션 테스트: 통합된 워크플로우의 기능성과 성능을 검증합니다.
이 워크플로우에서는 생성형 AI를 활용하면서도 3D 애플리케이션 및 워크플로우 개발을 위해 OpenUSD의 이점을 활용할 수 있도록 지원하는 마이크로서비스를 중점적으로 탐색했습니다.
Omniverse Blueprint는 확장 및 커스터마이징이 가능하도록 설계되었습니다. 워크플로우에 도입할 수 있는 몇 가지 추가 구성 요소는 다음과 같습니다:
- 대형 멀티모달 모델(LMMs) + ComfyUI: 텍스트 프롬프트를 기반으로 사실적인 이미지를 빠르게 생성할 수 있는 생성형 텍스트-이미지 모델입니다.
- Edify 360 NIM: 360도 고역동범위 이미지(HDRI) 생성을 위한 Shutterstock의 생성형 3D 서비스의 얼리 액세스 프리뷰. Shutterstock의 라이선스가 있는 크리에이티브 라이브러리를 사용하여 NVIDIA Edify에서 학습되었습니다.
- Edify 3D NIM: 장면을 꾸미기 위한 추가 3D 오브젝트 생성을 위한 Shutterstock의 생성형 3D 서비스. Shutterstock의 라이선스가 있는 크리에이티브 라이브러리를 사용하여 NVIDIA Edify에서 학습되었습니다.
- USD Code: OpenUSD 관련 지식 질문에 답변하고 USD Python 코드를 생성하는 언어 모델입니다.
- USD Search: 텍스트 또는 이미지 기반 입력을 사용하여 OpenUSD 데이터, 3D 모델, 이미지 및 애셋을 검색할 수 있는 AI 기반 검색 기능입니다.
이 워크플로우 가이드를 완료하면 AI를 활용하여 창작 및 마케팅 팀을 지원하고 가속화할 수 있는 맞춤형 애플리케이션을 개발할 수 있습니다. 모든 마이크로서비스는 현재 build.nvidia.com에서 프리뷰 버전으로 제공되며, API 호출을 통해 평가할 수 있습니다.
NVIDIA Omniverse Blueprints를 활용한 마케팅 생태계 구축
독립 소프트웨어 공급업체(ISV) 및 프로덕션 서비스 에이전시의 개발자들은 OpenUSD 기반의 제어 가능한 생성형 AI를 통합하여 차세대 콘텐츠 제작 솔루션을 구축하고 있습니다.
예를 들어, Accenture Song, GRIP, Monks, WPP, Collective World와 같은 기업들은 Omniverse Blueprints를 도입하여 개발 속도를 가속화하고 있습니다.
브랜드에 맞는 애셋 생성을 위한 확장 가능한 AI 솔루션 개발
이 Blueprint는 제어 가능한 생성형 AI 애플리케이션을 구축하는 방법에 대한 아키텍처 예시를 제공합니다. 이를 통해 사용자 또는 고객이 애플리케이션을 최대한 활용할 수 있습니다.
- 멀티모달 AI가 생성한 최종 캠페인 애셋
- 핵심 비주얼을 위한 빠른 컨셉 및 아이데이션
- 프롬프트 입력의 배치 처리: 데이터베이스에서 미리 정의된 텍스트 프롬프트를 활용해 수백 개의 비주얼 결과를 빠르게 생성
이 Blueprint를 구현하면 얻을 수 있는 이점은 다음과 같습니다.
- 시장 출시 속도 향상: 고해상도 브랜드 애셋 제작 시간을 크게 단축하여 제품의 시장 출시를 가속화
- 손쉬운 로컬라이제이션: 특정 문화적 트렌드나 각 지역 시장 요구에 맞춘 로컬라이즈된 이미지를 즉시 생성 가능
- 생산성 증가: 3D 데이터를 활용한 직관적인 도구를 제공하여 고품질 애셋 제작에 대한 기술적 장벽을 낮춤
시작하기
이 포스팅에서는 정밀한 시각적 생성형 AI를 위한 3D 컨디셔닝을 위한 NVIDIA Omniverse Blueprint를 소개하고, 브랜드에 맞는 정확한 시각적 에셋 생성 및 콘텐츠 제작을 위한 생성형 AI 애플리케이션을 구축하여 얻을 수 있는 이점에 대해 설명했습니다.
자세한 내용은 다음 리소스를 참조하세요:
- 3D 컨디셔닝을 위한 정밀한 시각적 생성형 AI Blueprint를 NVIDIA API 카탈로그의 인터랙티브 데모와 함께 제공
- 자체 인프라에서 자체 데이터와 인터페이스하기 위한 자체 배포를 위한 다운로드 가능한 헬름 차트를 포함한 USD Search API의 GA 릴리즈
- Blueprint 구현을 위한 단계별 가이드가 포함된 레퍼런스 아키텍처 샘플 워크플로우
- 워크플로우 가이드가 포함된 /NVIDIA-Omniverse-blueprints/3d-conditioning GitHub 리포지토리
관련 자료
- DLI 강의: 생성 네트워크를 활용한 의료 영상 데이터 증강 및 분할
- GTC 세션: 생성형 AI 및 Apple Vision Pro를 활용한 자동차 마케팅 혁신
- GTC 세션: 제어 가능한 생성형 AI를 위한 OpenUSD 애플리케이션 개발
- GTC 세션: OpenUSD 학습 – 기초부터 실전 개념까지
- NGC 컨테이너: retail-shopping-advisor-lab-service
- 웨비나: 엔터프라이즈 요구에 맞춘 생성형 AI 애플리케이션 구축
