Cyborg 및 RAPIDS cuVS로 벡터 검색에 기밀성 제공

Reading Time: 5 minutes

생성형 AI 시대에 벡터 데이터베이스는 고차원 데이터를 효율적으로 저장하고 쿼리하는 데 없어서는 안 될 필수 요소가 되었습니다. 하지만 모든 데이터베이스와 마찬가지로 벡터 데이터베이스도 사이버 위협, 피싱 시도, 무단 액세스 등 다양한 공격에 취약합니다. 이러한 데이터베이스에는 민감한 기밀 정보가 포함되어 있는 경우가 많다는 점을 고려하면 이러한 취약성은 특히 우려스러운 부분입니다.

이 중요한 문제를 해결하기 위해 Cyborg는 최첨단 알고리즘으로 벡터 검색을 가속화하는 오픈 소스 툴킷인 RAPIDS cuVS 라이브러리를 사용하여 벡터 데이터베이스의 보안을 강화하기 위해 NVIDIA와 협력하고 있습니다. 이 협력의 목표는 Cyborg의 암호화된 벡터 검색 엔진에 GPU 가속을 도입하여 성능 저하 없이 강력한 보안을 보장하는 것입니다.

벡터 데이터베이스 취약점

벡터 데이터베이스는 최신 데이터 집약적 애플리케이션의 초석으로, 검색 증강 생성(RAG) 파이프라인부터 추천 시스템에 이르기까지 모든 것을 구동합니다.
이러한 데이터베이스의 고성능 인덱스 구축 및 검색 기능은 이러한 애플리케이션에 필수적이지만, 저장된 데이터의 가치로 인해 악의적인 공격 및 침해의 매력적인 표적이 될 수 있습니다. 이러한 노출 위험은 기밀 유지가 비즈니스 요구 사항인 업종에서 특히 우려되는 부분입니다:

규제 산업: 예를 들어, 의료, 금융 서비스, 공공 부문은 엄격한 개인정보 보호 및 보안 요건으로 인해 벡터 검색과 그 다운스트림 애플리케이션의 사용을 완전히 배제할 수 있습니다.
IP 중심 산업: 예를 들어, 지적 재산이 상당한 가치 창출과 경쟁 우위를 형성하는 제약, 제조, 방위 산업이 여기에 해당합니다.

이러한 우려는 AI 기반 워크로드의 프로토타입 제작 시에는 무시할 수 있지만, 생산 시에는 장애물이 될 가능성이 높습니다.

솔루션: 컨피덴셜 벡터 검색

뉴욕에 본사를 둔 스타트업인 Cyborg는 이 문제를 해결하기 위해 엔드투엔드 암호화된 벡터 검색 엔진을 개발했습니다. 포워드 프라이버시 및 암호화 해싱을 사용하는 Cyborg Vector Search는 기밀 데이터를 안전하게 색인하고 검색할 수 있게 해줍니다. 엔드투엔드 암호화는 암호화되지 않은 벡터가 데이터베이스에 저장되지 않음을 의미하므로 공격 표면이 상당히 줄어들고 앞서 언급한 기밀성 문제를 해결할 수 있습니다.

Cyborg 벡터 검색은 다음과 같은 주요 성능 특성의 균형을 맞추도록 설계되었습니다:

엔드투엔드 암호화: 엄격한 개인정보 보호 요건을 위해 암호화된 보안 아키텍처를 통해 최고 수준의 보안과 기밀성을 보장합니다.
고성능: 엔드투엔드 암호화의 증분 비용을 최소화하여 암호화된 인덱싱과 검색의 암호화 오버헤드를 각각 5% 미만과 30% 미만으로 유지합니다.
호환성: 기존 벡터 검색 파이프라인 및 워크로드와의 호환성을 유지하여 프로토타입에서 프로덕션으로 간편하게 전환할 수 있습니다.

NVIDIA 하드웨어

이 솔루션은 GPU에서 암호화된 인덱싱을 가능하게 하기 위해 NVIDIA 컨피덴셜 컴퓨팅을 사용합니다. 컨피덴셜 컴퓨팅은 신뢰할 수 있는 실행 환경(TEE)을 사용하여 민감한 작업을 위한 안전한 환경을 제공함으로써 암호화 및 강력한 액세스 제어를 통해 데이터 보안을 유지합니다. 이 기술은 GPU 가속 컴퓨팅 중 데이터의 기밀성을 유지하는 데 매우 중요합니다.
이 솔루션의 핵심 하드웨어는 컨피덴셜 컴퓨팅이 활성화된 NVIDIA H100 텐서 코어 GPU(80GB)입니다. 컨피덴셜 컴퓨팅은 현재 모든 NVIDIA Hopper 텐서 코어 GPU에서 공개적으로 사용할 수 있으며, 차세대 NVIDIA 블랙웰 텐서 코어 GPU에서도 계속 지원될 예정입니다.

CC 모드로 구성된 NVIDIA GPU에는 하드웨어 기반 암호화 엔진, 방화벽 및 원격 증명 흐름이 활성화되어 TEE의 무결성을 보장하므로 최종 사용자는 GPU에서 사용하는 동안 기밀 워크로드가 보호되는지 확인하고 검증할 수 있습니다.
NVIDIA Hopper 컨피덴셜 컴퓨팅은 PCIe 버스의 모든 사용자 데이터를 AES-GCM256으로 암호화 및 서명하고 서명 및 증명 가능한 펌웨어로 구성된 방화벽으로 인프라 및 대역 외 액세스를 차단합니다. 또한 NVIDIA는 공개 원격 증명 서비스를 제공하여 최종 사용자 또는 신뢰 당사자가 드라이버와 펌웨어가 버그나 익스플로잇으로 인해 취소되지 않았다는 최신 확신을 받을 수 있도록 합니다.

Cyborg는 NVIDIA LaunchPad를 사용하여 빠르게 액세스하고 설계를 개발했습니다. LaunchPad는 NVIDIA 고객, 파트너, ISV에게 브라우저 기반 샌드박스 환경에서 사전 구축된 랩에 대한 실습 액세스를 제공합니다. 이 설계는 기밀 VM 애플리케이션 개발 랩을 통해 기밀 워크로드에 맞게 시스템을 구축하고 올바르게 구성하는 데 필요한 모든 단계가 사전 구성되었습니다. Cyborg는 인프라에 대해 걱정할 필요 없이 솔루션 개발에 집중할 수 있었습니다.

컨피덴셜 벡터 검색 가속화

컨피덴셜 벡터 검색은 기존의 벡터 검색과 마찬가지로 계산 비용이 많이 드는 프로세스이며 확장하기가 어려울 수 있습니다. 따라서 GPU 가속화를 위한 완벽한 후보입니다. RAPIDS cuVS에는 이를 위해 고도로 최적화된 프리미티브가 포함되어 있습니다.
이러한 통합의 효과를 평가하기 위해 Cyborg와 NVIDIA는 공동 개념 증명(POC)을 수행했습니다. 여기에는 GPU 가속화된 암호화된 벡터 검색을 현실화하기 위해 cuVS와 Cyborg 벡터 검색을 통합하는 작업이 포함되었습니다.

*그림 1. Cyborg-NVIDIA 공동 PoC의 암호화된 인덱싱 및 검색 파이프라인*

이 PoC에서는 CPU와 GPU에서 암호화된 인덱싱 및 검색 성능을 비교했습니다. 구체적으로, CPU의 scikit-learn KMeans와 hashlib를 각각 GPU의 cuVS와 맞춤형 SHA-3 CUDA 커널로 대체했습니다. 결과는 그 자체로 말해줍니다:

인덱스 구축 시간이 평균 47배 빨라져 벡터 임베딩을 인덱싱하는 데 필요한 시간이 몇 시간에서 몇 분으로 단축되었습니다. 클러스터링 모델 훈련 및 추론의 경우, cuVS로 가속화되는 단계가 52.2배로 훨씬 더 개선되었습니다.
검색 역시 상당한 개선을 보였습니다. 파이프라인의 cuVS 가속화된 부분은 최소한의 코드 변경으로 9.8배의 성능 향상을 달성했습니다.
인덱싱과 검색에서 엔드투엔드 암호화를 위해 NVIDIA Hopper 컨피덴셜 컴퓨팅 모드를 활성화하면 암호화되지 않은 경우에 비해 각각 1~2%, 15~25% 정도의 비용이 추가되었습니다. 이는 GPU 가속화를 통해 상쇄할 수 있을 정도의 작은 오버헤드였습니다.

그림 2는 인덱스 빌드 프로세스부터 시작하여 GPU와 비교한 CPU의 전체 빌드 시간을 보여줍니다.

클러스터링 모델 학습이 일반적으로 인덱스 구축 시간을 지배합니다. 트레이닝을 제외하고 양자화 및 암호화된 인덱싱에만 집중한다면, GPU가 여전히 상당한 가속을 제공합니다(그림 3).

*그림 3. CPU와 GPU에서 클러스터링 모델 학습을 하지 않은 인덱스 구축 시간*

마지막으로, GPU로 전환하면 전체 검색 파이프라인에서 상당한 개선 효과를 얻을 수 있습니다(그림 4).

모든 시간은 동일한 인덱스 구성(리콜 수준 > 0.95)에서 나온 것입니다.

효율성과 정확성의 최적 조합을 위해 IVFPQ 인덱스 유형이 사용되었습니다.

결론

데이터 유출이 점점 더 흔해지는 세상에서 보안은 많은 조직에게 사치가 아니라 필수입니다. Cyborg 벡터 검색과 RAPIDS cuVS 및 NVIDIA 컨피덴셜 컴퓨팅의 통합은 성능을 유지하면서 민감한 데이터를 보호하는 것을 목표로 벡터 데이터베이스의 보안을 강화하는 강력한 접근 방식을 제공합니다.

NVIDIA는 공개적으로 사용 가능한 일반 액세스 하드웨어 기반 컨피덴셜 컴퓨팅 솔루션을 제공하는 최초이자 현재 유일한 GPU 공급업체로, NVIDIA Hopper 제품군을 통해 컨피덴셜 컴퓨팅 솔루션을 제공합니다. NVIDIA는 성능, 보안 및 사용 편의성을 향상시키기 위해 다른 업계 리더들과 협력하여 블랙웰 세대의 기술을 지속적으로 개선하고 있습니다.

Cyborg 벡터 서치는 현재 초기 상용 파트너와 함께 비공개 테스트를 진행 중입니다. 개발이 계속 진행됨에 따라 데이터 보안이 AI 워크로드에 중요한 경우 Cyborg에서 여러분의 의견을 듣고 싶습니다.

지금 NVIDIA Hopper 컨피덴셜 컴퓨팅을 사용해 보려면 LaunchPad 랩에 등록하세요. 또한 광범위한 랩 목록에서 체험 가능한 다른 런치패드 솔루션도 확인할 수 있습니다.