AI는 사이버 보안의 발전 속도를 바꾸고 있습니다. 에이전틱 시스템은 긴 호흡에 걸쳐 작업을 조율하고 복잡한 목표를 추구할 수 있습니다. 보안 팀은 보안 운영 전반에 에이전트를 적용하기 시작했지만, 상당수 구현체는 여전히 기존 알림, 미리 정의된 워크플로우, 알려진 공격 행위에만 얽매여 있습니다. 더 어려운 문제는 방어 체계가 놓치는 부분을 식별하고, 해당 취약점을 확실한 방어선으로 전환하는 것입니다. 이를 위해서는 조직 고유의 환경에서 적응형 공격을 반복적으로 테스트하고, 일반적인 기업 활동을 바탕으로 후보 탐지 수단을 검증해야 합니다.
지속적인 공수 테스트는 이러한 피드백 루프를 생성합니다. 통제된 공격은 방어 에이전트가 취약점을 노출하고, 방어 범위를 개선하며, 재테스트를 수행하는 데 필요한 원격 측정 데이터와 그라운드 트루스를 생성합니다. 그러나 이러한 엔드투엔드 사이클에는 여전히 상당한 수작업이 필요합니다. 오픈 모델과 특화된 하네스로 구동되는 레드 및 블루 에이전트가 기계의 속도와 규모로 이 피드백 루프를 운용할 수 있을까요?
NVIDIA와 CrowdStrike는 NVIDIA 가속 컴퓨팅 인프라를 모델링한 격리 환경에서 에이전틱 공수 시스템을 평가했습니다. 방어 측면에서는 사이버 보안에 맞춤화된 NVIDIA Nemotron 모델이 CrowdStrike의 에이전틱 사이버 보안 시스템인 SafeMind 내부에서 작동합니다. CrowdStrike의 자체 내부 평가에 따르면, 방어용 모델인 Blue Solano는 테스트된 주요 상용 프론티어 모델보다 더 높은 정확도를 보이면서 비용은 99% 저렴했습니다. 이번 평가의 최적화된 오픈 모델 구성에서는 방어 조율용으로 NVIDIA Nemotron 3 Ultra를, 탐지 생성용으로 파인튜닝된 Nemotron 3 Super를 결합하여 사용했습니다.
본 게시물에서는 Nemotron 모델과 특화된 에이전트 하네스가 CrowdStrike의 에이전틱 시스템과 어떻게 협력하는지, 어떤 방식으로 배포 및 평가되었는지, 그리고 그 결과 생성된 탐지 수단이 독립적으로 시드된 공격 실행 전반에서 어떤 성능을 보였는지 소개합니다.
공격과 방어를 지속적인 학습 루프로 전환
전통적인 레드 팀 및 블루 팀 훈련은 수동 인도 과정에 의존합니다. 레드 팀이 공격을 수행하면 블루 팀이 생성된 원격 측정 데이터를 검토하고, 탐지 엔지니어가 탐지 규칙을 개발하거나 업데이트하며, 레드 팀이 이를 재테스트합니다. 각 인도 단계마다 시간이 소요되므로 평가할 수 있는 반복 횟수와 공격 변형에 한계가 있습니다. 에이전틱 공수 시스템은 이러한 활동을 기계의 속도로 작동하는 반복 가능한 폐쇄형 루프로 연결합니다. 격리된 대표 환경 내에서 각 실행은 탐지 규칙을 생성하거나 개선하는 데 사용되는 공격 추적 및 센서 원격 측정 데이터를 생성합니다. 그 결과로 도출된 맥락은 레드 에이전트 하네스로 전달되며, 에이전트는 해당 환경 내에서 실행 가능한 경로를 더 이상 찾지 못할 때까지 대안 공격 및 우회 경로를 적응시키고 테스트합니다.
이 워크플로우는 상호 연결된 4단계로 구성됩니다:
- 실행 및 캡처: 위협 정보 기반의 목표에서 시작하여, 레드 에이전트 하네스가 대표 환경 내부에서 공격 경로를 선택하고 실행했습니다. 액션 추적이 각 단계를 기록하는 동안 CrowdStrike Falcon 엔드포인트 센서가 이에 해당하는 원격 측정 데이터를 캡처했습니다.
- 처리 및 재구성: 블루 에이전트 하네스는 액션 추적, 센서 원격 측정 데이터, 광범위한 공격 맥락을 전달받았습니다. 이용 가능한 데이터 소스에 대한 정보와 CrowdStrike의 탐지 엔지니어링 전문 지식을 접지 맥락으로 활용하여, 이벤트 시퀀스 중 재구성할 수 있는 부분, 기존 탐지 규칙이 동작한 부분, 가시성 또는 탐지 공백이 남아 있는 부분을 판단했습니다.
- 생성 및 검증: 이 분석을 바탕으로 블루 에이전트 하네스가 후보 탐지 규칙을 생성했습니다. 검증 하네스는 각 후보를 점검하고 캡처된 원격 측정 데이터에 대해 백테스팅을 수행하여, 실패 건은 수정을 위해 반환하고 검증된 탐지 규칙은 탐지 엔진으로 전송했습니다.
- 재테스트, 적응 및 반복: 검증된 탐지 규칙이 배포된 후, 독립적으로 시드된 공격이 동일한 목표에 대해 재테스트를 수행했습니다. 탐지 및 알림 맥락이 레드 에이전트 하네스로 전달되었고, 에이전트는 대안 공격이나 우회 경로를 적응시키고 탐색하여 블루 에이전트 하네스를 위한 새로운 추적 정보와 원격 측정 데이터를 생성했습니다.
각 사이클은 방어 범위를 강화하는 동시에 공격 측이 방어 체계를 완벽히 파악한 상태에서 더 어려운 경로를 찾도록 강제하도록 설계되었습니다. 루프는 모델링된 환경 내에 더 이상 실행 가능한 경로가 남지 않을 때까지 계속됩니다.
대표 테스트 환경 구축
안전하고 현실적인 테스트를 구현하기 위해, NVIDIA는 가속 컴퓨팅 인프라를 나타내는 정제된 자연어 명세서를 제공했습니다. 에이전트 보조 워크플로우는 이 명세서를 Falcon 플랫폼 센서가 장착된 격리된 타깃 사이버 에이전트 환경으로 변환했습니다.
평가 과정에서는 에이전트의 자체 주장에 의존하지 않고, 액션 추적과 센서 원격 측정 데이터로부터 진행 상황을 측정하기 위해 공격 경로와 관찰 가능한 마일스톤을 활용했습니다. NVIDIA 보안 전문가들은 현실성을 기하기 위해 환경과 위협 경로를 검토했습니다. 동일한 검토 환경이 모든 공격 실행, 탐지 테스트, 평가 지표를 지원하여 구성 전반에 걸친 일관된 비교를 가능하게 했습니다.
방어 하네스 특화
다음 과제는 도출된 공격 추적과 원격 측정 데이터를 기술적 및 행동적 검증을 통과할 수 있는 탐지 규칙으로 전환하는 것이었습니다. 오픈 에이전트 하네스는 이미 계획 수립, 툴 사용, 맥락 관리, 반복적 보정과 같은 역량을 제공합니다. Open Secure AI Alliance는 사이버 보안을 위한 오픈 모델, 하네스, 툴로 구성된 전반적인 생태계를 확장하는 데 기여하고 있습니다.
방어 하네스는 여섯 가지 메커니즘을 결합했습니다:
- 스키마 지식 베이스: 에이전트가 지원되는 Falcon 센서 스키마, 필드, 쿼리 구문을 열거할 수 있는 툴을 제공하여 지어낸 필드나 유효하지 않은 쿼리가 생성되는 것을 방지했습니다.
- 원격 측정 데이터 접지: 레드 에이전트 추적, Falcon 원격 측정 데이터, 광범위한 공격 맥락이 관찰된 이벤트와 관계에 워크플로우를 고정하여 근거 없는 연결이나 환각 현상을 줄였습니다.
- 특화된 탐지 규칙 작성: 맞춤화된 Nemotron 3 Super가 탐지 규칙 생성 및 수정을 위한 제한된 영역의 전문가 역할을 수행하여, 이 특화된 작업을 더 긴 조율 맥락과 분리했습니다.
- 아티팩트 린팅: 자동화된 점검을 통해 구문 오류, 미지원 필드, 특정 IP 주소, 호스트, 사용자, 서브넷에 결합된 탐지 규칙을 거부했습니다. 검증 실패 시 환경 특화 문자열 대신 행위 신호를 중심으로 탐지 규칙을 재작성하도록 가이드를 반환했습니다.
- 탐지 재생: 각 후보 규칙을 캡처된 공격 원격 측정 데이터에 대해 재생했습니다. 일치하는 결과가 없는 탐지 규칙은 거부하고 수정을 위해 반환하여, 유효해 보이지만 기록된 활동을 탐지하지 못하는 후보를 걸러냈습니다.
- 독립적 검토: 새로운 맥락을 가진 별도의 판정 모델이 행위 정렬성, 견고성, 다중 신호의 적절한 활용 여부에 대해 각 탐지 규칙을 평가하여, 린팅과 재생 과정에서 놓친 품질 공백을 포착했습니다.
검증에 실패한 경우 구조화된 피드백을 블루 에이전트 워크플로우로 전달하여 수정 및 재시도를 진행했습니다. 이러한 메커니즘이 모여 수동 탐지 엔지니어링 검토를 통해 적용되던 관행을 수립하였고, 이를 통해 단순한 개연성을 넘어 근거가 명확하고 테스트 가능하며 보정할 수 있는 탐지 규칙 생성을 가능하게 했습니다.
방어 조율 및 탐지 생성을 위한 Nemotron 맞춤화
Nemotron과 같은 오픈 모델은 도메인 데이터로 사후 학습(Post-training)을 거치고, 통제된 환경에 독자적 맥락과 함께 배포되며, 비용과 규모면에서 최적화될 수 있습니다. 평가된 오픈 모델 구성에서 Nemotron 3 Ultra는 공격 시퀀스를 재구성하고, 탐지 엔지니어링 단계를 계획하며, 툴을 호출했습니다. 탐지 규칙 작성이나 수정을 수행할 때는 맞춤화된 Nemotron 3 Super가 제한된 영역의 전문가 역할을 담당했습니다. 이러한 분리를 통해 워크플로우 조율을 특화된 탐지 작성 작업과 명확히 구별하여 유지했습니다.
이러한 특화된 전문가를 생성하기 위해 CrowdStrike는 Nemotron 3 Super를 NL2LogScale 모델의 베이스로 사용한 뒤, 사이버 보안 지식에 대한 지속적 사전 학습, 감독 파인튜닝, 검증 가능한 보상 기반의 강화학습을 적용했습니다. 파인튜닝에는 프로그램 방식으로 생성된 59가지 오류 유형에 걸친 9,349개의 탐지 생성 및 다단계 보정 예시가 활용되었습니다. 학습 데이터는 Nemotron 3 Super의 요청 재구성 문구, 실제 Falcon LogScale 실행 오류, Nemotron 3 Ultra의 품질 검증을 거친 추론 추적(Reasoning trace)을 결합하여 구성했습니다.
강화학습의 경우, 학습 워크플로우는 NVIDIA NeMo Gym을 활용하여 Falcon LogScale에서 생성된 쿼리를 검증하고 실행했습니다. 유효하지 않은 쿼리는 실제 엔진 오류 메시지를 수신하고 최대 5회의 보정 시도가 부여되었으며, 해결되지 않은 시도는 0점의 보상을 받았습니다. 검증을 통과한 생성 쿼리와 레퍼런스 쿼리는 동일한 가상 로그를 대상으로 실행되었으며, 반환된 이벤트 간의 F1 중섭도가 보상으로 제공되었습니다. NVIDIA NeMo RL은 그룹 상대 정책 최적화(GRPO)를 지원하여 모델을 업데이트했습니다. 강화학습 워크플로우에서는 NeMo Gym을 사용하여 생성된 쿼리를 검증하고, NeMo RL을 사용하여 검증 가능한 결과를 바탕으로 모델을 업데이트했습니다.
백테스트부터 라이브 파이어까지 전체 에이전트 시스템 평가
탐지 규칙은 이를 생성하는 데 사용된 기록된 공격을 탐지할 수 있지만, 동일한 행위가 새롭게 실행될 때는 탐지에 실패할 수 있습니다. 따라서 각 시스템을 두 단계로 나누어 평가했습니다. 먼저 기록된 공격에 대한 백테스팅을 진행한 후, 동일한 시나리오 계열의 새로운 8가지 공격을 대상으로 라이브 파이어(Live-fire) 테스트를 실시했습니다. 통과한 모든 탐지 규칙은 수정 없이 실제 탐지 엔진에 그대로 배포되었습니다. 독립적인 제3자 판정 모델이 각 매칭 결과가 의도한 공격 행위를 나타내는지 평가했으며, 결과는 독립적으로 시드된 작성 세션 전반에 걸쳐 평균화되었습니다.
기록된 공격에 대한 백테스팅
Nemotron 3 Ultra와 기본 하네스를 사용했을 때, 독립적으로 시드된 8개 세션 전체에서 생성된 탐지 규칙의 평균 16.5%가 기록된 공격을 탐지했습니다. Ultra 모델을 유지하면서 튜닝된 하네스, 맞춤화된 Nemotron 3 Super, 도메인 맥락, 툴, 검증 절차를 추가하자 6개 세션에 걸친 평균 탐지율이 41.9%로 증가하여 2.5배의 성능 향상을 기록했습니다. 최적화된 구성은 하네스와 모델 스택을 모두 변경했기 때문에, 이러한 성과는 단일 모델의 단독 결과가 아닌 전체 오픈 파이프라인의 종합적인 성능 개선을 반영합니다.
라이브 파이어 테스트를 통한 일반화 성능 평가
라이브 파이어 테스트 동안, Nemotron 기반의 최적화된 오픈 파이프라인에서 백테스트를 통과한 11개의 탐지 규칙과 전체 상용 프론티어 시스템에서 도출된 35개의 탐지 규칙이 미확인 공격 8건에 대해 배포되었습니다. 오픈 파이프라인의 11개 탐지 규칙 중 5개(45%)가 최소 하나 이상의 공격을 탐지한 반면, 프론티어 시스템의 탐지 규칙은 10개(29%)에 그쳤습니다. 오픈 파이프라인은 탐지 규칙당 평균 2.6건의 공격을 탐지한 데 비해 프론티어 시스템은 1.1건을 기록했습니다.
그러나 단순 탐지 성공은 첫 번째 품질 게이트에 불과했습니다. 골드(Gold) 등급을 획득하려면 탐지 규칙이 테스트 트래픽 환경에서 알림을 울리지 않고 정숙을 유지해야 하며, 행위 접지성, 다중 신호 활용, 환경 특화 문자열 미사용 항목에 대해 독립적인 검토를 통과해야 했습니다. 실제 작동한 5개의 오픈 탐지 규칙 중 4개, 그리고 10개의 프론티어 탐지 규칙 중 9개가 오탐 없이 정숙을 유지하며 각각 8건 중 8건, 8건 중 7건의 공격을 방어했습니다. 검토 결과, 오픈 탐지 규칙 3개가 골드 등급을 획득한 반면 프론티어 탐지 규칙은 단 한 개도 통과하지 못했습니다. 골드 등급을 받은 3개의 오픈 탐지 규칙은 8개 공격 전체를 완벽히 커버했습니다.
결과 해석
상용 프론티어 시스템이 더 많은 백테스트 통과 탐지 규칙을 생성했지만, 최적화된 Nemotron 오픈 모델 파이프라인은 일반화에 성공한 비율이 더 높았고, 탐지 규칙당 평균 탐지 건수가 많았으며, 골드 등급 탐지 규칙을 배출한 유일한 시스템이었습니다. 이번 평가는 단일 시나리오 계열과 소규모 탐지 규칙 집합을 대상으로 진행되었으므로, 교차 시나리오 일반화 성능은 아직 검증되지 않은 상태입니다. 또한 제한된 정상 트래픽 조건으로 인해 오탐 테스트 결과가 프로덕션 환경의 오탐 성능을 완전히 대변하지는 않습니다. 8번의 라이브 파이어 실행 중 3번은 하네스 오류가 발생했으나 완전한 원격 측정 데이터를 생성했으므로 결과 분석에 포함되었습니다. 본 조사 결과는 일반적인 벤치마크가 아닌 시스템 레벨의 방향성을 제시하는 사례 연구에 해당합니다.
특화 에이전트에 패턴 적용하기
이번 평가 결과는 NVIDIA Nemotron으로 특화 에이전트를 구축하기 위한 광범위한 설계 패턴을 제시합니다. 추론 모델이 방어 워크플로우를 조율하고, 사후 학습을 거친 오픈 모델이 제한된 영역의 전문가 작업을 처리하며, 에이전트 하네스가 맥락, 툴, 검증을 관리하는 방식입니다. 여기서 네 가지 설계 원칙이 도출됩니다:
- 측정 가능한 작업을 정의하고 각 모델에 명확한 역할을 부여합니다.
- 도메인 데이터와 검증 가능한 보상을 활용해 특화 모델을 사후 학습시킵니다.
- 권위 있는 맥락에 출력을 접지시키고 확정적 점검, 현실적인 재현 실행, 독립적 검토를 통해 이를 검증합니다.
- 보안 전문가가 시나리오, 가드레일, 검증된 출력의 활용을 통제하는 실제와 유사한 조건에서 전체 워크플로우를 평가합니다.
CrowdStrike는 공격과 방어 AI를 지속적인 공동 진화 루프로 결합하는 에이전틱 사이버 보안 시스템인 SafeMind를 통해 이러한 접근 방식을 발전시키고 있습니다. NVIDIA Nemotron 3, NeMo Megatron Bridge, NeMo Gym, NeMo RL을 활용하여 특화된 영역에 맞춘 전용 에이전트를 커스터마이징하고 평가해 보시기 바랍니다.
