은행은 AI를 사용하여 고객에게 신용을 제공할지 여부와 금액을 결정합니다. 병원의 방사선과는 건강한 조직과 종양을 구별하기 위해 AI를 사용합니다. 그리고 인사팀은 수백 개의 이력서 중 어떤 이력서를 채용 담당자에게 보내야 하는지를 파악하기 위해 AI를 사용합니다.
앞서 나온 예시들은 산업 전반에 걸쳐 AI가 어떻게 채택되고 있는지 보여주는 몇 가지 예에 불과합니다. 그리고 사용되는 범위가 넓어짐에 따라 AI와 머신러닝을 채택하는 기업과 정부는 AI 모델이 어떻게 결정을 내리는지에 대한 베일을 벗어야 한다는 압박은 커지고 있습니다.
골드만 삭스의 상무이사인 Charles Elkan은 조직들이 AI의 신뢰성에 대한 의구심과 AI 시스템에 대한 반대를 극복하기 위해 AI를 아래와 같이 비유했습니다.
우리는 폭탄을 탐지하는 개가 어떻게 그들의 일을 하는지 정확히 이해하지 못하지만, 우리는 그들이 내리는 결정에 많은 신뢰를 둔다.
AI 모델이 어떻게 결정을 내리는지 더 잘 이해하기 위해, 조직들은 설명 가능한 인공지능(AI)으로 눈을 돌리고 있습니다.
설명 가능한 인공지능은 무엇인가?
XAI라고도 약칭되는 설명 가능한 AI는 사람들이 모델이 왜 특정한 결정을 내리고 어떻게 작동하는지 더 잘 이해하도록 돕기 위해 조직에서 사용하는 도구와 기술의 집합입니다. XAI는 다음과 같습니다.
- 모범 사례 (A set of best practices): 데이터 과학자들이 수년간 사용해온 최상의 절차와 규칙 중 일부를 활용해 모델이 어떻게 훈련되는지 다른 사람들이 이해할 수 있도록 돕는다. 모델이 어떤 데이터에 대해 어떻게 훈련되었는지 알면 모델을 사용하는 것이 타당한지 이해하는 데 도움이 됩니다. 또한 모델이 어떤 편견의 원천에 노출되었을 수 있는지도 조명한다.
- 일련의 설계 원칙 (A set of design principles): 연구자들은 AI 시스템 구축을 단순화하여 본질적으로 이해하기 쉽게 만드는 데 점점 더 집중하고 있다.
- 도구 집합 (A set of tools): 시스템이 이해하기 쉬워짐에 따라, 교육 모델은 이러한 학습을 해당 학습에 통합하고 다른 사람에게 해당 학습을 제공하여 모델에 통합함으로써 더욱 정교해질 수 있다.
설명 가능한 인공지능은 어떻게 작동하는가?
XAI 프로세스의 표준화에 대해서는 여전히 많은 논쟁이 있지만, 이를 구현하는 산업 전반에 걸쳐 몇 가지 핵심 사항이 반영되어 있습니다.
- 우리가 누구에게 그 모델을 설명해야 합니까?
- 얼마나 정확하고 정확한 설명이 필요한가요?
- 전체 모델을 설명해야 하나요, 아니면 특정 결정을 설명해야 하나요?

데이터 과학자들은 이 모든 질문에 초점을 맞추고 있지만, 설명 가능성은 다음과 같이 요약됩니다: 우리가 설명하려고 하는 것은 무엇인가?
모델의 혈통(pedigree)
- 모델은 어떻게 교육을 받았습니까?
- 어떤 데이터가 사용되었습니까?
- 교육 데이터의 편향의 영향은 어떻게 측정되고 완화되었는가?
이 질문들은 당신의 외과의사가 어느 학교에 다녔는지, 그들의 선생님이 누구인지, 그들이 무엇을 공부했는지, 그리고 그들이 어떤 성적을 받았는지 설명하는 것과 같은 데이터 사이언스입니다. 이것을 올바르게 하는 것은 순수한 AI에 대한 것이라기보다는 과정과 문서 흔적을 남기는 것에 더 가깝지만, 모델에 대한 신뢰를 구축하는 것에 중요합니다.
모델의 혈통(pedigree)을 설명하는 것은 꽤 쉬워 보이지만, 현재 많은 도구가 강력한 정보 수집을 지원하지 않기 때문에 실제로는 어렵습니다. NVIDIA는 사전 훈련된 모델에 대한 이러한 정보를 제공합니다. 이들은 GPU 최적화 AI와 고성능 컴퓨팅 SDK 및 모델의 허브인 NGC 카탈로그에서 공유되며 기업이 애플리케이션을 신속하게 구축할 수 있도록 지원합니다.
전체 모델 설명:
모델 해석성이라고도 하는 이 분야는 활발한 연구 분야입니다. 대부분의 모델 설명은 두 가지 진영 중 하나로 분류됩니다.
때때로 “프록시 모델링“이라고 불리는 기술에서 의사결정 트리와 같은 더 단순하고 더 쉽게 이해할 수 있는 모델은 더 자세한 AI 모델을 대략적으로 설명하는 데 사용될 수 있습니다. 이러한 설명은 전체적으로 모델의 “감각”을 제공하지만, 프록시 모델의 근사치와 단순성 사이의 균형은 여전히 과학보다 예술의 영역입니다.
프록시 모델링은 항상 근사치이며, 잘 적용되더라도 실제 의사 결정이 프록시 모델에서 예상되는 것과 매우 다를 수 있습니다.
두 번째 접근법은 “해석 가능성을 위한 설계“입니다. 이것은 우리가 더 단순한 행동을 하도록 강요하는 작은 부분에서 전체 네트워크를 조립하려고 시도하는 방식으로 AI 네트워크의 설계 및 훈련 옵션을 제한합니다. 이것은 여전히 강력하지만 설명하기 훨씬 쉬운 행동을 하는 모델로 이어질 수 있다.
그러나 이것은 말처럼 쉽지 않으며 데이터 사이언티스트의 도구 상자에서 구성 요소와 구조를 제거함으로써 어느 정도의 효율성과 정확성을 희생시킵니다. 이 접근법은 또한 훨씬 더 많은 계산 능력을 요구할 수 있습니다.
XAI가 개인의 결정을 가장 잘 설명하는 이유
XAI의 가장 잘 이해되는 분야는 개인의 의사 결정이다. 예를 들어, 왜 사람이 대출 승인을 받지 못했는가 하는 것입니다.
LIME 및 SHAP과 같은 이름의 기술은 이 질문에 대해 (매우 문자 그대로의)수학적 답변을 제공합니다. 그리고 그 수학의 결과는 데이터 과학자, 관리자, 규제 기관 및 소비자에게 제시될 수 있습니다. 이미지, 오디오 및 텍스트와 같은 일부 데이터의 경우 모델에서 “주의”를 사용하여 유사한 결과를 시각화할 수 있으므로 모델 자체가 작업을 보여주도록 강제합니다.
SHAP에 사용된 섀플리 값의 경우, 1950년대에 수행된 게임 이론 연구에 기초하여 특히 매력적인 기본 기술에 대한 수학적 증명이 있다. 개별 결정에 대한 이러한 설명을 사용하여 모델을 전체적으로 설명하는 데 적극적인 연구가 있으며, 주로 클러스터링에 초점을 맞추고 기본 수학에 다양한 부드러움 제약을 적용한다.
이러한 기술의 단점은 계산 비용이 다소 비싸다는 것입니다. 또한 모델 훈련 중에 상당한 노력 없이 결과는 입력 데이터 값에 매우 민감할 수 있다. 어떤 사람들은 데이터 과학자들이 대략적인 섀플리 값만 계산할 수 있기 때문에, 이 숫자들의 매력적이고 증명 가능한 특징들도 근사치에 불과하여 그들의 가치를 급격하게 감소시킨다고 주장한다.
건강한 논쟁이 남아 있지만, 적절한 모델 혈통을 유지하고, 모델에 관련된 위험에 대해 상급 지도부에 명확하게 설명하는 모델 설명 가능성 방법을 채택하고, 개별 설명으로 실제 결과를 모니터링함으로써 AI 모델을 명확하게 이해된 행동으로 구축할 수 있다는 것은 분명하다.
XAI 작업의 예를 자세히 보려면 NVIDIA GTC21에서 Wells Fargo와 Scotia Bank 세션을 확인하세요.
이 블로그에 열거된 SDK의 대부분의 독점 액세스, 얼리 액세스, 기술 세션, 데모, 교육 과정, 리소스는 NVIDIA 개발자 프로그램 회원은 무료로 혜택을 받으실 수 있습니다. 지금 무료로 가입하여 NVIDIA의 기술 플랫폼에서 구축하는 데 필요한 도구와 교육에 액세스하시고 여러분의 성공을 가속화 하세요.