XAI(explaniable AI)
#
Find similar titles
-
최초 작성자
jylee@insilicogen.com
- 최근 업데이트
Structured data
- Category
- Big Data
XAI란? #
XAI는 설명 가능한 인공지능(Explainable Artificial Intelligence)의 약자로, 인공지능의 행위와 도출한 결과를 사람이 이해할 수 있는 형태로 설명하는 방법론과 분야를 일컫는다. 흔히 인공지능 기술은 복잡한 일련의 과정을 통해 결론을 도출하나, 그 과정을 설명할 수 없는 블랙박스로 여겨진다. XAI는 이에 반하는 개념으로 인공지능의 불확실성을 해소하고 신뢰성을 높이는 역할을 하여, 최근 연구가 활발하게 이루어지는 분야이다.
일반 인공지능과 설명가능한 인공지능의 차이
등장 배경 #
XAI는 1970년대 인공지능 시스템인 전문가 시스템이 도출 결과를 전문가들에게 이해시키지 못하면서, 블랙박스의 한계를 해결하고자 시작된 연구로 처음 등장하였다. 이후 그 중요성이 인식되면서 일부 연구자들에 의해 지속적으로 연구가 진행되어 오다가, 2004년 Van Lent에 의해 XAI라는 용어가 처음 전문 용어로 자리 잡았다. 특히 미 국방성 산하 국방위고등연구계획국(DARPA)에서 기존에 사용되던 인공지능 모델에 데이터를 기반으로 인공지능 시스템의 블랙박스 안을 확인한다는 의미로 XAI를 정의하였다. 이뿐만 아니라, 기밀정보 및 전략분석 분야와 무인 자율시스템 작동 분야에 실무자가 인공지능의 의사결정을 이해하고, 결과를 신뢰하여 효과적으로 업무를 수행할 수 있게 하기 위해, 지난 2016년 XAI 투자 프로그램을 발표하였고, 2017년부터 XAI 관련 프로젝트를 추진하며 가장 적극적으로 예산을 지원하고 있다. 유럽, 아마존웹서비스(AWS)와 구글 등 클라우드 플랫폼 회사들도 앞다퉈 설명 가능한 인공지능 개발에 참여하고 있다.
필요성 #
인공지능 기술과 분야가 급속도로 발전함에 따라 의료, 금융 등 다양한 산업으로 점차 확대되는 추세이다. 이에 따라 인공지능이 내린 최종 결과의 신뢰성과 결과를 도출하는 과정의 타당성을 확보하는 것이 중요한 문제로 대두되고 있다.
일례로 은행에서 신용 대출 승인 여부를 판단하는 AI를 도입했다고 하자. 고객이 대출을 신청하였는데, 대출이 거절된다면 고객은 은행에 그 이유나 근거를 요구할 수 있다. XAI가 없다면 은행은 그 이유를 빅데이터, AI에 기반하여 거절되었다는 답변밖에 할 수 없다.
이러한 사례는 의료 분야에서도 마찬가지이다. 환자의 데이터를 기반으로 암이나 질환을 진단하는 인공지능을 도입할 수 있는데, 어떤 근거에 의해 양성 또는 음성을 결정하였는지 설명할 수 없다. 인공지능의 결과를 신뢰하기 위해서는 어떤 특징, 어떤 근거를 기반으로 질환을 진단하였는지에 대한 설명이 필요하다.
"의료 인공지능의 한계를 뛰어넘는 설명 가능한 인공지능 기술, XAI", 보건산업브리프 Vol340
인공지능은 알고리즘의 복잡성으로 기존의 방식보다 향상된 정확도를 얻을 수 있다는 장점이 있지만, 과정의 투명성이나 신뢰성을 확보하기 어렵다. XAI는 이러한 인공지능의 블랙박스 문제를 일부 해소하고, 의료, 금융, 법률 등의 분야에서 인공지능의 활용성을 높이는 데에 일조할 대안으로 주목받고 있다.
XAI의 종류 #
XAI에는 다음과 같이 3가지 접근 방식이 있다.
- 기존 학습 모델 변형
- 설명 가능한 특징값을 학습할 수 있도록 기존 학습 모델을 수정하거나 '역산 과정'을 추가하는 방식
- 학습 모델 내 노드의 의미 있는 속성(예: 고양이, 개 등의 발톱, 콧수염)을 연결 후 학습하여 분류 결과에 대한 근거 제공
- CAM, Grad-CAM 등
- 새로운 학습 모델 개발
- 데이터 처리 과정을 확인할 수 있도록 기존 알고리즘 외에 설명을 위한 알고리즘을 더하거나 혹은 판단 결과와 함께 데이터 처리 과정까지 보여줄 수 있는 새로운 설명모델 개발
- 사람이 하나의 예만으로 새로운 개념을 배워서 사용할 수 있는 것처럼 사람이 개념을 익히는 과정을 베이지안 방법으로 추론하여 필기체 인식에 적용
- 학습 모델 간 비교
- 타 학습 모델과 비교하여 예측 결과에 대한 근거를 제시하거나 결정 과정을 통해 설명 가능 모델을 생성
- 기존 블랙박스 속성의 머신러닝 알고리즘을 설명 가능한 타 학습 모델과 비교하여 예측한 결과에 대한 근거를 제공
설명 가능한 인공지능 모델의 3가지 기술적 접근 방식
대표적인 XAI 방법론의 목록과 장단점은 다음과 같다.
| 모델 종속성 | 방법론 | 장점 | 단점 |
|---|---|---|---|
| 모델 비종속적 설명 (Model -agonistic; 블랙박스에 대한 귀납적 추론 기반) | LIME | 모델과 무관하게 입력과 출력만으로 확인 가능(모델 공개가 되지 않을 때 비교적 유용한 접근법이며 대리모델 기반 방법론이 공유하는 장점), 특정 샘플에 대해 설명이 쉬워 실무에 적합 | 설명 단위가 그때그때 달라짐, 입력과 출력만을 간접적으로 설명할 뿐 인공지능 모델에 대해 설명하지 않으므로 모델의 본질을 설명할 수 없음 |
| 모델 종속적 설명(Model -specific; 매개변수, 아키텍처에 대한 지식 기반) | LRP | 직관적이며 은닉층 내부의 기여도를 확인할 수 있어, 해당 은닉층이 뭘 감지했는지 알아볼 수도 있음 | 기여도를 히트맵으로 표현하는 것으로는 신경망 모델이 학습한 추상적인 개념을 알 수 없음 |
| Explorative Sampling Considering the Generative Boundaries of DGNN | 복잡한 생성 모델에 쓰인 격자의 성격을 각 격자 사이에 있는 샘플들을 통해 어림짐작 가능 | 여러 샘플을 보고 판단하는 과정에서 모호한 변화와 이를 나누는 경계를 언어로 표현하기 어렵거나, 표현해도 예제 기반 설명의 특성상 분석가의 편향이 개입될 수 있음 | |
| Rule extraction | 신경망을 이해하기 쉬운 Decision Tree 순서도 형식으로 변형 | 신경망 모델을 축약하는 과정에서 모델의 정보를 누락 할 수밖에 없음 | |
| Zero shot learning | 기존의 분류에 없는 데이터를 판단하는 과정에서 그에 대응하는 텍스트에 맞춰 분류하므로 지식 그래프에 기반한 설명이 가능함. | 데이터에 대응하는 데에 사용한 지식 그래프에 따라 설명의 수준이 결정되며, 지식 그래프 만드는 데 쓰인 모델을 설명하지는 않음 |
적용 사례 #
XAI는 마케팅, 생산, 품질 관리, 의료 등 다양한 분야에서 이미 적용되고 있다. 그중에서도 대표적인 예를 몇 가지 소개한다.
미국 심머신(simMachines,Inc.)이 개발·공급하는 AI 심머신(AI simMachines)은 XAI의 일종이다. 이 솔루션은 소비자 행동에 영향을 미치는 빅데이터에 기반하여, 기업의 패턴을 감지하고 미래의 수요 또는 소비를 예측하며 과거의 추이를 가시화한다. 심머신의 솔루션은 소비자의 특성과 소비행태로 고객을 동적으로 그룹화하고, 그룹의 특징을 가시화하여, 마케팅이나 광고에 활용 가능한 통찰을 제공한다.
https://youtu.be/HfBDlFhq6BY 심머신 동적 예측 세그먼트화 소개 영상
'모션보드 스카이 AI(MotionBoard for SkyAI)'는 일본 스타트업 스카이디스크(Skydisc)에서 제조한 자동차의 부품 제조 결함 발생 시기와 원인을 판정하는 XAI 기반의 서비스이다. 이 서비스는 성형가공기에서 불량품 발생을 예측한 AI의 판정 결과와 결함이 발생했을 때 그 요인이 되는 매개 변수를 실시간으로 시각화하는 것이 특징이다. 또 양품과 불량품의 데이터 비교 및 월·주·일 단위로 생산 데이터의 변화를 그래프로 확인할 수 있다. 일반적으로 AI를 활용하여 검지할 때 기존에는 문제가 일어날 것 같은 시기나 원인만을 보여주지만, 이 서비스에서는 XAI를 활용하여 AI가 어떤 문제에 주목하여 결과를 판단하였는지를 함께 설명한다. 이 서비스는 공장 관리자들에게 하자 발생의 이유를 전달해 공정의 문제점이나 인력 배치를 재검토해 업무를 효율성을 높이는 데 활용될 것으로 기대된다.
‘설명 가능한 AI’ 기술이 적용된 사출기(사진:스카이디스크 홈페이지 캡처)
의료 분야의 경우 당뇨병성 망막병증을 진단하고 병변을 검출하는 컴퓨터 보조 검출 시스템이 소개된 바 있다. 네덜란드의 한 안과 연구진의 연구 사례로 망막 기저부의 이미지를 입력 데이터로 사용하면, 건강한 망막을 자동으로 감지하고 병이 진행되고 있는 망막의 이미지를 선별해 안과 전문의를 돕는 보조 시스템이다. 이 시스템은 의심스러운 국소 병변을 안과의와 함께 검사할 수 있는 대화형 도구를 제공하여, 인공지능의 의사 결정을 신뢰할 수 있도록 돕는다는 데에 의의가 있다.
망막 기저부 영상에 대한 시스템의 최종 보고서(Kind, A., & Azzopardi, G. (2019). An Explainable AI-Based Computer Aided Detection System for Diabetic Retinopathy Using Retinal Fundus Images. In M. Vento, & G. Percanella (Eds.), International Conference on Computer Analysis of Images and Patterns (Vol. Part 1, pp. 457-468). (Computer Analysis of Images and Patterns; Vol. 11678). Springer. https://doi.org/10.1007/978-3-030-29888-3_37)
결론 #
XAI는 인공지능의 학습 과정에서 추출한 패턴 등을 사용자에게 제공함으로써 인공지능의 블랙박스 문제를 해소하고, 인공지능의 적용 분야를 확대한다는 의의가 있다. 하지만 AI에 비해 XAI의 설명성을 평가하는 표준적인 방법이 없다. XAI를 실제에 적용하기 위해서는 이와 같은 설명성을 비교할 과학적인 근거나 평가 기준을 마련하고, 그 효용성을 검증하는 노력이 필요할 것이다.
Reference #
- IBM: https://www.ibm.com/kr-ko/watson/explainable-ai
- XAI 설명 가능한 인공지능, 인공지능을 해부하다 : 블랙박스를 이해하고 시스템의 신뢰성을 높이기 위한, 안재현, 위키북스, 2020.03.27
- https://spri.kr/posts/view/23296?code=industry_trend
- https://realblack0.github.io/2020/04/27/explainable-ai.html
- https://www.irsglobal.com/bbs/rwdboard/15501
- https://realblack0.github.io/2020/04/27/explainable-ai.html
- "의료 인공지능의 한계를 뛰어넘는 설명 가능한 인공지능 기술, XAI", 보건산업브리프 Vol340, 2021.11.01. 한국보건산업진흥원(KHIDI)
- http://www.aitimes.kr/news/articleView.html?idxno=14859
- http://www.aitimes.kr/news/articleView.html?idxno=14225
- Kind, A., & Azzopardi, G. (2019). An Explainable AI-Based Computer Aided Detection System for Diabetic Retinopathy Using Retinal Fundus Images. In M. Vento, & G. Percanella (Eds.), International Conference on Computer Analysis of Images and Patterns (Vol. Part 1, pp. 457-468). (Computer Analysis of Images and Patterns; Vol. 11678). Springer. https://doi.org/10.1007/978-3-030-29888-3_37
