SHAP (Shapley Additive Explanations)

개요

SHAP(Shapley Additive Explanations)는 머신러닝 모델의 예측 결과에 대한 각 피처(feature)의 기여도를 정량적으로 설명해주는 XAI(설명 가능한 AI) 기법입니다. 게임 이론의 샤플리 값(Shapley Value)을 기반으로 하며, 모델의 복잡도와 관계없이 일관된 특성 중요도 평가를 가능하게 하여, 실무에서 모델 신뢰성 검증 및 규제 대응 수단으로 활용됩니다.

---

1. 개념 및 정의

항목	설명	비고
정의	모델 예측 결과에 대해 각 피처가 기여한 정도를 정량적으로 계산하는 기법	Shapley Value + Additive Model
목적	모델의 의사결정 과정을 설명 가능하게 함	규제 대응 및 실무 신뢰성 확보
적용 모델	트리, 선형, 딥러닝 등 대부분의 모델	모델-불가지론(모델-비의존적 기법)

모든 피처의 조합을 고려하여 '공정한' 기여도를 계산한다는 점에서 높은 신뢰성 확보 가능

---

2. 특징

항목	SHAP	LIME	비교 요약
기반 이론	게임이론 (Shapley Value)	국지적 선형 근사	이론적 정당성 확보
모델 적용	모델 불가지론, 구조 불문	모델 불가지론	다양한 모델에 대응
결과 해석	기여도 총합 = 예측값	상대적 영향만 제공	일관된 해석 가능

SHAP은 예측값 분해를 통해 '각 피처가 얼마만큼 결과에 영향을 줬는가'를 명확히 보여줌

---

3. 구성 요소

구성 요소	설명	역할
Shapley Value	모든 피처 조합에 따른 평균 기여도 계산	수학적으로 공정한 분배 정의
Expected Value	예측값 기준점	각 샘플의 베이스라인 역할
SHAP Value	각 피처의 개별 기여도 값	전체 합 = 모델 예측값

예측 결과 = Expected Value + 각 피처의 SHAP 값 합계로 구성

---

4. 기술 요소

기술 요소	설명	활용
Tree SHAP	트리 기반 모델에서 빠른 계산 가능	XGBoost, LightGBM, CatBoost 등
Kernel SHAP	모든 모델에 적용 가능한 샘플링 기반 기법	모델-불가지론 대안
Deep SHAP	딥러닝 모델에 특화된 SHAP 버전	TensorFlow, PyTorch 연계 가능

Tree SHAP은 설명 가능성과 성능을 동시에 만족시키는 산업계 주력 솔루션으로 부상

---

5. 장점 및 이점

항목	설명	기대 효과
모델 투명성 향상	피처별 영향력 수치화로 내부 구조 해석 가능	조직 내 AI 신뢰 확보
규제 대응 용이	금융·의료 분야의 XAI 요구사항 대응	모델 설명 보고서 자동 생성 가능
사용자 수용성 제고	비전문가도 이해 가능한 시각화 결과 제공	예측 결과에 대한 신뢰성 증가

의사결정 기반 시스템(예: 신용평가, 진단 보조 등)에서 높은 활용도 보임

---

6. 주요 활용 사례 및 고려사항

사례	활용 방식	고려사항
금융	신용점수 예측 모델의 피처 기여도 분석	Fairness(공정성) 평가 병행 필요
의료	진단 예측 모델의 설명 시각화 제공	데이터 민감도와 해석 위험 고려 필요
리테일	고객 행동 예측 모델의 인사이트 도출	피처 엔지니어링 정합성 확보 필수

고해상도 해석을 위해 연산 리소스가 많이 소요될 수 있음 — 성능-설명력 균형 필요

---

7. 결론

SHAP은 AI 모델의 예측 과정을 투명하게 설명할 수 있는 가장 강력한 도구 중 하나입니다. 이론적 정당성과 실제 적용성을 모두 갖춘 이 기법은, AI의 책임성과 공정성을 요구하는 사회적 흐름 속에서 더욱 중요해지고 있으며, 향후 XAI 기반 AI 개발 및 운영의 필수 기술로 자리잡을 것입니다.