Counterfactual Explainer
개요
AI의 결정은 때로 **“왜 이 결정을 내렸는가?”**보다 **“어떻게 했으면 결과가 달라졌는가?”**에 대한 질문으로 귀결됩니다. 이러한 사용자 중심의 설명 요구를 충족시키는 것이 바로 **Counterfactual Explanation(반사실 설명)**입니다. 특히 고신뢰 의사결정이 필요한 금융, 의료, 법률 등에서는 Counterfactual Explainer를 통해 AI의 판단을 투명하게 이해하고, 사용자 피드백 기반 개선까지 이어지는 **설명 가능한 AI(XAI)**의 핵심 도구로 주목받고 있습니다.
1. 개념 및 정의
Counterfactual Explainer는 현재 입력값(input)이 아닌, 결과(label)를 변화시키는 가장 최소한의 입력 변경을 제시하여 모델의 결정 경계를 설명하는 기법입니다. 즉, “당신의 대출이 거절된 이유는 무엇인가?”가 아니라 “무엇이 달라졌다면 대출이 승인되었을까?”를 제시합니다.
- 목적: 예측 결과 변경 조건을 제시하여 사용자 이해 및 신뢰 향상
- 형태: 입력 피처를 변경한 샘플 + 변경 이유 및 거리(metric)
2. 특징
| 특징 | 설명 | 효과 |
| 사용자 중심 설명 | “어떻게 바뀌면 다른 결과?”에 답변 | 실용적 피드백 제공 가능 |
| 인간 직관과 부합 | 원인-결과 기반 구조 | 모델 신뢰도 제고 |
| 피처 조작 기반 | 중요한 입력 요소를 식별 | 모델 감도 파악 가능 |
| 모델 불가지론적 | 대부분의 예측 모델에 적용 가능 | Black-box 모델에도 활용 가능 |
결정이 아닌 ‘결정 조건’에 집중한 직관적인 XAI 방식
3. 구성 요소
| 구성 요소 | 설명 | 역할 |
| 원래 입력값(original instance) | 모델이 판단한 원래 데이터 샘플 | 기준 비교 대상 |
| 반사실 샘플(counterfactual) | 출력 결과가 달라지는 최소 변경 샘플 | 설명의 핵심 제시값 |
| 거리 함수(distance metric) | 변경된 정도 측정(e.g., L1, L2 norm) | 최소 변경 조건 계산 기준 |
| 제한 조건(constraints) | 비현실적 조작 방지 제약(e.g., 나이 < 150) | 설명의 실용성 보장 |
반사실 설명은 수학적 최적화와 의미론적 타당성의 균형이 중요함
4. 기술 요소
| 기술 요소 | 설명 | 활용 방식 |
| Optimization-based Explainer | 목적 함수 최소화를 통해 counterfactual 생성 | 결과 변경 + 입력 변화 최소화 |
| Generative Model (e.g., GAN) | 자연스러운 샘플 생성을 통한 설명 | 이미지, 텍스트 도메인에서 활용 |
| Proximity & Sparsity Trade-off | 가까우면서도 적게 바뀐 설명 추구 | 사용자의 이해도 향상 |
| Feature Actionability | 조작 가능한 피처만 변경 | 현실성 확보 및 편향 방지 |
Counterfactual은 단순 수치가 아닌 ‘조치 가능한 설명(actionable insight)’에 집중
5. 장점 및 이점
| 장점 | 설명 | 기대 효과 |
| 사용성 높은 설명 제공 | “이것만 바뀌면 결과가 달라진다” 제시 | 비전문가도 이해 가능 |
| 데이터 기반 편향 탐지 | 특정 조건 반복 시 불공정성 발견 가능 | AI 공정성 평가에 활용 |
| 정책 결정 피드백 가능 | 모델에 기반한 사용자 가이드 제공 | 사용자 행동 유도 가능 |
| 다양한 도메인 적용 | 의료, 금융, HR 등 결정이 중요한 분야에 적합 | 산업별 XAI 요구 충족 |
AI 결정 이해 → 신뢰 확보 → 행동 유도까지 이어지는 설명의 진화
6. 주요 활용 사례 및 고려사항
| 활용 사례 | 설명 | 고려 사항 |
| 대출 거절 설명 | 소득, 신용점수 등 변경 시 승인 조건 안내 | 차별적 조작 여부 확인 필요 |
| 의료 진단 피드백 | 생체 정보 조건 변경 → 질병 예측 변화 | 현실적 조작 불가능 피처 제외 필수 |
| 채용 AI 결과 피드백 | 학력, 경력 요소 변화에 따른 결과 제시 | 법적/윤리적 투명성 기준 준수 필요 |
| 이미지 분류 모델 디버깅 | 픽셀 영역 변경 → 분류 역전 | 시각적 설명 도구와 결합 필요 |
설명 생성 전 과정에서 투명성, 현실성, 편향성 고려가 중요함
7. 결론
Counterfactual Explainer는 AI 시스템의 결정 구조를 직관적이고 인간 중심적으로 설명할 수 있는 가장 강력한 도구 중 하나입니다. 특히 책임성과 신뢰가 중요한 고위험 분야에서 필수적인 XAI 구성 요소로 자리잡고 있으며, 단순 모델 해석을 넘어서 사용자와의 인터랙션, 피드백 기반 학습 구조로의 확장 가능성이 큽니다. 향후 Generative AI, causal AI, fairness analysis 등과 융합하여 더 정교한 설명 체계를 만들어갈 것입니다.