PRADA (Protecting Against DNN Model Stealing Attacks)
개요
PRADA는 Deep Neural Network(DNN) 모델 탈취(Model Stealing) 공격을 탐지하기 위해 제안된 질의(Query) 분포 기반 방어 기법이다. 2019년 USENIX Security Symposium에서 Juuti et al.이 발표한 연구로, 모델 추출 공격자가 생성하는 질의 패턴이 정상 사용자 질의 분포와 통계적으로 다르다는 점에 착안하였다. PRADA는 입력 간 거리 분포(distance distribution)를 분석하여 모델 복제 시도를 효과적으로 탐지하는 최초의 체계적 접근 중 하나로 평가된다.
1. 개념 및 정의
PRADA는 모델 API에 전달되는 입력 샘플 간의 거리 분포를 지속적으로 모니터링하고, 해당 분포가 정규 분포에서 벗어나는지를 통계적으로 검정하여 모델 탈취 공격을 탐지하는 방법이다.
핵심 아이디어는 다음과 같다.
- 정상 사용자 질의는 자연 데이터 분포를 따른다.
- 모델 추출 공격자는 경계 탐색을 위해 인위적으로 생성된 입력을 반복 제출한다.
- 이로 인해 입력 간 거리 분포가 비정상적 형태를 보인다.
PRADA는 Kolmogorov–Smirnov(K-S) Test를 활용하여 분포 차이를 감지한다.
2. 특징
| 구분 | 설명 | 보안적 의미 |
| 분포 기반 탐지 | 입력 거리 통계 분석 | 블랙박스 환경 적합 |
| 모델 비의존 | 내부 파라미터 불필요 | API 적용 용이 |
| 실시간 모니터링 | 지속적 분포 추적 | 조기 탐지 가능 |
PRADA는 모델 구조를 수정하지 않고 외부에서 적용 가능하다.
3. 구성 요소
| 구성 요소 | 설명 | 적용 기술 |
| Distance Calculator | 입력 간 거리 계산 | L2 Norm |
| Distribution Monitor | 거리 분포 추적 | Histogram |
| Statistical Tester | 이상 여부 판단 | K-S Test |
질의가 누적될수록 분포 왜곡은 더욱 뚜렷해진다.
4. 기술 요소
| 기술 영역 | 적용 기법 | 세부 설명 |
| 통계 검정 | Kolmogorov–Smirnov Test | 분포 차이 검정 |
| 이상 탐지 | Distribution Drift Analysis | 거리 변화 추적 |
| 방어 통합 | Query Rate Limiting | 차단 정책 연계 |
연구 결과에 따르면 PRADA는 다양한 모델 추출 공격(Tramèr Attack, Papernot Attack 등)에 대해 높은 탐지율을 보였다.
5. 장점 및 한계
| 구분 | 장점 | 한계 |
| PRADA | 비침투적 적용 | 적응형 공격 가능 |
| 정적 정책 | 구현 용이 | 통계 민감도 조정 필요 |
공격자가 질의 분포를 모방하는 경우 탐지가 어려워질 수 있다.
6. 주요 활용 사례 및 고려사항
| 적용 환경 | 사례 | 대응 전략 |
| Vision API | 모델 복제 시도 탐지 | 분포 기반 차단 |
| SaaS AI | 상업 모델 보호 | 로그 분석 통합 |
| LLM API | 자동화 질의 탐지 | Query Sequence 분석 |
NIST AI RMF는 모델 자산 보호를 위해 로그 기반 모니터링 체계 구축을 권고하고 있다.
한 줄 첨언: PRADA는 질의 패턴을 통해 공격자의 의도를 통계적으로 드러낸다.
7. 결론
PRADA는 DNN 모델 탈취 공격을 탐지하기 위한 대표적인 질의 분포 기반 방어 기법이다. 입력 간 거리 분포 분석과 통계 검정을 통해 블랙박스 환경에서도 효과적인 탐지가 가능하다. 향후 AI 보안 체계는 PRADA와 같은 분포 기반 탐지 기법을 이상 탐지 시스템 및 적응형 차단 정책과 통합하여 고도화될 것이다.