Knockoff Nets(모델 모방 공격 기법)
개요
Knockoff Nets는 공개된 머신러닝 모델 또는 API에 블랙박스 방식으로 질의(Query)를 수행하여 출력 데이터를 수집한 뒤, 이를 기반으로 유사한 대체 모델(Surrogate Model)을 학습시키는 모델 모방(Model Imitation) 공격 기법이다. 2019년 Orekondy et al.의 논문 *"Knockoff Nets: Stealing Functionality of Black-Box Models"*에서 체계적으로 제안되었으며, 제한된 정보만으로도 고성능 모델을 근사할 수 있음을 실험적으로 입증하였다.
특히 MLaaS(Machine Learning as a Service) 및 LLM API 환경에서 모델의 지적 재산(IP)과 상업적 가치를 침해할 수 있는 현실적인 위협으로 평가된다.
1. 개념 및 정의
Knockoff Nets는 내부 구조나 파라미터에 접근하지 않고, 입력–출력 쌍만을 활용해 목표 모델(Target Model)의 기능을 복제하는 공격이다. 공격자는 공개 데이터셋 또는 무작위 샘플을 이용해 대량 질의를 생성하고, 수집된 출력 라벨 또는 확률값을 기반으로 대체 모델을 학습한다.
논문에 따르면 제한된 질의 수만으로도 원본 모델 성능의 상당 부분을 재현할 수 있으며, 특히 확률 분포(Soft Label)가 제공될 경우 공격 효율이 크게 증가한다.
2. 특징
| 구분 | 설명 | 보안적 의미 |
| 블랙박스 환경 | 내부 정보 접근 불필요 | 탐지 어려움 |
| 데이터 독립적 | 공격자가 별도 데이터 확보 | 외부 통제 어려움 |
| Soft Label 활용 | 확률값 기반 학습 | 복제 정확도 증가 |
첨언: 공격자는 공개 데이터셋만으로도 고품질 모델을 생성할 수 있다.
3. 구성 요소
| 구성 요소 | 역할 | 관련 기술 |
| Target Model | 공격 대상 모델 | MLaaS API |
| Query Strategy | 질의 생성 방식 | Random / Adaptive Sampling |
| Knockoff Model | 복제된 대체 모델 | Knowledge Distillation |
첨언: Adaptive Sampling은 정보량 높은 질의를 선택한다.
4. 기술 요소
| 기술 영역 | 세부 기술 | 설명 |
| Active Sampling | 효율적 질의 선택 | 공격 비용 절감 |
| Knowledge Distillation | Soft Label 학습 | 성능 근사 |
| Transfer Learning | 사전학습 모델 활용 | 빠른 수렴 |
첨언: Distillation은 모델 탈취 공격의 핵심 기법이다.
5. 공격 영향
| 영향 영역 | 설명 | 조직 리스크 |
| 지적 재산 침해 | 모델 기능 복제 | 경쟁력 약화 |
| 수익 감소 | API 사용 감소 | 매출 손실 |
| 2차 공격 가능 | 복제 모델 기반 추가 분석 | 보안 위협 확대 |
첨언: AI SaaS 기업에서 경제적 피해가 크다.
6. 대응 전략 및 고려사항
| 대응 방안 | 설명 | 적용 기술 |
| Rate Limiting | 질의 수 제한 | API 보호 |
| Output Hardening | Soft Label 제거 | 정보 노출 최소화 |
| 모델 워터마킹 | 고유 패턴 삽입 | IP 추적 |
첨언: 이상 트래픽 탐지 기반 모니터링이 중요하다.
7. 결론
Knockoff Nets는 블랙박스 환경에서도 모델 기능을 상당 부분 복제할 수 있음을 보여준 대표적 모델 탈취 공격 연구이다. AI 서비스가 API 형태로 확산됨에 따라, 단순 인증 체계만으로는 충분하지 않으며, 출력 제한·워터마킹·이상 탐지 등 다계층 방어 전략이 필수적이다. 향후 AI 보안 및 모델 거버넌스 영역에서 핵심적으로 다뤄질 위협 유형이다.