Training Data Poisoning

개요

Training Data Poisoning은 머신러닝 및 대규모 언어 모델(LLM)의 학습 데이터셋을 조작하여 모델 성능을 왜곡하거나 악용하는 공격 기법입니다. 공격자는 의도적으로 잘못된 데이터를 삽입해 모델이 오작동하도록 유도하며, 이는 AI 신뢰성과 보안을 위협하는 핵심 문제로 부각되고 있습니다.

---

1. 개념 및 정의

구분	내용
정의	Training Data Poisoning은 학습 데이터에 악의적·조작된 데이터를 포함시켜 모델의 정확성과 안정성을 저해하는 공격입니다.
목적	모델 성능 저하, 특정 결과 왜곡, 백도어 삽입 등
필요성	AI가 데이터 중심으로 학습하기 때문에 데이터 무결성이 보안의 핵심 요소

이 공격은 OWASP LLM Top 10의 세 번째 주요 위험 요소로 분류됩니다.

---

2. 특징

특징	설명	비교
데이터 종속성	모델은 학습 데이터에 강하게 의존	입력 검증 실패와 달리 사전 단계에서 문제 발생
장기적 영향	배포 이후에도 모델 성능에 지속적 영향	단순 취약점보다 피해 범위 광범위
탐지 난이도	대규모 데이터셋에서 악성 데이터 탐지 어려움	일반 보안 로그 분석 대비 복잡

Training Data Poisoning은 AI 보안에서 탐지와 예방이 어려운 위협입니다.

---

3. 유형

유형	설명	예시
무결성 공격	모델의 전반적 성능 저하	이미지 분류 모델이 정상/오류 혼동
가용성 공격	특정 상황에서 모델 무력화	음성 인식 모델이 특정 단어 인식 실패
백도어 공격	특정 트리거 입력 시 의도된 결과 반환	이미지에 작은 스티커를 붙이면 다른 클래스로 분류

백도어 공격은 현실 세계에서 가장 위험성이 큰 유형입니다.

---

4. 기술 요소

기술 요소	설명	적용 사례
데이터 정제 및 검증	학습 데이터셋의 이상치 탐지 및 정제	비정상 텍스트/이미지 필터링
데이터 출처 관리	신뢰할 수 있는 소스만 사용	크롤링 데이터 검증
모델 감사(Audit)	학습 후 결과 검증 및 성능 점검	백도어 탐지 모델 활용

데이터 수집부터 모델 배포까지 E2E 보안 관리가 필요합니다.

---

5. 장점 및 이점 (대응 시)

장점	상세 내용	기대 효과
모델 신뢰성 확보	무결성 있는 데이터 기반 학습	안정적 모델 성능
보안 강화	백도어 삽입 차단	서비스 오용 방지
규제 대응	데이터 품질 관리로 법적 요구 충족	GDPR, AI 규제 법안 대응

대응 체계는 AI 거버넌스 전략의 필수 요소입니다.

---

6. 주요 활용 사례 및 고려사항

사례	적용 내용	고려사항
금융	신용평가 모델의 데이터 무결성 검증	데이터 조작 시 금융사고 발생 가능
헬스케어	의료 이미지 데이터셋 검증	환자 안전과 직결, 규제 강화 필요
자율주행	교통 표지판 데이터셋 백도어 공격 방어	안전성·생명 보호와 직결

데이터 파이프라인의 보안 통합과 AI 감사 체계 구축이 필수적입니다.

---

7. 결론

Training Data Poisoning은 데이터 중심으로 학습하는 AI의 본질적 약점을 겨냥한 심각한 위협입니다. 데이터 무결성 확보와 백도어 탐지 체계 도입을 통해 모델의 신뢰성과 보안을 강화해야 하며, AI 서비스 운영 기업은 이를 DevSecOps와 AI 거버넌스 전략에 반드시 통합해야 합니다.