ITPE * JackerLab

개요PGD(Projected Gradient Descent)는 딥러닝 모델에 대한 적대적 공격 기법 중 가장 강력하고 일반적인 방법으로, 반복적인 그래디언트 업데이트와 투영 과정을 통해 최적의 적대적 예제를 생성합니다. 본 글에서는 PGD의 이론적 원리와 수식, 주요 특징, 구현 방법, 실제 적용 사례 및 방어 전략 등을 포괄적으로 설명합니다.1. 개념 및 정의PGD는 입력 공간에서 손실 함수를 최대화하는 방향으로 여러 번 그래디언트를 계산하고, 그 결과를 원래 입력 범위로 투영하여 적대적 예제를 생성하는 공격 방식입니다. FGSM의 확장된 반복형으로도 간주됩니다.목적: 모델의 예측 취약성을 극대화하기 위한 고강도 테스트필요성: 실제 환경에서 AI 시스템의 보안성과 견고성 검증기반 원리: 경사하강법을 반..

개요FGSM(Fast Gradient Sign Method)은 적대적 예제를 생성하는 대표적인 공격 알고리즘으로, 딥러닝 모델의 입력에 미세한 노이즈를 추가해 잘못된 예측을 유도합니다. 이 글에서는 FGSM의 개념과 작동 원리, 수학적 정의, 적용 사례, 그리고 이를 방어하는 방법 등을 포괄적으로 설명합니다.1. 개념 및 정의FGSM은 입력 이미지에 작은 노이즈를 추가하여 딥러닝 모델이 잘못된 출력을 내도록 유도하는 적대적 공격 기법입니다. 이 노이즈는 손실 함수의 그래디언트를 활용하여 계산되며, 빠른 계산 속도와 단순한 구조가 특징입니다.목적: 딥러닝 모델의 취약점 식별 및 테스트기반 이론: 그래디언트 방향을 활용한 손실 함수 최대화주요 분야: 보안 테스트, 모델 검증, XAI 연구 등2. 특징 항목 ..

개요Model Watermarking은 딥러닝 모델 내부에 보이지 않는 식별 정보를 삽입하여, 모델의 소유권을 증명하거나 무단 복제 및 배포를 방지하는 기술입니다. AI 기술이 상업적으로 확산됨에 따라, 학습 데이터, 모델 구조, 파라미터 등을 보호하기 위한 방안으로 주목받고 있으며, 법적 분쟁 시 소유권 입증 수단으로 활용됩니다. 본 글에서는 Model Watermarking의 개념, 기법, 활용 방식 및 보안적 중요성 등을 상세히 소개합니다.1. 개념 및 정의Model Watermarking은 딥러닝 모델에 고유한 패턴이나 응답을 내재화시켜, 제3자가 해당 모델을 불법 복제하거나 오용했을 경우 식별 및 추적이 가능하게 하는 기술입니다. 소프트웨어 워터마킹과 유사하지만, 학습된 함수(모델)에 대한 워터..

개요Adversarial Patch는 이미지 인식 AI 모델에 물리적 오브젝트를 삽입해 오작동을 유도하는 적대적 공격(adversarial attack) 기법 중 하나입니다. 작은 이미지 조각 또는 스티커 형태의 '패치'를 실제 환경에 배치해 AI 모델이 잘못된 분류나 인식을 하도록 유도하는 방식입니다. 본 글에서는 Adversarial Patch의 개념, 작동 방식, 연구 사례, 보안 위협 및 방어 전략을 다룹니다.1. 개념 및 정의Adversarial Patch는 입력 이미지 내 특정 위치에 인위적인 패턴(Noise)을 삽입하여, 딥러닝 모델 특히 CNN(합성곱 신경망)의 분류 결과를 교란시키는 공격 방법입니다. 기존의 픽셀 단위 조작 대신, 물리적 공간에 부착 가능하고 사람이 알아보기 어려운 시각 ..

개요AI 시스템이 사회 전반에 빠르게 확산됨에 따라, 인공지능이 생성하거나 의사결정에 활용하는 결과에 대한 보안, 무결성, 책임성 확보가 중요해지고 있습니다. 이에 따라 ‘AI 보안 감사(AI Security Audit)’는 인공지능 시스템의 개발, 학습, 배포, 운영 전 과정에서 보안 위협 요소를 점검하고, 위협에 대한 방어체계를 갖추었는지 확인하는 필수 절차로 부각되고 있습니다. 이 글에서는 AI 보안 감사의 개념과 함께, 실무 적용 가능한 체크리스트 항목을 단계별로 정리합니다.1. AI 보안 감사란?AI 보안 감사는 머신러닝/딥러닝 기반 시스템에서 발생 가능한 보안 위협 요소를 식별하고, 이를 예방하거나 대응할 수 있도록 체계적으로 점검·검증하는 과정입니다. 이는 일반적인 정보보안 감사보다 다음 요..