ITPE * JackerLab

개요Training Data Poisoning은 머신러닝 및 대규모 언어 모델(LLM)의 학습 데이터셋을 조작하여 모델 성능을 왜곡하거나 악용하는 공격 기법입니다. 공격자는 의도적으로 잘못된 데이터를 삽입해 모델이 오작동하도록 유도하며, 이는 AI 신뢰성과 보안을 위협하는 핵심 문제로 부각되고 있습니다.1. 개념 및 정의 구분 내용 정의Training Data Poisoning은 학습 데이터에 악의적·조작된 데이터를 포함시켜 모델의 정확성과 안정성을 저해하는 공격입니다.목적모델 성능 저하, 특정 결과 왜곡, 백도어 삽입 등필요성AI가 데이터 중심으로 학습하기 때문에 데이터 무결성이 보안의 핵심 요소이 공격은 OWASP LLM Top 10의 세 번째 주요 위험 요소로 분류됩니다.2. 특징특징설명비교데이터..

개요OWASP LLM Top 10은 대규모 언어 모델(LLM, Large Language Model) 보안 위협과 이에 대한 대응 방안을 정리한 국제 보안 가이드라인입니다. ChatGPT, Claude, LLaMA와 같은 생성형 AI가 확산됨에 따라, 모델 자체와 이를 활용한 서비스의 보안 문제가 대두되고 있으며, OWASP LLM Top 10은 이에 대한 표준화된 위험 인식 체계를 제공합니다.1. 개념 및 정의 구분 내용 정의OWASP LLM Top 10은 LLM 보안과 관련된 주요 위험 10가지를 정의하고 완화 전략을 제시하는 문서입니다.목적AI 보안 위협 인식 제고, 안전한 LLM 활용 가이드 제공필요성LLM은 복잡성과 불확실성으로 인해 기존 보안 프레임워크로는 충분히 보호되지 않음OWASP는 애..

개요AI 윤리(AI Ethics)는 인공지능 기술이 인간 사회에 미치는 영향을 고려하여 공정하고 책임감 있는 AI 개발과 활용을 보장하기 위한 원칙과 가이드라인을 의미합니다. AI가 점점 더 인간의 삶과 의사결정에 영향을 미치는 만큼, AI의 투명성, 공정성, 신뢰성, 개인정보 보호, 책임성 등의 윤리적 기준을 마련하는 것이 필수적입니다.1. AI 윤리란?AI 윤리는 인공지능 시스템이 사회적, 법적, 도덕적 원칙을 준수하며 인간의 이익을 보호하는 방향으로 개발되고 운영되도록 하는 개념입니다. 이는 알고리즘 편향, 개인정보 보호, AI 책임성 등의 이슈를 다룹니다.1.1 AI 윤리의 필요성AI의 자율성과 인간 통제권 문제 해결AI의 편향(Bias) 제거 및 공정성 확보개인정보 보호 및 보안 강화AI 의사결..