ITPE * JackerLab

개요생성형 AI(Generative AI)의 확산에 따라 AI 모델의 안전성(Safety) 및 **보안성(Security)**에 대한 요구가 점점 커지고 있습니다. 이에 대응하기 위해 Meta가 주도하여 공개한 오픈소스 프로젝트가 Purple Llama입니다. Purple Llama는 LLM과 멀티모달 AI 시스템의 위험성 평가, 오용 탐지, 출력 검증, 방어 전략을 위한 실용적인 리소스를 제공하는 프레임워크로, AI 모델의 책임 있는 사용과 배포를 돕기 위해 설계되었습니다.1. 개념 및 정의Purple Llama는 생성형 AI 시스템의 안전성과 보안성을 보장하기 위해 설계된 오픈소스 평가/방어 툴킷입니다. Meta는 이 프로젝트를 통해 기본 모델 및 응용 시스템의 취약점 평가, 위험 감지 정책 테스트,..

개요FERPA-Safe RAG Gateway는 RAG(Retrieval-Augmented Generation) 기반 AI 시스템이 FERPA(Family Educational Rights and Privacy Act)의 개인정보 보호 요건을 준수하면서 민감한 교육 데이터를 활용할 수 있도록 설계된 게이트웨이입니다. 텍스트 생성 AI가 검색 데이터에 접근하고 응답을 생성하는 전 과정에서 학생 정보 보호를 위한 필터링, 토큰 기반 접근 제어, 감사 추적 기능 등을 제공하여 교육 분야에서 안전하게 생성형 AI를 활용할 수 있도록 지원합니다.1. 개념 및 정의FERPA: 미국 연방법으로 학생 교육기록의 프라이버시 보호를 규정함RAG Gateway: 외부 검색 소스를 활용하는 AI 응답 구조에서 검색·생성 전후 ..

개요Watermarking-by-Model Weight(WMW)는 머신러닝 모델의 가중치(weight)에 워터마크를 삽입하여 해당 모델의 소유권, 진위 여부, 불법 복제 여부를 검증할 수 있도록 하는 기술입니다. 특히, 생성형 AI 및 대형 언어 모델 등 지식 집약적 자산의 보호 수단으로 각광받고 있으며, 디지털 저작권 보호, 기술 유출 방지, 법적 증거 확보 등을 지원합니다.1. 개념 및 정의WMW는 훈련 완료된 신경망의 파라미터에 의도적으로 특정 패턴(워터마크)을 삽입하여, 성능 손실 없이도 사후적으로 소유권을 주장하거나 위조 모델을 식별할 수 있도록 설계된 기법입니다.Watermark: 모델 내 특수 패턴 삽입Weight Embedding: 정규화된 가중치 공간에 신호 삽입검출 방식: 서명/비밀키 ..

개요대형 언어 모델(LLM)을 활용한 텍스트 요약은 뉴스, 논문, 리서치 문서 등에서 핵심 정보를 빠르게 파악할 수 있게 해줍니다. 그러나 일반적인 요약 프롬프트는 핵심 정보 누락, 중복, 불균형 등 한계를 지닙니다. 이를 보완하기 위한 최신 접근법 중 하나가 **Chain-of-Density Prompting(CoD Prompting)**입니다. 이 프롬프트 전략은 요약 과정에서 정보 밀도를 점진적으로 높이는 연쇄적 방식으로, 보다 정제되고 풍부한 요약문을 생성하는 데 최적화되어 있습니다.1. 개념 및 정의Chain-of-Density Prompting은 요약 생성 시 정보량을 점차 밀도 있게 추가하는 방식의 단계적(prompt chaining) 요약 전략입니다.핵심 방식: 초기 저밀도 요약 → 밀도 ..

개요Prompt Injection은 생성형 AI(GPT 등) 시스템에서 사용자의 입력이 시스템 프롬프트나 의도된 동작을 오염시켜 악의적 결과를 유도하는 보안 위협입니다. 이 글에서는 Prompt Injection의 개념, 유형, 공격 사례와 함께 이를 방지하기 위한 실질적 대응 전략들을 소개합니다.1. 개념 및 정의Prompt Injection은 LLM(Large Language Model) 기반 시스템에 있어, 사용자 입력을 악용해 의도하지 않은 행동을 유발하는 공격입니다. 일반적으로 시스템 프롬프트나 내부 명령을 우회하거나 덮어쓰는 방식으로 이루어집니다.목적: LLM의 동작을 교란하거나 보안 정보 노출 유도유형: 직접 삽입(Direct injection), 반사 삽입(Indirect injection..

개요VideoPoet은 구글(Google DeepMind)에서 개발한 멀티모달 생성형 모델로, 텍스트, 오디오, 이미지, 동영상을 하나의 시퀀스 토큰화 구조로 통합하여 동영상을 생성하는 최신 AI 프레임워크이다. 특히 Token-Infusion 기법을 활용해 다양한 모달리티 간 통합을 자연스럽게 구현할 수 있다는 점에서 주목받고 있다.1. 개념 및 정의 항목 설명 정의VideoPoet은 텍스트, 오디오, 이미지 입력을 받아 동영상을 생성할 수 있는 autoregressive 멀티모달 모델목적간단한 텍스트 명령으로 복잡한 영상 콘텐츠 생성 가능하게 함필요성기존 비디오 생성 모델의 모달리티 분리 한계를 극복하고 창의적 영상 합성 요구 증가2. 특징특징설명기존 모델과 비교Token-Infusion각 moda..

개요AudioGen은 메타(Meta AI)가 개발한 텍스트 기반 오디오 생성 모델로, 자연어 입력을 바탕으로 환경음, 효과음, 배경 사운드 등을 고품질로 합성할 수 있는 생성형 AI 시스템이다. 다양한 일상적, 창작적 상황에서 활용 가능하며, 특히 비주얼 콘텐츠 제작 및 가상 환경 구축에 유용하다.1. 개념 및 정의항목설명정의AudioGen은 텍스트 설명을 입력받아 대응하는 환경 소리, 효과음을 생성하는 딥러닝 기반 오디오 생성 모델목적텍스트 기반 오디오 합성 자동화를 통해 창작 효율 극대화필요성직접 녹음 또는 Foley 작업의 시간·비용 한계를 극복할 필요성 증가2. 특징특징설명기존 방식과 비교텍스트 제어 생성자연어로 소리의 종류, 배경, 동작 등을 명시 가능기존: 샘플 수집 또는 수작업 Foley 필..

개요MusicLM은 구글(Google)이 개발한 텍스트 기반 음악 생성 모델로, 사용자가 입력한 자연어 설명을 바탕으로 고품질의 음악을 생성한다. 이 모델은 언어-오디오 임베딩 학습을 통해 음악의 구조, 스타일, 악기 구성, 감정 등 다양한 요소를 반영하여 실제 음악처럼 자연스러운 결과물을 생성할 수 있다.1. 개념 및 정의 항목 설명 정의MusicLM은 텍스트 설명을 입력받아 AI가 음악을 생성하는 멀티모달 생성형 모델목적비전문가도 창작 가능한 텍스트 기반 음악 제작 도구 제공필요성기존 음악 생성 모델은 제어 가능성 부족, 텍스트 기반 제어 요구 증가2. 특징특징설명기존 모델과 비교텍스트 기반 제어자연어로 음악의 스타일, 악기, 분위기 등 지정 가능Jukebox는 가사 기반, Text-to-Music..

개요ControlNet은 이미지 생성 확산 모델(예: Stable Diffusion)에 다양한 조건 입력을 결합해 보다 정밀한 제어와 사용자 의도를 반영한 결과물을 생성할 수 있도록 하는 모델 구조입니다. 기존 텍스트 기반 프롬프트만으로는 제어가 어려웠던 위치, 윤곽, 포즈, 스타일 등 다양한 요소를 명시적으로 지정할 수 있어 생성형 AI의 실용성과 정밀도를 한 단계 끌어올렸습니다.1. 개념 및 정의 항목 설명 정의Pretrained Diffusion 모델에 조건 입력(Condition Map)을 삽입하여 출력 이미지를 제어하는 구조목적사용자 지정 조건(스케치, 포즈 등)을 반영한 이미지 생성접근 방식기존 모델의 파라미터는 고정, 조건 전용 Branch를 추가하여 연산 병렬화ControlNet은 Sta..

개요AudioLDM(Audio Latent Diffusion Model)은 텍스트로부터 고품질 오디오(예: 음악, 사운드 이펙트, 음성 등)를 생성하는 텍스트-투-오디오(text-to-audio, TTA) 모델입니다. Latent Diffusion 기반으로 효율성과 품질을 모두 확보하며, 텍스트 설명에 기반해 다양한 사운드를 생성할 수 있어 오디오 생성 AI의 대표 기술로 주목받고 있습니다.1. 개념 및 정의AudioLDM은 텍스트 임베딩을 조건으로 하여 오디오의 잠재 표현(latent representation)을 디퓨전 모델로 생성한 후, 이를 디코더를 통해 실제 파형(waveform)으로 복원하는 구조의 생성형 모델입니다.핵심 구조: Text Encoder + Latent Diffusion + Au..

개요Segment Anything Model(SAM)은 Meta AI에서 개발한 범용 이미지 분할 모델로, 입력 이미지에서 사용자가 지정한 영역을 즉시 분할할 수 있는 강력한 비전 모델입니다. 사전 학습된 거대한 데이터셋과 Prompt 기반 분할 기술을 바탕으로 다양한 도메인에서 고정밀 이미지 인식과 객체 탐지를 가능하게 하며, 컴퓨터 비전, 의료 영상, 로보틱스, 생성형 AI 등 다양한 분야에서 폭넓게 활용됩니다.1. 개념 및 정의SAM은 사전 학습(pretrained)된 Transformer 기반의 이미지 분할 모델로, 사용자의 간단한 입력(prompt)에 따라 객체 단위의 마스크를 빠르게 생성합니다.Segment Anything: 텍스트, 점, 박스 등 다양한 입력으로 객체 분할 가능모델 구조: 이..