ITPE * JackerLab

Watermarking-by-Model Weight (WMW)

개요Watermarking-by-Model Weight(WMW)는 머신러닝 모델의 가중치(weight)에 워터마크를 삽입하여 해당 모델의 소유권, 진위 여부, 불법 복제 여부를 검증할 수 있도록 하는 기술입니다. 특히, 생성형 AI 및 대형 언어 모델 등 지식 집약적 자산의 보호 수단으로 각광받고 있으며, 디지털 저작권 보호, 기술 유출 방지, 법적 증거 확보 등을 지원합니다.1. 개념 및 정의WMW는 훈련 완료된 신경망의 파라미터에 의도적으로 특정 패턴(워터마크)을 삽입하여, 성능 손실 없이도 사후적으로 소유권을 주장하거나 위조 모델을 식별할 수 있도록 설계된 기법입니다.Watermark: 모델 내 특수 패턴 삽입Weight Embedding: 정규화된 가중치 공간에 신호 삽입검출 방식: 서명/비밀키 ..

개요대형 언어 모델(LLM)을 활용한 텍스트 요약은 뉴스, 논문, 리서치 문서 등에서 핵심 정보를 빠르게 파악할 수 있게 해줍니다. 그러나 일반적인 요약 프롬프트는 핵심 정보 누락, 중복, 불균형 등 한계를 지닙니다. 이를 보완하기 위한 최신 접근법 중 하나가 **Chain-of-Density Prompting(CoD Prompting)**입니다. 이 프롬프트 전략은 요약 과정에서 정보 밀도를 점진적으로 높이는 연쇄적 방식으로, 보다 정제되고 풍부한 요약문을 생성하는 데 최적화되어 있습니다.1. 개념 및 정의Chain-of-Density Prompting은 요약 생성 시 정보량을 점차 밀도 있게 추가하는 방식의 단계적(prompt chaining) 요약 전략입니다.핵심 방식: 초기 저밀도 요약 → 밀도 ..

개요Prompt Injection은 생성형 AI(GPT 등) 시스템에서 사용자의 입력이 시스템 프롬프트나 의도된 동작을 오염시켜 악의적 결과를 유도하는 보안 위협입니다. 이 글에서는 Prompt Injection의 개념, 유형, 공격 사례와 함께 이를 방지하기 위한 실질적 대응 전략들을 소개합니다.1. 개념 및 정의Prompt Injection은 LLM(Large Language Model) 기반 시스템에 있어, 사용자 입력을 악용해 의도하지 않은 행동을 유발하는 공격입니다. 일반적으로 시스템 프롬프트나 내부 명령을 우회하거나 덮어쓰는 방식으로 이루어집니다.목적: LLM의 동작을 교란하거나 보안 정보 노출 유도유형: 직접 삽입(Direct injection), 반사 삽입(Indirect injection..

개요VideoPoet은 구글(Google DeepMind)에서 개발한 멀티모달 생성형 모델로, 텍스트, 오디오, 이미지, 동영상을 하나의 시퀀스 토큰화 구조로 통합하여 동영상을 생성하는 최신 AI 프레임워크이다. 특히 Token-Infusion 기법을 활용해 다양한 모달리티 간 통합을 자연스럽게 구현할 수 있다는 점에서 주목받고 있다.1. 개념 및 정의 항목 설명 정의VideoPoet은 텍스트, 오디오, 이미지 입력을 받아 동영상을 생성할 수 있는 autoregressive 멀티모달 모델목적간단한 텍스트 명령으로 복잡한 영상 콘텐츠 생성 가능하게 함필요성기존 비디오 생성 모델의 모달리티 분리 한계를 극복하고 창의적 영상 합성 요구 증가2. 특징특징설명기존 모델과 비교Token-Infusion각 moda..

개요AudioGen은 메타(Meta AI)가 개발한 텍스트 기반 오디오 생성 모델로, 자연어 입력을 바탕으로 환경음, 효과음, 배경 사운드 등을 고품질로 합성할 수 있는 생성형 AI 시스템이다. 다양한 일상적, 창작적 상황에서 활용 가능하며, 특히 비주얼 콘텐츠 제작 및 가상 환경 구축에 유용하다.1. 개념 및 정의항목설명정의AudioGen은 텍스트 설명을 입력받아 대응하는 환경 소리, 효과음을 생성하는 딥러닝 기반 오디오 생성 모델목적텍스트 기반 오디오 합성 자동화를 통해 창작 효율 극대화필요성직접 녹음 또는 Foley 작업의 시간·비용 한계를 극복할 필요성 증가2. 특징특징설명기존 방식과 비교텍스트 제어 생성자연어로 소리의 종류, 배경, 동작 등을 명시 가능기존: 샘플 수집 또는 수작업 Foley 필..

개요MusicLM은 구글(Google)이 개발한 텍스트 기반 음악 생성 모델로, 사용자가 입력한 자연어 설명을 바탕으로 고품질의 음악을 생성한다. 이 모델은 언어-오디오 임베딩 학습을 통해 음악의 구조, 스타일, 악기 구성, 감정 등 다양한 요소를 반영하여 실제 음악처럼 자연스러운 결과물을 생성할 수 있다.1. 개념 및 정의 항목 설명 정의MusicLM은 텍스트 설명을 입력받아 AI가 음악을 생성하는 멀티모달 생성형 모델목적비전문가도 창작 가능한 텍스트 기반 음악 제작 도구 제공필요성기존 음악 생성 모델은 제어 가능성 부족, 텍스트 기반 제어 요구 증가2. 특징특징설명기존 모델과 비교텍스트 기반 제어자연어로 음악의 스타일, 악기, 분위기 등 지정 가능Jukebox는 가사 기반, Text-to-Music..

개요ControlNet은 이미지 생성 확산 모델(예: Stable Diffusion)에 다양한 조건 입력을 결합해 보다 정밀한 제어와 사용자 의도를 반영한 결과물을 생성할 수 있도록 하는 모델 구조입니다. 기존 텍스트 기반 프롬프트만으로는 제어가 어려웠던 위치, 윤곽, 포즈, 스타일 등 다양한 요소를 명시적으로 지정할 수 있어 생성형 AI의 실용성과 정밀도를 한 단계 끌어올렸습니다.1. 개념 및 정의 항목 설명 정의Pretrained Diffusion 모델에 조건 입력(Condition Map)을 삽입하여 출력 이미지를 제어하는 구조목적사용자 지정 조건(스케치, 포즈 등)을 반영한 이미지 생성접근 방식기존 모델의 파라미터는 고정, 조건 전용 Branch를 추가하여 연산 병렬화ControlNet은 Sta..

개요AudioLDM(Audio Latent Diffusion Model)은 텍스트로부터 고품질 오디오(예: 음악, 사운드 이펙트, 음성 등)를 생성하는 텍스트-투-오디오(text-to-audio, TTA) 모델입니다. Latent Diffusion 기반으로 효율성과 품질을 모두 확보하며, 텍스트 설명에 기반해 다양한 사운드를 생성할 수 있어 오디오 생성 AI의 대표 기술로 주목받고 있습니다.1. 개념 및 정의AudioLDM은 텍스트 임베딩을 조건으로 하여 오디오의 잠재 표현(latent representation)을 디퓨전 모델로 생성한 후, 이를 디코더를 통해 실제 파형(waveform)으로 복원하는 구조의 생성형 모델입니다.핵심 구조: Text Encoder + Latent Diffusion + Au..

개요Segment Anything Model(SAM)은 Meta AI에서 개발한 범용 이미지 분할 모델로, 입력 이미지에서 사용자가 지정한 영역을 즉시 분할할 수 있는 강력한 비전 모델입니다. 사전 학습된 거대한 데이터셋과 Prompt 기반 분할 기술을 바탕으로 다양한 도메인에서 고정밀 이미지 인식과 객체 탐지를 가능하게 하며, 컴퓨터 비전, 의료 영상, 로보틱스, 생성형 AI 등 다양한 분야에서 폭넓게 활용됩니다.1. 개념 및 정의SAM은 사전 학습(pretrained)된 Transformer 기반의 이미지 분할 모델로, 사용자의 간단한 입력(prompt)에 따라 객체 단위의 마스크를 빠르게 생성합니다.Segment Anything: 텍스트, 점, 박스 등 다양한 입력으로 객체 분할 가능모델 구조: 이..