ITPE * JackerLab

개요TGI(Text Generation Inference)는 Hugging Face에서 개발한 대규모 언어 모델(LLM) 전용 추론 서버로, 효율적이고 확장 가능한 텍스트 생성 서비스를 제공하기 위한 고성능 인퍼런스(추론) 엔진입니다. GPT, LLaMA, Falcon 등 다양한 모델을 지원하며, GPU 및 CPU 자원을 최적화하여 대규모 요청 처리에 적합한 분산형 아키텍처를 제공합니다.1. 개념 및 정의항목내용비고정의대규모 언어 모델의 텍스트 생성 작업을 고속으로 수행하는 인퍼런스 서버Hugging Face 오픈소스 프로젝트목적LLM을 위한 효율적 추론 환경 구축Latency 감소 및 Throughput 향상필요성ChatGPT, Copilot 등 LLM 서비스의 실시간 추론 수요 증가MLOps 및 AI..

개요Agentic RAG(Retrieval-Augmented Generation)은 기존 RAG 구조에 ‘에이전트(Agent)’ 개념을 결합하여, AI가 자율적으로 정보 검색, 추론, 의사결정을 수행하는 차세대 인공지능 프레임워크입니다. 단순히 검색 결과를 바탕으로 답변을 생성하는 수준을 넘어, 다중 단계 reasoning, 동적 의도 인식, 실시간 정보 수집 및 조정이 가능한 구조를 제공합니다.1. 개념 및 정의항목내용비고정의RAG에 자율적 행동(Agentic Behavior)을 결합한 정보 검색 및 생성 통합 아키텍처Self-Reflective RAG 구조목적AI가 스스로 검색·판단·결정을 수행하여 정교한 응답 제공고정형 RAG의 한계 극복필요성정적 검색 기반 RAG의 맥락 이해력 및 적응력 한계 보..

개요Data Parallelism(DP)은 대규모 신경망 학습에서 가장 널리 사용되는 병렬화 기법으로, 전체 모델을 각 GPU에 복제하고 데이터 배치를 나누어 병렬로 처리하는 방식이다. 이 접근 방식은 모델 크기가 GPU 메모리 한계에 맞는 경우 가장 효율적인 확장 전략으로, 대형 데이터셋을 빠르고 안정적으로 학습할 수 있게 해준다.1. 개념 및 정의DP는 **데이터를 여러 GPU로 분할(Sharding)**하여 동시에 학습을 수행하고, 각 GPU가 계산한 Gradient를 집계하여(Global Synchronization) 모델을 업데이트하는 구조이다. 모든 GPU는 동일한 모델을 보유하므로, 파라미터 동기화(Synchronization)만 이루어지면 일관된 학습 결과를 얻을 수 있다.즉, DP는 ‘데..

개요Pipeline Parallelism(PP)은 대규모 딥러닝 모델을 여러 GPU 장치 또는 노드에 단계별로 분할하여 학습하는 병렬화 기법이다. 각 GPU가 서로 다른 Layer 또는 Block을 담당하며, 입력 데이터가 파이프라인처럼 순차적으로 흐르도록 구성된다. 이 방식은 GPU 메모리 한계를 극복하고, 모델 학습 속도를 높이는 핵심 기술로 사용된다.1. 개념 및 정의PP는 모델의 Layer 단위를 여러 장비로 나누어 병렬 처리하는 구조로, 하나의 미니배치가 여러 Stage를 순차적으로 통과한다. 각 Stage는 특정 Layer 그룹을 담당하며, 전 단계의 출력을 받아 다음 단계로 전달한다.예를 들어, 48개의 Transformer Layer를 가진 모델을 4개의 GPU에 나누면, 각 GPU가 12..

개요Tensor Parallelism(TP)은 대규모 신경망 학습 시 하나의 연산(예: 행렬 곱셈)을 여러 GPU로 나누어 처리하는 **모델 병렬화(Model Parallelism)**의 한 형태이다. TP는 특히 GPT, BERT, LLaMA와 같은 초거대 언어 모델(LLM) 학습에서 핵심 역할을 하며, GPU 메모리 한계를 극복하고 연산 속도를 향상시키기 위해 사용된다.1. 개념 및 정의Tensor Parallelism은 **단일 Layer 내의 텐서 연산을 여러 GPU로 분할(distribute)**하여 계산을 병렬화하는 기법이다. 예를 들어, 거대한 Weight Matrix(W ∈ R^{m×n})를 여러 GPU에 나누어 분할 저장하고, 입력 벡터에 대한 연산을 분산 수행한 후 결과를 통합(Gath..

개요Multimodal RAG(Retrieval-Augmented Generation)는 텍스트(Text), 이미지(Image), 비디오(Video) 등 다양한 모달리티 데이터를 동시에 이해하고 생성할 수 있는 차세대 생성형 AI 아키텍처이다. 기존의 RAG가 텍스트 기반 검색과 생성에 초점을 맞췄다면, Multimodal RAG는 비정형 데이터까지 확장하여 **지식 기반 멀티모달 추론(Multimodal Reasoning)**을 가능하게 한다.1. 개념 및 정의Multimodal RAG는 기본적으로 두 단계로 구성된다.Retrieval (검색) – 외부 지식베이스(예: 이미지, 문서, 비디오 프레임)에서 관련 정보를 검색.Generation (생성) – 검색된 정보를 Transformer 기반 멀티모달..

개요ColPali(Collaborative Parallel Learning)는 최신 인공지능 학습 구조 중 하나로, **대규모 모델의 병렬 학습과 협업 학습(Collaborative Learning)**을 결합하여 효율적인 분산 트레이닝을 구현하는 기법이다. 이 방식은 여러 GPU/노드가 독립적으로 학습하면서도 상호 정보를 공유해, 성능과 학습 안정성을 동시에 확보할 수 있다.ColPali는 기존의 Data Parallelism 및 Model Parallelism 한계를 극복하고, 각 학습 노드 간 협업적 업데이트를 통해 더 빠르고 효율적인 학습을 지원한다.1. 개념 및 정의ColPali는 이름 그대로 Collaborative(협업적) + Parallel(병렬적) 학습 개념을 결합한 프레임워크다. 각 노..

개요GaLore(Gradient Low-Rank Adaptation)는 2024년 제안된 대규모 언어 모델(LLM) 및 딥러닝 모델의 학습 효율화 기술로, GPU 메모리 사용량을 크게 줄이면서도 기존 성능을 유지하거나 개선하는 저랭크(低秩) 기반 적응 학습(Low-Rank Adaptation) 방법이다. LoRA(Low-Rank Adaptation)의 발전형으로, 학습 중 **Gradient(기울기)**에 저랭크 근사(Low-Rank Approximation)를 적용해 메모리 및 계산 효율을 동시에 확보한다.1. 개념 및 정의GaLore는 모델 학습 단계에서 Gradient 행렬을 저랭크(Low-Rank) 형태로 분해하여, 학습 시 필요한 메모리 사용량과 연산량을 줄이는 방법이다. 이는 기존 LoRA가 ..

개요NEFTune(Neural Efficient Fine-Tuning)은 대규모 언어 모델(LLM: Large Language Model)의 파인튜닝 과정에서 효율성과 성능을 동시에 향상시키기 위해 고안된 최적화 기술이다. LoRA(Low-Rank Adaptation), PEFT(Parameter-Efficient Fine-Tuning) 등 기존 방법론의 한계를 보완하면서, 모델의 일반화 성능과 계산 효율성을 극대화한다.1. 개념 및 정의 항목 내용 비교 개념사전 학습된 대형 모델의 일부 파라미터만 조정하여 효율적 학습을 수행하는 방법론LoRA, Prefix Tuning 대비 학습 효율 향상목적GPU 메모리 절약 및 학습 시간 단축대형 모델 실험 비용 절감필요성LLM 파인튜닝의 자원 요구량 급증 대응..

개요GGUF는 대규모 언어 모델(LLM)을 효율적으로 배포하고 실행하기 위한 경량화된 모델 파일 포맷입니다. Meta의 LLaMA 및 다양한 오픈소스 LLM 실행 엔진에서 사용되며, 기존 GGML 포맷을 개선한 차세대 표준으로 주목받고 있습니다.1. 개념 및 정의 항목 설명 비고 정의대규모 언어 모델을 효율적으로 저장·실행하기 위한 통합 포맷GGML의 후속 포맷목적다양한 하드웨어에서 경량 실행 지원CPU, GPU, 모바일 환경필요성모델 크기와 자원 소모 문제 해결온디바이스 AI 확산효율적 LLM 배포를 위한 핵심 포맷입니다.2. 특징특징설명비교범용성다양한 모델과 실행 엔진 지원GGML보다 확장성 강화경량성파일 크기 최적화 및 빠른 로딩기존 포맷 대비 성능 개선호환성Meta LLaMA 등 최신 모델 지..

개요Haystack은 자연어 처리(NLP)와 대규모 언어 모델(LLM)을 활용한 오픈소스 검색 및 질의응답(Question Answering) 프레임워크이다. RAG(Retrieval-Augmented Generation) 시스템 구축에 최적화되어 있으며, 문서 검색, 챗봇, 지식 관리 시스템 등 다양한 분야에서 활용된다.1. 개념 및 정의 항목 내용 설명 정의HaystackLLM·RAG 기반 검색 및 QA 프레임워크목적외부 데이터와 LLM 결합고품질 검색 및 응답 제공필요성LLM 한계(지식 최신성 부족) 극복실제 데이터 검색·활용 필요Haystack은 LLM의 응답 품질을 강화하기 위한 대표적인 RAG 프레임워크다.2. 특징특징설명비고RAG 최적화검색+생성 결합 구조최신 데이터 반영 가능다양한 커넥..

개요LlamaIndex(구 GPT Index)는 LLM(Large Language Model)이 외부 데이터와 효율적으로 상호작용할 수 있도록 돕는 데이터 프레임워크이다. 문서, 데이터베이스, API 등 다양한 데이터 소스를 연결하고, 인덱싱 및 검색 기능을 제공하여 RAG(Retrieval-Augmented Generation) 파이프라인 구축에 최적화되어 있다.1 항목 내용 설명 정의LlamaIndexLLM 기반 데이터 검색·통합 프레임워크목적외부 데이터와 LLM 연결RAG 기반 응답 품질 향상필요성LLM의 지식 한계 극복최신 데이터 검색 및 활용LlamaIndex는 LLM이 정적 파라미터 지식을 넘어 동적 데이터와 상호작용할 수 있게 한다.2. 특징특징설명비고다양한 데이터 소스 연동PDF, DB..

개요CrewAI는 여러 AI 에이전트가 팀(Crew)을 이루어 복잡한 문제를 협력적으로 해결할 수 있도록 지원하는 오픈소스 프레임워크이다. 단일 LLM 기반 에이전트의 한계를 극복하고, 역할 기반 에이전트 협업을 통해 다양한 작업을 자동화·최적화하는 데 중점을 둔다.1. 개념 및 정의 항목 내용 설명 정의CrewAI다중 AI 에이전트 협업 프레임워크목적역할 기반 협력으로 복잡한 문제 해결LLM 기반 협력적 자동화필요성단일 에이전트 한계 극복대규모·다양한 작업 자동화CrewAI는 에이전트가 각자의 역할(Role)을 수행하며 협력하는 구조를 제공한다.2. 특징특징설명비고역할 기반 구조각 에이전트가 역할(Role)을 가짐유연한 팀 구성 가능다중 에이전트 협업여러 에이전트 간 상호작용복잡한 워크플로우 처리L..

개요AutoGen은 다중 에이전트(Multi-Agent) 시스템을 구성하여 대화형 AI, 자동화된 작업 수행, 복잡한 문제 해결을 가능하게 하는 오픈소스 프레임워크이다. 단일 모델이 아닌 여러 AI 에이전트가 협력하여 목표를 달성하도록 설계되었으며, LLM(Large Language Model)을 활용한 자동화된 워크플로우 구성에 최적화되어 있다.1. 개념 및 정의 항목 내용 설명 정의AutoGen다중 에이전트 AI 오케스트레이션 프레임워크목적에이전트 협력을 통한 복잡한 작업 자동화LLM 기반 워크플로우 최적화필요성단일 LLM 한계 극복협력적 AI 시스템 구현AutoGen은 다양한 에이전트를 연결하고, 상호작용을 통해 최적의 결과를 생성하는 차세대 AI 아키텍처다.2. 특징특징설명비고다중 에이전트 협..

개요ALiBi(Attention with Linear Biases)는 Transformer 기반 대규모 언어 모델(LLM)에서 위치 인코딩(Positional Encoding)을 대체하는 새로운 접근 방식이다. 전통적인 절대적·상대적 위치 인코딩의 한계를 극복하며, 학습된 모델이 더 긴 시퀀스에서도 일반화할 수 있도록 설계되었다.1. 개념 및 정의 항목 내용 설명 정의ALiBi (Attention with Linear Biases)어텐션에 선형 바이어스를 적용한 위치 인코딩 기법목적긴 문맥 처리 및 일반화 개선시퀀스 길이 확장성 확보필요성기존 위치 인코딩의 한계고정 길이 학습 데이터 의존성ALiBi는 추가 파라미터나 학습 과정 없이 단순한 수학적 바이어스만으로 긴 시퀀스 처리 능력을 제공한다.2. 특..

개요GQA(Generalized Query Attention)는 대규모 언어 모델(LLM, Large Language Model)의 효율성과 성능을 동시에 개선하기 위해 제안된 새로운 어텐션(attention) 메커니즘이다. 기존 Multi-Head Attention(MHA) 구조를 최적화하여, 메모리 사용량과 연산량을 줄이면서도 정확도와 추론 품질을 유지하거나 향상시키는 것을 목표로 한다.1. 개념 및 정의 항목 내용 설명 정의GQA (Generalized Query Attention)효율적 어텐션 계산을 위한 개선된 구조목적LLM의 성능·효율 동시 개선추론 속도 및 메모리 최적화필요성모델 규모 증가에 따른 자원 소모효율적 학습 및 추론 구조 필요GQA는 기존 MHA 구조에서 발생하는 비효율성을 개..

개요대규모 언어 모델(LLM)의 발전은 단일 모델의 성능을 극대화하는 방향으로 이루어졌습니다. 그러나 단일 모델 접근은 한계가 존재하며, 더 복잡한 문제 해결을 위해 여러 AI 에이전트를 조합하는 방식이 주목받고 있습니다. 이러한 새로운 접근이 바로 **Mixture-of-Agents(MoA)**입니다. MoA는 다중 AI 에이전트를 조율하여 **협력적 추론(collaborative reasoning)**을 가능하게 하는 아키텍처입니다.1. 개념 및 정의**Mixture-of-Agents(MoA)**는 여러 개의 AI 모델 또는 에이전트를 동시에 활용하여 문제를 해결하는 협력적 추론 프레임워크입니다. 각 에이전트는 특정 역할이나 전문성을 기반으로 작업을 수행하고, 최종적으로 집계(aggregation) ..

개요대규모 언어 모델(LLM, Large Language Model)의 성능은 빠르게 발전하고 있지만, 추론 시 필요한 메모리와 연산 자원은 여전히 큰 부담으로 작용합니다. 특히 긴 컨텍스트를 처리할 때 어텐션(attention) 메커니즘의 **KV-Cache(Key-Value Cache)**가 차지하는 메모리 사용량은 병목이 됩니다. 이를 해결하기 위한 혁신적 접근이 바로 PagedAttention입니다.1. 개념 및 정의PagedAttention은 KV-Cache를 페이지 단위로 관리하여 GPU 메모리와 CPU 메모리를 효율적으로 사용하는 어텐션 최적화 기법입니다. 운영체제의 가상 메모리 페이징 기법에서 착안하여, GPU 고속 메모리와 CPU 대용량 메모리 간의 동적 교환을 가능하게 합니다.주요 목적..

개요딥러닝 모델의 크기와 복잡성이 증가하면서 파인튜닝(Fine-tuning)의 비용과 자원 소모가 커지고 있습니다. LoRA(Low-Rank Adaptation)는 이러한 문제를 해결하기 위한 대표적인 접근 방식으로 주목받아왔습니다. 최근에는 LoRA의 한계를 개선한 **Weight-Decomposed LoRA(WD-LoRA)**가 등장하여 효율적인 모델 최적화와 자원 절감의 새로운 가능성을 제시하고 있습니다.1. 개념 및 정의**Weight-Decomposed LoRA(WD-LoRA)**는 기존 LoRA의 한계를 보완하여 더 효율적인 파라미터 효율적 학습(PEFT: Parameter-Efficient Fine-Tuning)을 지원하는 기법입니다. 핵심 아이디어는 기존 가중치를 분해(Decompositi..

개요GraphRAG는 전통적인 RAG(Retrieval-Augmented Generation) 프레임워크에 그래프 데이터 구조를 결합하여, 문맥 간 관계성과 정보 연결성을 극대화한 차세대 생성형 AI 기술입니다. GraphDB(Graph Database) 또는 지식 그래프를 기반으로 하여, 복잡한 관계형 정보를 보다 정밀하게 검색하고 LLM이 활용할 수 있도록 설계되었습니다.이 글에서는 GraphRAG의 정의, 구조적 특징, 기술적 구성 요소, 실제 사용 사례 및 도입 시 고려사항 등을 상세히 설명하며, 고도화된 AI 정보 추론 시스템을 구축하고자 하는 조직에 실질적인 인사이트를 제공합니다.1. 개념 및 정의 항목 설명 정의GraphRAG는 검색 기반 생성(RAG)에 그래프 DB를 결합해 문서 간의 의..

개요생성형 AI 모델은 방대한 사전 학습 데이터를 바탕으로 새로운 응답을 생성하지만, 실시간 문맥 이해나 동적인 외부 지식 반영에는 한계가 있습니다. 이러한 문제를 해결하기 위해 등장한 기술이 **RAG(Retrieval-Augmented Generation)**이며, 이를 더욱 정교하게 만든 구조가 바로 **Contextual RAG Memory(CRAG-Mem)**입니다. CRAG-Mem은 문맥에 따라 검색과 생성, 메모리 갱신을 통합적으로 수행하는 지능형 메모리 프레임워크로, 사용자 맞춤형 AI 시스템 구현에 핵심적 역할을 합니다.1. 개념 및 정의**CRAG-Mem(Contextual RAG Memory)**는 문맥 기반 정보 검색, 생성, 기억 보존 기능을 결합한 하이브리드 메모리 아키텍처로, ..

개요LLM Latency Budgeting(LLB)은 대규모 언어 모델(LLM)의 응답 지연 시간을 예측하고 통제하기 위한 전략적 기법이다. 특히 사용자 대화형 AI, 실시간 응답 시스템, API 기반 서비스 등에서 모델 응답 지연을 사전에 조정하고 SLA(Service Level Agreement)를 만족하기 위해 LLM의 구조적·운영적 요소를 예산화(budgeting)하는 접근 방식이다.1. 개념 및 정의 항목 설명 정의대규모 언어 모델(LLM)의 추론 지연 시간(Latency)을 정량적으로 분할 및 관리하는 기법목적실시간 서비스를 위한 응답 시간 예측 가능성과 품질 보장 확보필요성사용자 경험 저하 방지 및 고비용 모델 운영 효율화를 위해 지연 시간 제어 필수2. 특징특징설명기존 대비 차별점예측 가..

개요대규모 언어 모델(LLM)의 성능은 탁월하지만, 그에 따른 추론 비용, 응답 지연, 에너지 소모는 실무 적용에 큰 제약 요소로 작용합니다. 특히 다양한 복잡도의 요청에 대해 동일한 모델을 사용하는 것은 리소스 낭비를 초래합니다. 이러한 문제를 해결하기 위해 등장한 개념이 **LLM Cascade Compression (LCC)**입니다. LCC는 여러 단계의 크기와 성능을 가진 모델을 계층적으로 배치하고, 요청의 난이도에 따라 적절한 모델을 선택함으로써 효율성과 성능을 동시에 확보하는 전략입니다.1. 개념 및 정의LLM Cascade Compression은 다양한 크기(예: 1B, 7B, 13B, 65B)의 언어 모델을 계단식으로 구성한 후, 각 요청에 대해 최소한의 모델로 처리 시도하고, 응답이 부..

개요Photonic Tensor Core는 빛(광자)을 활용한 병렬 텐서 연산을 수행하는 하드웨어 아키텍처로, 기존 전자 기반 GPU·TPU 연산의 전력 한계를 극복하고자 등장한 차세대 광 컴퓨팅 연산 코어입니다. 특히 AI 모델 추론과 훈련에서 요구되는 행렬 곱셈(MATMUL) 연산을 초고속·초저전력으로 처리할 수 있어, 차세대 AI 칩 및 엣지 AI 응용 분야에서 주목받고 있습니다.1. 개념 및 정의Photonic Computing: 전자 대신 광자를 계산 매체로 활용하는 컴퓨팅 방식Tensor Core: AI 연산을 위한 행렬 곱셈 특화 병렬 연산 유닛Photonic Tensor Core: 광학 회로 내에서 텐서 연산을 수행하도록 설계된 연산 유닛2. 특징 항목 설명 기존 방식과 비교 전력 효율..

개요In-Network AI Pre-Filter는 데이터센터나 클라우드 경계 외부의 네트워크 계층(엣지, 스위치, 게이트웨이 등)에서 실시간으로 흐르는 데이터를 분석하고 불필요하거나 위험한 트래픽, 민감 정보를 사전에 필터링하는 AI 기반의 선처리(pre-filtering) 기술입니다. 대규모 LLM 시스템, AI API 게이트웨이, 고속 IoT 환경 등에서 처리 효율성 및 보안성 확보를 위한 핵심 인프라로 주목받고 있습니다.1. 개념 및 정의In-Network AI: 네트워크 내에서 ML 모델을 실시간 실행하여 트래픽 흐름을 분석하고 반응하는 기술Pre-Filter: 메인 AI 모델 또는 백엔드 시스템에 도달하기 전 사전 조건 검사를 통해 유효성 판단 및 필터링In-Network AI Pre-Filte..

개요Cloudflare Workers AI는 Cloudflare의 글로벌 엣지 네트워크를 기반으로 AI 모델을 서버리스 환경에서 실행할 수 있는 플랫폼입니다. 이를 통해 AI 인퍼런스를 사용자에게 가장 가까운 위치에서 수행함으로써, 초저지연 응답과 비용 효율적인 AI 서비스 운영을 실현합니다.1. 개념 및 정의Cloudflare Workers AI는 Cloudflare Workers라는 서버리스 런타임에서 제공되는 인공지능 모델 실행 기능입니다. OpenAI, Hugging Face 등에서 제공하는 다양한 프리트레인 모델을 엣지 위치에서 빠르게 실행할 수 있게 설계되어 있습니다.Serverless AI Inference: 인프라 걱정 없이 AI 모델 호출 가능Global Edge Execution: Cl..

개요Token-Aware Masking(TAM)은 민감 데이터를 처리하는 자연어 처리(NLP) 시스템에서 보안성과 의미 보존을 동시에 달성하기 위해 고안된 데이터 마스킹 기법입니다. 특히 LLM 기반 시스템, 챗봇, 자동화 응답 시스템 등에서 사용자 프라이버시 보호와 언어 모델의 정확한 학습 또는 응답 생성을 동시에 만족시키는 데 효과적입니다.1. 개념 및 정의TAM은 토큰 단위의 의미 파악을 기반으로, 문장의 자연스러운 구조를 해치지 않으면서 민감한 정보를 선택적으로 마스킹하는 방식입니다.Token 기반 접근: 언어 모델의 토큰화를 반영하여 민감 정보만 필터링Context Preservation: 마스킹 후에도 문맥 흐름 유지주요 적용 분야: AI 챗봇 로그, 검색 쿼리 분석, 고객 상담 자동화 등2...

개요LLM Guardrails는 대규모 언어모델(LLM, Large Language Model)의 출력 결과를 안전하고 신뢰할 수 있게 제어하기 위한 기술적·정책적 방어장치입니다. LLM의 비결정성, 민감한 정보 노출, 환각(hallucination) 문제를 예방하고, 산업별 규제 및 윤리 기준에 맞는 응답을 보장하기 위해 반드시 필요한 구성요소로 부각되고 있습니다.1. 개념 및 정의LLM Guardrails는 언어모델의 입력과 출력 흐름 상에 개입하여, 비의도적이거나 위험한 콘텐츠 생성을 사전에 방지하거나 사후적으로 필터링하는 보안 및 품질 통제 메커니즘입니다.주요 목적비윤리적, 부적절한 응답 차단개인정보 및 기밀 데이터 보호모델 환각(Hallucination) 제어 및 사실성 강화2. 특징 항목 설..

개요최근 대형 언어 모델(Large Language Model, LLM)의 활용이 증가함에 따라, 제한된 자원 환경에서도 효과적인 AI 시스템을 구현하기 위한 기술로 Small-Language-Model Distillation(소형 언어 모델 지식 증류)이 주목받고 있습니다. 본 포스트에서는 LLM으로부터 작은 모델로 지식을 전이하는 증류(distillation) 기술의 개념, 필요성, 적용 방식 및 실제 사례를 중심으로 상세히 살펴봅니다.1. 개념 및 정의Small-Language-Model Distillation은 고성능의 대형 언어 모델(teacher model)로부터 작은 언어 모델(student model)로 지식을 압축하여 전이하는 기술입니다. 이 방법은 성능 저하를 최소화하면서도 경량화된 모..

개요RAG(Retrieval-Augmented Generation)은 검색과 생성형 AI를 결합하여 신뢰도 높은 응답을 생성하는 핵심 프레임워크입니다. 하지만 기존 RAG는 쿼리와 문서의 의미적 거리만을 기준으로 유사 문서를 검색하기 때문에, 질문과 관련된 문서가 누락되거나, 부정확한 문서가 검색되는 한계가 존재합니다. 이를 개선하기 위해 등장한 기술이 HyDE RAG입니다. HyDE는 질문에 대한 가상의 정답(Hypothetical Answer)을 생성하고 이를 임베딩하여 검색하는 방식으로, RAG의 정확성과 정밀도를 크게 향상시킵니다.1. 개념 및 정의**HyDE(Hypothetical Document Embeddings)**는 사용자의 질문을 먼저 LLM을 통해 **가상의 정답 문장(Hypothet..