ITPE * JackerLab

Continuous Batching

개요Continuous Batching은 대규모 언어 모델(LLM) 추론에서 사용자 요청을 **고정된 타임슬롯(batch interval)**이 아닌, 실시간으로 수신되는 순서에 따라 동적으로 묶어 처리하는 배치 전략입니다. 이를 통해 응답 지연(latency)은 줄이고 GPU 활용률은 높이며, 특히 대화형 AI, AI 서비스 API 서버에서 효율적인 추론 처리를 가능하게 합니다. vLLM, TGI, TensorRT-LLM 등에서 적용되는 최신 배치 기법입니다.1. 개념 및 정의 항목 내용 비고 정의LLM 추론 시 요청을 고정 시간 기준 없이 지속적으로 batch로 구성하는 처리 방식streaming inference와 함께 사용목적latency와 throughput의 동시 개선응답 지연 감소 + G..

개요FlashInfer는 대규모 언어 모델(LLM)의 추론 성능을 획기적으로 개선하기 위해 설계된 CUDA 기반 시퀀스 추론 최적화 라이브러리입니다. 특히 KV 캐시(Key-Value Cache) 구조를 GPU 메모리 친화적으로 재설계하고, 토크나이즈된 입력의 반복적 연산을 줄임으로써 높은 속도와 낮은 지연(latency)을 동시에 제공합니다. FlashAttention2의 연산 최적화 기술을 활용합니다.1. 개념 및 정의 항목 설명 정의GPU 친화적으로 구현된 고속 시퀀스 추론 전용 LLM 추론 가속 엔진목적LLM 응답 생성 속도를 최대화하고 지연 시간 최소화필요성LLM의 실시간 대화 응답, RAG, 스트리밍 생성 등에서 추론 병목 해결FlashInfer는 inference 전용으로 설계되어 mult..

개요TGI(Text Generation Inference)는 Hugging Face에서 개발한 대규모 언어 모델(LLM) 전용 추론 서버로, 효율적이고 확장 가능한 텍스트 생성 서비스를 제공하기 위한 고성능 인퍼런스(추론) 엔진입니다. GPT, LLaMA, Falcon 등 다양한 모델을 지원하며, GPU 및 CPU 자원을 최적화하여 대규모 요청 처리에 적합한 분산형 아키텍처를 제공합니다.1. 개념 및 정의항목내용비고정의대규모 언어 모델의 텍스트 생성 작업을 고속으로 수행하는 인퍼런스 서버Hugging Face 오픈소스 프로젝트목적LLM을 위한 효율적 추론 환경 구축Latency 감소 및 Throughput 향상필요성ChatGPT, Copilot 등 LLM 서비스의 실시간 추론 수요 증가MLOps 및 AI..

개요대규모 언어 모델(LLM, Large Language Model)의 성능은 빠르게 발전하고 있지만, 추론 시 필요한 메모리와 연산 자원은 여전히 큰 부담으로 작용합니다. 특히 긴 컨텍스트를 처리할 때 어텐션(attention) 메커니즘의 **KV-Cache(Key-Value Cache)**가 차지하는 메모리 사용량은 병목이 됩니다. 이를 해결하기 위한 혁신적 접근이 바로 PagedAttention입니다.1. 개념 및 정의PagedAttention은 KV-Cache를 페이지 단위로 관리하여 GPU 메모리와 CPU 메모리를 효율적으로 사용하는 어텐션 최적화 기법입니다. 운영체제의 가상 메모리 페이징 기법에서 착안하여, GPU 고속 메모리와 CPU 대용량 메모리 간의 동적 교환을 가능하게 합니다.주요 목적..

개요vLLM은 대규모 언어 모델(LLM)의 실시간 추론 성능을 최적화하기 위해 설계된 오픈소스 추론 엔진입니다. Hugging Face Transformers 기반 모델을 중심으로 빠른 응답, 높은 GPU 활용률, 비동기 텍스트 스트리밍, 다중 사용자 요청 병렬 처리 등을 지원하며, 특히 Serve-ready LLM 시스템 구축에 강력한 기반을 제공합니다.이 글에서는 vLLM의 구조, 핵심 기술, 활용 사례 등을 통해 LLM 인프라스트럭처의 추론 효율성과 비용 최적화 전략을 소개합니다.1. 개념 및 정의 항목 설명 정의vLLM은 LLM 기반 모델을 위한 고성능 추론 엔진으로, 빠른 응답성과 GPU 자원 최적화를 지향합니다.목적다양한 사용자 요청을 빠르게 처리하며, GPU 활용률을 극대화한 대규모 추론 ..

개요Speculative Decoding은 대형 언어 모델(LLM) 또는 생성형 AI 시스템의 응답 속도를 획기적으로 향상시키기 위한 디코딩 최적화 기법이다. 사전 예측된 후보 토큰을 바탕으로 병렬 처리와 검증을 통해 생성 시간을 줄이는 이 기술은 실시간 AI 응답이 필요한 다양한 분야에서 주목받고 있다.1. 개념 및 정의Speculative Decoding은 작은 추론 모델(초안 모델)이 여러 개의 후보 응답을 먼저 생성하고, 이를 큰 기준 모델(정확성 검증 모델)이 검토하여 확정하는 방식이다. 이는 Transformer 기반 언어 모델에서 응답 생성 시 병목이 되는 토큰별 생성 과정을 병렬화해 전체 속도를 높인다.목적 및 필요성LLM의 응답 속도 개선실시간 서비스 대응력 확보컴퓨팅 자원 최적화 및 처..