Continuous Batching

개요

Continuous Batching은 대규모 언어 모델(LLM) 추론에서 사용자 요청을 **고정된 타임슬롯(batch interval)**이 아닌, 실시간으로 수신되는 순서에 따라 동적으로 묶어 처리하는 배치 전략입니다. 이를 통해 응답 지연(latency)은 줄이고 GPU 활용률은 높이며, 특히 대화형 AI, AI 서비스 API 서버에서 효율적인 추론 처리를 가능하게 합니다. vLLM, TGI, TensorRT-LLM 등에서 적용되는 최신 배치 기법입니다.

---

1. 개념 및 정의

항목	내용	비고
정의	LLM 추론 시 요청을 고정 시간 기준 없이 지속적으로 batch로 구성하는 처리 방식	streaming inference와 함께 사용
목적	latency와 throughput의 동시 개선	응답 지연 감소 + GPU 자원 효율화
필요성	기존 static batching은 실시간 대화형 응답에 부적합	요청 대기 시간 과다 문제 해소

---

2. 특징

항목	설명	비고
실시간 동적 batching	request 도착 즉시 batch에 포함	idle 없이 요청 수집 가능
Token-level 병렬 처리	생성 중인 시퀀스와 신규 요청을 함께 처리	single forward pass 처리 활용
Context + Decode 분리	프롬프트 처리와 응답 생성을 분리 구성	multi-stage pipeline 가능
GPU 메모리 최적화	동적 배치 크기 기반 자원 활용 조절	프레임워크 단에서 관리
응답 시점 다양화	streaming 응답 또는 partial output 가능	chat-based 서비스에 유리

비동기 수신 + 병렬 처리 + 메모리 최적화를 조합한 구조.

---

3. 구성 요소

구성 요소	설명	비고
Scheduler	요청 수신/정렬/배치화 제어	우선순위 기반 정책 가능
Token Swapping Engine	토큰 단위로 배치 구성 및 병합 실행	생성중 시퀀스 병렬 처리 핵심
CUDA Stream Manager	GPU 내 커널 실행 제어	forward pass 간 충돌 방지
Output Queue	사용자별 응답 순서 유지	multi-user 처리 시 필수
Prefill Cache	중복된 프롬프트 캐싱 처리	multi-turn 대화에서 유효

구조적으로 분기 처리와 응답 순서 유지를 함께 고려.

---

4. 기술 요소

기술 요소	설명	활용 방식
Grouped Attention	같은 길이의 시퀀스를 함께 처리	FlashAttention 기반 구현 많음
KV Cache Sharing	중복 prefix 공유로 메모리 절약	beam search/greedy에도 활용 가능
Prefill + Decode Fusion	초기 입력과 응답 생성을 나눠 병렬화	throughput 극대화에 기여
Dynamic Padding	동적 시퀀스 정렬로 padding 낭비 제거	메모리 활용률 향상
Asynchronous IO	입출력 병렬 처리로 latency 절감	API 서버 응답 지연 최소화

멀티 사용자 요청을 GPU에서 효율적으로 동시에 처리 가능.

---

5. 장점 및 이점

항목	설명	기대 효과
지연 없는 처리	고정 batch interval이 없어 즉시 처리 가능	사용자 응답 속도 향상
높은 GPU utilization	연속적인 병렬 실행으로 공회전 제거	GPU TCO 향상
적은 코드 변경	추론 서버 프레임워크 내 삽입 가능	API 사용자는 변경 불필요
대규모 동시 처리	수천 QPS 상황에서도 안정성 확보	AI SaaS 제품에 적합

추론 서버의 처리 효율과 사용자 체감 품질을 동시에 개선.

---

6. 주요 활용 사례 및 고려사항

사례	설명	고려사항
LLM 추론 API 서버	대화형 AI, Copilot 등에 적용	응답 순서 보장 여부 체크 필요
Chatbot 서비스	사용자별 토큰 단위 streaming 응답	partial output 타이밍 조절 필요
실시간 Q&A 시스템	다중 요청의 실시간 응답 요구	모델 delay에 따른 배치 조절 필요
GPU resource pool 기반 추론	GPU 공유 환경에서 최대 효율 활용	memory contention 정책 설정 권장

KV cache 크기, token budget, queue 처리 정책 등을 사전 조정.

---

7. 결론

Continuous Batching은 LLM 추론의 병목을 줄이기 위한 필수 기술로, 지연을 최소화하면서도 고속 처리량을 유지할 수 있게 합니다. 특히 실시간 AI 서비스와 대화형 애플리케이션에서 GPU 리소스를 최대한 활용하는 데 강력한 효과를 발휘하며, vLLM, TGI, TensorRT-LLM 등 최신 추론 프레임워크에서 빠르게 채택되고 있습니다. 향후 AI API 서비스 품질 경쟁의 핵심 요소로 자리잡을 기술입니다.