ITPE * JackerLab

개요EAGLE(Efficiently Accelerated speculative Generation with Large Ensemble)는 LLM 추론 속도를 향상시키기 위해 제안된 추측 디코딩(Speculative Decoding) 기법으로, 다수의 소형 언어 모델이 병렬적으로 예측한 후보 토큰을 큰 LLM이 한번에 검증하는 방식이다. 기존의 토큰 단위 디코딩보다 월등히 빠른 응답 속도를 제공하며, 고성능 LLM을 실시간 응용에 적용하기 위한 핵심 기술 중 하나로 주목받는다.1. 개념 및 정의 항목 설명 정의작은 LLM들이 생성한 후보 시퀀스를 큰 LLM이 일괄 검증하여 추론 속도를 향상시키는 디코딩 전략목적대형 언어 모델의 토큰 생성 병목을 제거하여 처리 속도 개선필요성높은 정확도의 LLM을 실제 애..

개요LLMLingua는 대형 언어 모델(LLM)의 입력 프롬프트를 압축하여 품질 손상 없이 토큰 수를 줄이는 최적화 프레임워크이다. 정보 밀도 기반의 프롬프트 압축 기법을 활용하여 LLM 호출 비용을 절감하고 응답 속도 향상에 기여한다. 특히 LLaMA, GPT, Claude 등 다양한 LLM과 호환되며, 대화형 시스템과 RAG에서 유용하게 사용된다.1. 개념 및 정의 항목 설명 정의정보 손실을 최소화하며 프롬프트 내 토큰 수를 줄이는 LLM 입력 최적화 프레임워크목적LLM 비용 절감 및 처리 속도 향상을 위한 압축 기반 프롬프트 최적화필요성토큰 제한, 응답 지연, 호출 비용 등 실무적 문제 해결을 위해LLMLingua는 "정보 밀도에 따라 덜 중요한 단어 제거" 전략을 채택한다.2. 특징특징설명비교압..