개요FlashDecoding은 대형 언어 모델(LLM)에서 응답 생성 속도를 극적으로 향상시키기 위한 확률 기반 디코딩 최적화 기법이다. 기존의 비효율적인 토큰 선택 과정을 개선하고, 하드웨어 친화적 연산 구조를 활용하여 정확도 저하 없이 추론 속도를 최대 2배까지 가속하는 것이 특징이다. 특히 Top-k, Top-p 샘플링 방식의 병목을 해결하는 핵심 기술로 평가된다.1. 개념 및 정의 항목 설명 정의LLM에서 확률 기반 토큰 디코딩 과정을 GPU 친화적으로 최적화하여 추론 속도를 가속하는 기법목적정확도 유지 + 디코딩 속도 극대화필요성LLM 추론의 병목인 Sampling 및 Ranking 연산 개선 필요FlashAttention과 유사하게, FlashDecoding은 디코딩 경로를 고속화하는 실용적..
