ITPE * JackerLab

개요SGLang은 고성능 LLM(Large Language Model) 애플리케이션을 쉽고 빠르게 개발할 수 있도록 지원하는 파이썬 기반 언어 프레임워크입니다. MLC-LLM 팀이 개발했으며, 템플릿 기반의 LLM 스크립팅과 병렬 처리, 캐시 최적화 등 실시간 상호작용 시스템을 구축하는 데 특화된 기능을 제공합니다. 특히 대화형 AI, 코파일럿, 에이전트 시스템 등에 적합한 프론트엔드 인터페이스를 제공합니다.1. 개념 및 정의 항목 설명 정의SGLang은 LLM 기반 앱 개발을 위한 스크립팅 언어 및 실행 프레임워크입니다.목적LLM 앱의 복잡한 흐름 제어 및 서버 최적화 구조 제공필요성프롬프트 구성, 캐시 활용, 비동기 처리가 중요한 LLM 애플리케이션을 빠르게 개발하기 위함간결한 문법과 병렬 실행 환..

개요BentoML은 머신러닝 모델을 손쉽게 배포하고 서빙할 수 있도록 지원하는 오픈소스 MLOps 프레임워크입니다. Python 기반으로 개발되었으며, 모델을 다양한 환경에 맞게 포장하고 REST/gRPC API 형태로 서빙할 수 있도록 설계되어 있습니다. 모델 배포에 필요한 DevOps 부담을 줄이고, 모델 서빙 및 관리의 효율성을 극대화합니다.1. 개념 및 정의 항목 설명 정의BentoML은 모델을 API로 패키징하고, 서빙 인프라로 배포할 수 있게 해주는 MLOps 프레임워크입니다.목적머신러닝 모델의 배포, 서빙, 모니터링 과정을 자동화 및 간소화필요성실험 수준의 모델을 안정적이고 확장 가능한 운영 서비스로 전환하기 위함데이터 사이언티스트와 엔지니어 간의 협업을 효율화하는 핵심 도구입니다.2. 특..

개요IVF-PQ(Inverted File with Product Quantization)는 대규모 고차원 벡터 데이터에서 유사한 항목을 빠르게 검색하기 위해 사용되는 대표적인 Approximate Nearest Neighbor(ANN) 알고리즘입니다. Inverted File(역색인) 구조와 Product Quantization(곱 양자화)을 결합하여, 메모리 사용을 줄이면서도 빠르고 정확한 벡터 유사성 검색이 가능합니다. FAISS, Milvus, ScaNN 등 다양한 벡터 검색 시스템에서 핵심 알고리즘으로 활용되고 있습니다.1. 개념 및 정의 항목 설명 정의IVF-PQ는 벡터를 여러 클러스터로 나눈 후, 각 클러스터 내부를 양자화하여 효율적인 검색을 수행하는 ANN 인덱스입니다.목적대규모 벡터 데이..

개요ScaNN(Scalable Nearest Neighbors)은 Google에서 개발한 고성능 벡터 유사성 검색(ANN) 라이브러리로, 고차원 임베딩 벡터에서 유사한 항목을 빠르게 찾는 데 특화되어 있습니다. ScaNN은 머신러닝, 추천 시스템, 자연어 처리 등 다양한 인공지능 응용 분야에서 높은 정확도와 빠른 응답 속도를 제공합니다. 특히 GPU 및 SIMD 최적화와 효율적인 색인 알고리즘을 통해 대규모 벡터 데이터셋에서도 탁월한 성능을 발휘합니다.1. 개념 및 정의 항목 설명 정의ScaNN은 고차원 벡터에서 최근접 이웃을 빠르게 검색하는 ANN(Approximate Nearest Neighbor) 라이브러리입니다.목적AI 응용 시스템에서 빠르고 정확한 벡터 검색 제공필요성기존 ANN 알고리즘의 성..