ITPE * JackerLab

SGLang

개요SGLang은 고성능 LLM(Large Language Model) 애플리케이션을 쉽고 빠르게 개발할 수 있도록 지원하는 파이썬 기반 언어 프레임워크입니다. MLC-LLM 팀이 개발했으며, 템플릿 기반의 LLM 스크립팅과 병렬 처리, 캐시 최적화 등 실시간 상호작용 시스템을 구축하는 데 특화된 기능을 제공합니다. 특히 대화형 AI, 코파일럿, 에이전트 시스템 등에 적합한 프론트엔드 인터페이스를 제공합니다.1. 개념 및 정의 항목 설명 정의SGLang은 LLM 기반 앱 개발을 위한 스크립팅 언어 및 실행 프레임워크입니다.목적LLM 앱의 복잡한 흐름 제어 및 서버 최적화 구조 제공필요성프롬프트 구성, 캐시 활용, 비동기 처리가 중요한 LLM 애플리케이션을 빠르게 개발하기 위함간결한 문법과 병렬 실행 환..

개요DSPy는 대규모 언어 모델(LLM)을 활용한 자연어 처리 파이프라인을 모듈화하고 최적화할 수 있도록 지원하는 선언형 Python 프레임워크입니다. LLM Prompt Engineering, 증강생성(Augmented Generation), Retriever 구성, Multi-step Reasoning 등을 학습 가능한 파이프라인으로 정의하고, 자동 튜닝을 통해 모델 성능을 개선하는 새로운 접근 방식을 제공합니다.이 글에서는 DSPy의 개념, 아키텍처, 주요 모듈, 기술적 강점 및 활용 사례를 중심으로 LLM 어플리케이션 개발의 구조화 전략을 소개합니다.1. 개념 및 정의 항목 설명 정의DSPy는 LLM 기반 파이프라인을 선언적으로 구성하고 튜닝 가능한 학습 객체로 다룰 수 있게 하는 파이썬 프레임..