ITPE * JackerLab

개요BPE(Byte-Pair Encoding)는 데이터 압축에서 유래한 알고리즘으로, 자연어 처리(NLP)에서 서브워드(subword) 기반 토크나이제이션(tokenization)에 널리 사용됩니다. 희귀어나 신조어를 작은 단위로 분해하여 OOV(Out-of-Vocabulary) 문제를 해결하고, 대규모 언어 모델 학습의 효율성을 높이는 핵심 기법입니다.1. 개념 및 정의 항목 설명 정의가장 자주 등장하는 문자 쌍을 병합해 서브워드를 생성하는 알고리즘데이터 압축 기법에서 확장목적희귀어 처리 및 어휘 집합 최적화NLP 토크나이제이션 활용필요성단어 기반 토크나이저의 한계 극복다국어·희귀어 처리 강화OOV 문제를 해결하기 위한 효율적 기법입니다.2. 특징특징설명비교빈도 기반 병합자주 등장하는 문자 쌍을 반..

개요SentencePiece는 구글에서 개발한 언어 독립적 서브워드 기반 토크나이저(tokenizer)로, 텍스트를 서브워드 단위로 분할하여 자연어 처리(NLP) 모델의 입력으로 활용할 수 있도록 합니다. 사전 정의된 단어 집합에 의존하지 않고, 학습 데이터에서 직접 서브워드를 생성하기 때문에 다양한 언어와 문자 체계에 적용 가능합니다.1. 개념 및 정의 항목 설명 비고 정의언어 비종속적인 서브워드 토크나이저 및 디토크나이저구글 오픈소스 프로젝트목적단어 집합에 없는 OOV(Out-of-Vocabulary) 문제 해결서브워드 분할 방식필요성언어적 특성이 다른 다국어 모델 학습 지원번역, 언어모델, 음성인식 활용다국어 환경에서도 활용 가능한 범용 토크나이저입니다.2. 특징특징설명비교언어 독립성공백이나 언..

개요ALiBi(Attention with Linear Biases)는 Transformer 기반 대규모 언어 모델(LLM)에서 위치 인코딩(Positional Encoding)을 대체하는 새로운 접근 방식이다. 전통적인 절대적·상대적 위치 인코딩의 한계를 극복하며, 학습된 모델이 더 긴 시퀀스에서도 일반화할 수 있도록 설계되었다.1. 개념 및 정의 항목 내용 설명 정의ALiBi (Attention with Linear Biases)어텐션에 선형 바이어스를 적용한 위치 인코딩 기법목적긴 문맥 처리 및 일반화 개선시퀀스 길이 확장성 확보필요성기존 위치 인코딩의 한계고정 길이 학습 데이터 의존성ALiBi는 추가 파라미터나 학습 과정 없이 단순한 수학적 바이어스만으로 긴 시퀀스 처리 능력을 제공한다.2. 특..

개요대규모 언어 모델(Large Language Model)의 발전은 대부분 트랜스포머(Transformer) 아키텍처 기반으로 이루어져 왔습니다. 하지만 트랜스포머의 병렬 처리 능력과 RNN의 시간 순서 인식 능력을 동시에 갖춘 새로운 아키텍처인 RWKV가 최근 주목받고 있습니다. RWKV는 Receptance-Weighted Key-Value 구조를 활용하여 순차적 학습과 병렬 추론을 모두 가능하게 만드는 혁신적 하이브리드 언어 모델입니다.1. 개념 및 정의**RWKV(Receptance-Weighted Key-Value)**는 RNN과 트랜스포머의 장점을 결합한 언어 모델 아키텍처입니다. 시퀀스를 순차적으로 처리하면서도 병렬화 가능한 계산 구조를 갖추고 있어, LLM의 훈련 및 추론 효율성을 동시에..

개요Direct Preference Optimization(DPO)는 사용자 피드백 또는 선호 데이터를 직접 활용하여 AI 모델의 행동을 조정하는 최신 최적화 기법입니다. 기존의 강화 학습 방식(RLHF)보다 단순하고 효율적으로 사용자 만족도를 높일 수 있어, AI 모델의 성능을 한 차원 끌어올리는 방식으로 주목받고 있습니다.1. 개념 및 정의 항목 내용 정의사용자 선호(preference)에 기반해 AI 모델의 출력을 직접 최적화하는 방법목적사용자의 기대에 더 부합하는 응답을 생성하는 모델 훈련필요성RLHF의 복잡성과 비용 문제를 해결하고, 보다 정교한 사용자 맞춤 응답 제공DPO는 복잡한 보상 모델 없이도 AI 응답의 질을 향상시키는 방식으로, ChatGPT 등 대규모 언어모델(LLM) 튜닝에 효과..