728x90
반응형

학습곡선 2

러닝 커브(Learning Curve)

개요러닝 커브(Learning Curve)는 반복 작업을 수행할수록 개인 또는 조직의 수행 시간, 오류율, 비용이 감소하며 생산성과 효율성이 향상된다는 경험 기반의 이론 모델입니다. 산업공학, 교육학, UX 디자인, 머신러닝 등 다양한 분야에서 학습 속도와 퍼포먼스 예측을 위한 중요한 도구로 활용됩니다.1. 개념 및 정의 항목 설명 정의동일 작업을 반복 수행할수록 소요 시간, 비용, 오류율이 일정 비율로 감소한다는 이론기본 원리경험의 축적 → 작업 숙련도 향상 → 성능 개선수식 형태(Y: 작업 시간, X: 반복 횟수, a: 초회 작업 시간, b: 학습률 계수)학습 곡선은 누적 경험량에 따라 성능이 어떻게 향상되는지를 정량적으로 설명합니다.2. 유형 및 그래프 형태유형설명특징전형적 S-커브느린 시작 → ..

Topic 2025.06.13

Small-Scale Scaling Laws

개요Small-Scale Scaling Laws는 소형 언어 모델(SLM) 훈련에서 관측되는 학습 곡선, 손실 감소 패턴, 일반화 성능 등을 바탕으로, 모델 규모와 성능 간의 관계를 수학적 또는 경험적으로 예측하는 이론적 프레임워크입니다. 기존의 대규모 모델에 국한되던 Scaling Laws를 수천만~수억 파라미터 범위에 최적화하여, 자원 효율적인 LLM 설계와 실험 설계에 중요한 통찰을 제공합니다.1. 개념 및 정의Small-Scale Scaling Laws는 상대적으로 작은 파라미터 수와 데이터 양으로 훈련된 모델에서 관찰된 경향을 기반으로, 더 큰 모델의 성능 또는 한계를 예측하려는 확률적·통계적 방법론입니다.핵심 정의: 손실 L(N, D, C)는 파라미터 수(N), 데이터 수(D), 계산량(C)에..

Topic 2025.05.22
728x90
반응형