ITPE * JackerLab

개요AI Observability(AI 관측 가능성)는 머신러닝 및 LLM 기반 시스템의 내부 상태와 동작을 가시화하고, 문제를 진단하며, 성능을 지속적으로 개선하기 위한 체계적인 접근 방식이다. 기존 시스템 모니터링을 넘어 데이터 품질, 모델 출력, 추론 과정까지 포함하여 AI 시스템 전반을 관찰하는 것이 핵심이다. 최근 MLOps와 LLMOps의 확산과 함께 필수 기술로 부상하고 있다.1. 개념 및 정의AI Observability는 로그(Log), 메트릭(Metrics), 트레이스(Trace)뿐만 아니라 모델 입력/출력, 피처 분포, 프롬프트 및 응답 등을 종합적으로 분석하여 AI 시스템의 상태를 이해하고 문제를 식별하는 기술이다.2. 특징항목설명영향전체 스택 가시성데이터부터 모델까지 관찰문제 원인..

개요Drift Detection(드리프트 감지)은 머신러닝 모델이 운영 중에 만나는 데이터가 초기 학습 시와 다른 분포를 보일 때 이를 감지하는 기술입니다. 데이터 드리프트(Data Drift)는 모델의 예측 정확도를 저하시킬 수 있는 주요 요인 중 하나로, 이를 실시간으로 탐지하고 대응하는 것은 MLOps, 금융, 보안, 리테일 등의 분야에서 매우 중요합니다.1. 개념 및 정의드리프트 감지는 모델 학습 이후 시간이 흐름에 따라 입력 데이터의 특성 분포가 변화하거나, 레이블 간의 관계가 바뀌는 현상을 탐지하는 과정입니다. 주요 드리프트 유형은 다음과 같습니다:데이터 드리프트 (Covariate Drift): 입력 변수 분포의 변화컨셉 드리프트 (Concept Drift): 입력-출력 관계의 변화레이블 드..