ITPE * JackerLab

개요SLO-Driven Auto-Scaler는 CPU, 메모리와 같은 리소스 지표가 아닌 SLO(Service Level Objective)에 기반하여 애플리케이션의 자동 스케일링 결정을 내리는 진화된 오토스케일링 방식입니다. 이는 사용자의 체감 품질(QoE)에 직접적인 영향을 주는 지표(예: 응답 시간, 에러율)를 기준으로 동작하며, SRE(Site Reliability Engineering)와 클라우드 네이티브 환경에서의 효율적인 운영을 가능하게 합니다.1. 개념 및 정의 항목 설명 정의SLO 기반 메트릭(예: 응답 시간 99%)을 기준으로 서비스의 Auto Scaling을 트리거하는 기법목적사용자 경험 최적화 및 리소스 과소/과잉 사용 방지연계 기술Prometheus, KEDA, Kubernet..

개요RED Method는 Google SRE(Site Reliability Engineering)에서 제시한 모니터링 프레임워크 중 하나로, **Rate(요청률), Errors(오류율), Duration(응답시간)**의 세 가지 핵심 지표를 중심으로 마이크로서비스와 API 기반 시스템의 성능을 관찰합니다. 이는 인프라 중심의 지표보다 사용자 경험을 보다 직접적으로 반영하여 운영 안정성과 서비스 품질 향상에 기여합니다.1. 개념 및 정의 항목 설명 비고 정의마이크로서비스 기반 시스템에서 트래픽 중심의 3대 지표를 활용한 관찰 전략RED = Rate, Errors, Duration목적사용자 경험 기반의 성능 이슈 조기 감지 및 개선SRE/DevOps 환경에 최적화적용 대상HTTP API, gRPC 서비스..

개요OpenCost는 Kubernetes 기반 클라우드 네이티브 환경에서 워크로드별 리소스 소비와 비용을 정확하게 측정하고 분석하는 오픈소스 프로젝트입니다. FinOps 문화 확산과 함께, 개발팀과 운영팀이 리소스 사용과 비용에 대한 투명성을 확보하고, 최적화 전략을 수립하는 데 필수적인 인프라로 주목받고 있습니다.1. 개념 및 정의 항목 내용 정의Kubernetes 클러스터 내 리소스 사용량 및 비용을 워크로드 단위로 분석, 보고하는 오픈소스 프로젝트목적클라우드 네이티브 인프라의 비용 가시성 확보 및 최적화 지원필요성클라우드 과금 복잡성 증가와 비용 통제 불투명성 문제 해결OpenCost는 비용 인식(Cost Awareness)을 DevOps/SRE 프로세스에 자연스럽게 통합합니다.2. 특징항목Ope..

개요Seldon Core는 머신러닝 모델을 Kubernetes 환경에 안정적이고 확장 가능하게 배포(서빙)할 수 있도록 지원하는 오픈소스 MLOps 플랫폼입니다. REST/gRPC API, A/B 테스트, Canary 배포, 모델 해석성(Explainability) 등 다양한 기능을 제공하며, 다양한 프레임워크와 언어의 모델을 통합 관리할 수 있습니다. 본 글에서는 Seldon Core의 핵심 기능, 아키텍처, 활용 전략을 소개합니다.1. 개념 및 정의Seldon Core는 컨테이너화된 머신러닝 모델을 Kubernetes 상에서 배포하고, 서빙하며, 운영할 수 있는 MLOps 인프라입니다. 모델을 마이크로서비스로 감싸고, 서비스 메쉬 및 모니터링 도구와 통합하여 프로덕션 수준의 배포 자동화, 트래픽 제어..