ITPE * JackerLab

TensorFlow Serving

개요TensorFlow Serving은 머신러닝 모델을 프로덕션 환경에서 안정적이고 효율적으로 배포하기 위한 서빙 시스템입니다. TensorFlow 모델뿐 아니라 다양한 ML 프레임워크의 모델을 지원하며, 실시간 추론과 확장성을 제공하는 엔터프라이즈급 솔루션입니다.1. 개념 및 정의 항목 설명 비고 정의머신러닝 모델 서빙을 위한 유연하고 확장 가능한 시스템구글 개발목적학습된 모델을 프로덕션 환경에서 안정적으로 제공실시간 추론 지원필요성모델 학습과 배포 간 격차 해소MLOps 필수 구성요소ML 모델 운영을 위한 핵심 인프라입니다.2. 특징특징설명비교다중 모델 관리여러 버전의 모델을 동시에 로드 및 서빙롤백·버전 관리 용이고성능 추론gRPC/REST API 기반 실시간 추론 제공배치 추론 대비 저지연확장..

TFX (TensorFlow Extended)

개요TFX(TensorFlow Extended)는 TensorFlow 기반의 엔드투엔드 머신러닝(ML) 파이프라인 플랫폼으로, 데이터 준비부터 모델 배포까지 전체 ML 워크플로우를 자동화하고 관리합니다. 대규모 프로덕션 환경에서 안정적이고 반복 가능한 ML 운영(MLOps)을 지원합니다.1. 개념 및 정의 항목 설명 비고 정의TensorFlow 기반의 프로덕션 ML 파이프라인 플랫폼구글 개발목적데이터 처리, 학습, 검증, 배포까지 자동화엔드투엔드 지원필요성ML 모델의 프로덕션 운영 효율성 확보MLOps 핵심 구성요소산업 현장에서 재현성과 확장성을 보장하는 플랫폼입니다.2. 특징특징설명비교엔드투엔드 지원데이터 준비~모델 배포까지 지원Airflow, Kubeflow 등과 통합 가능표준화재현성과 일관된 파..

GGUF (GPT-Generated Unified Format)

개요GGUF는 대규모 언어 모델(LLM)을 효율적으로 배포하고 실행하기 위한 경량화된 모델 파일 포맷입니다. Meta의 LLaMA 및 다양한 오픈소스 LLM 실행 엔진에서 사용되며, 기존 GGML 포맷을 개선한 차세대 표준으로 주목받고 있습니다.1. 개념 및 정의 항목 설명 비고 정의대규모 언어 모델을 효율적으로 저장·실행하기 위한 통합 포맷GGML의 후속 포맷목적다양한 하드웨어에서 경량 실행 지원CPU, GPU, 모바일 환경필요성모델 크기와 자원 소모 문제 해결온디바이스 AI 확산효율적 LLM 배포를 위한 핵심 포맷입니다.2. 특징특징설명비교범용성다양한 모델과 실행 엔진 지원GGML보다 확장성 강화경량성파일 크기 최적화 및 빠른 로딩기존 포맷 대비 성능 개선호환성Meta LLaMA 등 최신 모델 지..

Whisper

개요Whisper는 OpenAI에서 개발한 범용 자동 음성 인식(ASR, Automatic Speech Recognition) 모델로, 다국어 음성 인식, 번역, 전사 기능을 지원합니다. 대규모 다국어 데이터셋으로 학습되어 높은 정확성과 범용성을 제공하며, 오픈소스로 공개되어 다양한 애플리케이션에서 활용 가능합니다.1. 개념 및 정의항목설명비고정의OpenAI가 개발한 범용 음성 인식 및 번역 모델오픈소스 공개목적다국어 음성 데이터의 텍스트 변환 및 번역 지원AI 기반 음성 처리필요성글로벌 환경에서 실시간 음성 이해 필요회의, 통역, 접근성 지원음성을 텍스트로 변환하는 범용 AI 모델입니다.2. 특징특징설명비교다국어 지원90개 이상 언어 인식 가능기존 ASR 대비 언어 범위 확장잡음 내성소음 환경에서도 높..