ITPE * JackerLab

NATS JetStream

개요NATS JetStream은 NATS 메시징 시스템에 내장된 스트리밍 및 메시지 영속화 기능을 제공하는 고성능 메시징 엔진입니다. 경량성과 성능을 유지하면서도 메시지 보존, 재전송, 소비자 그룹, 메시지 확인(Ack) 등의 기능을 제공해 실시간 스트리밍, 이벤트 소싱, 데이터 파이프라인 구축에 널리 사용됩니다.1. 개념 및 정의 항목 내용 비고 정의NATS에 내장된 스트리밍 및 메시지 영속화 기능NATS 서버에 기본 포함됨목적메시지 보존 및 재처리를 가능하게 하는 고성능 스트리밍 시스템비동기 시스템 구축에 적합배포 방식단일 바이너리 또는 클러스터 기반경량 + 분산 처리 모두 가능2. 특징항목설명비고경량 메시징수 µ초 수준의 지연을 보이는 고속 메시징 처리낮은 오버헤드 유지메시지 영속화디스크 기반 ..

Marquez

개요Marquez는 데이터 파이프라인 전반의 메타데이터를 수집하고, 데이터 계보(Data Lineage)를 시각화 및 추적할 수 있도록 지원하는 오픈소스 플랫폼입니다. 주로 Apache Airflow, dbt, Spark 등과 통합되어 사용되며, 데이터의 생산부터 소비까지 전체 흐름을 추적하여 품질 관리, 데이터 거버넌스, 문제 진단을 가능하게 합니다.1. 개념 및 정의 항목 내용 비고 정의데이터 파이프라인 내 작업(Job)과 데이터셋 간 관계를 추적하는 메타데이터 서비스LF AI & Data 프로젝트목적데이터 흐름 시각화 및 영향도 분석, 거버넌스 대응ETL/ELT 관리 효율화적용 분야데이터 엔지니어링, 데이터 거버넌스, 감사(Audit)데이터 플랫폼 전반2. 특징항목설명비고OpenLineage 기..

Dapr(Distributed Application Runtime)

개요Dapr(Distributed Application Runtime)은 분산 애플리케이션을 구축할 때 필요한 공통 기능(서비스 간 호출, 상태 저장, 이벤트 처리, 인증, 비밀 관리 등)을 추상화하여 제공하는 오픈소스 런타임입니다. 개발자는 플랫폼과 언어에 상관없이 마이크로서비스를 쉽고 일관되게 개발할 수 있으며, 클라우드 네이티브 환경에서 운영 효율성과 확장성을 확보할 수 있습니다.1. 개념 및 정의 항목 내용 비고 정의분산 시스템의 공통 기능을 제공하는 추상화된 런타임CNCF Incubating 프로젝트핵심 목적애플리케이션 코드에서 인프라 복잡도 제거Polyglot 개발 환경 지원배포 대상컨테이너 기반 마이크로서비스, 서버리스 등쿠버네티스 또는 로컬 모드2. 특징항목설명비고API 기반 접근HTT..

Envoy Proxy

개요Envoy Proxy는 Lyft에서 개발되고 CNCF(Cloud Native Computing Foundation)에 의해 관리되는 고성능 오픈소스 L7 프록시입니다. 서비스 메시, API Gateway, 로드 밸런서, 보안 게이트웨이 등 다양한 형태로 사용되며, gRPC, HTTP/2, TLS, mTLS 등의 최신 기술을 기본적으로 지원합니다. Istio, AWS App Mesh, Consul Connect 등 주요 서비스 메시 구현체의 핵심 구성 요소로 채택되고 있습니다.1. 개념 및 정의 항목 내용 비고 정의서비스 간 통신을 중계하고 제어하는 고성능 L7 프록시CNCF Graduation 프로젝트설계 목적마이크로서비스 간 신뢰성 있는 트래픽 중계, 로깅, 보안 처리클라우드 네이티브에 최적화주..