ITPE * JackerLab

Pravega

개요Pravega는 Dell Technologies(EMC)와 오픈소스 커뮤니티가 공동 개발한 스트리밍 데이터 저장소 및 처리 플랫폼이다. Apache Kafka와 유사하지만, 장기 저장(Persistent Storage)과 스트림 재생 기능을 통합하여 데이터 스트리밍과 스토리지의 경계를 허무는 차세대 스트림 플랫폼으로 주목받고 있다.1. 개념 및 정의 항목 내용 비교 개념실시간 스트림 데이터를 저장, 처리, 재생할 수 있는 통합 플랫폼Kafka + Object Storage 통합 구조목적데이터 파이프라인의 단순화 및 통합메시징 + 스토리지 일원화필요성장기 보관이 필요한 스트리밍 워크로드 증가IoT, 금융 거래, AI 학습 데이터2. 특징특징설명비교Durable Stream Storage데이터를 장기..

개요Kafka Connect는 Apache Kafka의 데이터 통합 프레임워크로, 외부 시스템과 Kafka 간의 데이터 이동을 자동화한다. 코드 작성 없이 표준화된 커넥터를 이용해 데이터베이스, 메시징 큐, 파일 시스템, 클라우드 서비스 등과 Kafka를 연동할 수 있다. 대규모 데이터 스트리밍 파이프라인을 구축하기 위한 핵심 구성 요소로, 실시간 데이터 통합(ETL)을 간소화한다.1. 개념 및 정의 항목 내용 비교 개념Kafka와 외부 시스템 간 데이터 연동을 수행하는 표준 프레임워크Flume, NiFi 대비 단순하고 확장성 높음목적데이터 수집 및 전송 자동화대규모 스트리밍 파이프라인 구성필요성다양한 소스/싱크 시스템 간 통합 자동화실시간 분석 및 로그 처리 환경 필수2. 특징특징설명비교표준화된 커..

개요Kafka Streams는 Apache Kafka에서 제공하는 스트림 프로세싱 라이브러리로, 실시간 데이터 파이프라인 및 이벤트 기반 애플리케이션을 개발하기 위해 설계되었다. 분산 스트림 프로세싱 프레임워크를 직접 구축할 필요 없이, 단일 애플리케이션 수준에서 고성능의 데이터 변환, 집계, 윈도우 연산 등을 수행할 수 있다.1. 개념 및 정의 항목 내용 비교 개념Kafka 토픽에서 데이터를 읽고, 실시간으로 처리 후 다시 토픽으로 내보내는 라이브러리Apache Flink, Spark Streaming 대비 경량목적실시간 데이터 변환 및 이벤트 처리마이크로서비스 통합 용이필요성대규모 스트리밍 데이터의 저지연 처리로그, IoT, 금융 트랜잭션 등2. 특징특징설명비교경량 구조Kafka 클라이언트 라이브..