ITPE * JackerLab

개요Redpanda는 Kafka API와 호환되면서도 더 높은 성능, 낮은 지연 시간, 단순한 운영 환경을 제공하는 현대적인 스트리밍 데이터 플랫폼이다. 디스크 기반 Log 구조와 C++로 구현된 아키텍처, 스레드-로컬 처리 방식으로 대규모 이벤트 데이터를 빠르고 신뢰성 있게 처리한다. 본 글에서는 Redpanda의 아키텍처, 차별점, 사용 사례, 도입 전략 등을 중심으로 Kafka 대안 및 실시간 데이터 기반 시스템의 새로운 선택지를 소개한다.1. 개념 및 정의 항목 설명 정의Redpanda는 Kafka와 API 호환성을 유지하면서, Java가 아닌 C++ 기반으로 설계되어 I/O 성능과 운영 효율을 극대화한 스트리밍 엔진이다.목적고속 스트리밍 처리, Kafka의 복잡한 운영 제거, 안정성 향상필요성..

개요Paxos Consensus는 분산 시스템 환경에서 여러 노드가 하나의 값에 대해 합의를 이루는 과정을 정의하는 알고리즘입니다. 네트워크 지연, 메시지 손실, 노드 장애 등의 비동기 환경에서도 일관성과 신뢰성을 확보하기 위해 설계되었으며, 많은 현대 분산 시스템의 기반이 되는 이론적 표준으로 자리잡고 있습니다.1. 개념 및 정의 항목 설명 비고 정의분산 환경에서 하나의 정합된 값을 합의하기 위한 프로토콜비동기 네트워크 환경 가정목적하나의 정답에 대해 여러 노드가 동일한 결정을 내리도록 보장리더 선출, 상태 동기화 등 활용주요 조건Safety(안전성), Liveness(생존성)FLP 이론의 실용적 해석Paxos는 “무결성을 해치지 않으면서 시스템이 합의에 도달할 수 있는 최소 조건”을 제공함2. 특..

개요Raft는 Paxos보다 이해하기 쉬우면서도 동일한 안전성과 일관성을 제공하는 분산 합의 알고리즘입니다. 핵심 목적은 여러 노드(서버)로 구성된 시스템에서 하나의 일관된 로그(log)를 유지하면서도, 노드 장애나 네트워크 분할 상황에서도 안전하고 가용한 상태를 유지하는 것입니다. 2014년 Diego Ongaro와 John Ousterhout의 논문 "In Search of an Understandable Consensus Algorithm"을 통해 소개되었으며, 현재 etcd, Consul, RethinkDB, CockroachDB 등에서 널리 채택되고 있습니다.1. 개념 및 정의Raft는 총 세 가지 핵심 하위 프로토콜로 구성됩니다:리더 선출(Leader Election)로그 복제(Log Repl..

개요RAFT는 분산 시스템에서 노드 간 일관성(consistency)을 유지하기 위해 사용되는 대표적인 합의 알고리즘입니다. Google에서 제안한 Paxos 알고리즘의 복잡성을 해결하기 위해 2014년 Diego Ongaro와 John Ousterhout가 개발한 RAFT는 이해하기 쉽고 구현이 간단한 특성 덕분에 많은 분산 DB 및 블록체인 플랫폼에서 사용되고 있습니다. 본 글에서는 RAFT의 작동 방식, 특징, 장단점, 블록체인 활용 사례를 중심으로 상세히 설명합니다.1. 개념 및 정의**RAFT (Reliable, Replicated, and Fault-Tolerant)**는 리더 선출, 로그 복제, 일관성 유지의 세 가지 메커니즘으로 구성된 합의 알고리즘입니다.Paxos와 유사한 수준의 안정성을..