ITPE * JackerLab

LZ4

개요LZ4는 매우 빠른 압축 및 복원 속도를 제공하는 무손실 데이터 압축 알고리즘으로, LZ77 계열 알고리즘 중 하나입니다. 낮은 압축률 대신 초고속 성능을 제공하며, 로그 수집, 데이터베이스, 게임 엔진, 스트리밍 등 성능 중심의 환경에서 널리 사용됩니다. 프랑스의 Yann Collet이 개발하였으며, 오픈소스로 배포되고 있습니다.1. 개념 및 정의 항목 설명 정의빠른 속도를 중시하는 경량 무손실 압축 알고리즘목적데이터의 빠른 전송과 실시간 처리를 위한 고속 압축필요성느린 압축 알고리즘으로 인한 병목 제거압축과 복원 모두 매우 빠르며, 특히 압축 해제 속도는 업계 최고 수준2. 특징특징설명비교초고속 속도복원 속도 1GB/s 이상 가능zlib보다 최대 10배 빠름낮은 압축률속도 중심이므로 압축 효율은..

Apache ORC(Optimized Row Columnar)

개요Apache ORC는 하둡(Hadoop) 기반의 대규모 데이터 처리에 최적화된 컬럼 지향(Columar) 저장 포맷으로, 빠른 압축률과 고속 읽기 성능을 제공하는 것이 특징입니다. Hive, Spark, Trino 등의 빅데이터 처리 엔진에서 널리 활용되며, 데이터 분석 효율성과 저장 공간 최적화에 중점을 둡니다.1. 개념 및 정의 항목 설명 정의컬럼 단위로 데이터를 저장하고 압축하는 고성능 파일 포맷목적대규모 데이터 분석의 성능 최적화필요성텍스트 기반 포맷(CSV, JSON)의 비효율 해소 및 컬럼 기반 처리 개선ORC는 대용량의 정형 데이터를 대상으로 한 효율적인 저장과 처리에 적합2. 특징특징설명비교컬럼 지향 포맷컬럼 단위로 데이터 저장Row 기반보다 빠른 질의 성능고압축률Zlib, Snapp..

FlatBuffers

개요FlatBuffers는 Google이 개발한 고성능 직렬화 라이브러리로, 직렬화된 데이터를 역직렬화 없이 직접 액세스할 수 있는 구조를 제공합니다. 특히 게임, 모바일, IoT 환경과 같이 메모리 사용이 제한되고 성능이 중요한 환경에서 유용하며, 메시지 파싱 없이 즉시 데이터 조회가 가능하다는 점에서 Protocol Buffers와 차별화됩니다.1. 개념 및 정의 항목 설명 정의직렬화된 데이터를 바로 읽을 수 있는 포맷을 제공하는 직렬화 라이브러리목적빠른 읽기 속도, 낮은 메모리 사용, 역직렬화 제거필요성실시간 처리 환경에서의 파싱 비용 최소화데이터를 일회성 구조가 아닌 공유 가능한 형태로 직렬화하여 활용2. 특징특징설명비교Zero-Copy역직렬화 없이 바로 읽기 가능Protobuf은 역직렬화 필요..

Protobuf(Protocol Buffers)

개요Protocol Buffers(Protobuf)는 Google에서 개발한 언어 중립적, 플랫폼 중립적, 확장 가능한 구조화 데이터 직렬화 메커니즘입니다. 작은 크기, 빠른 처리 속도, 명확한 데이터 구조 정의를 통해 마이크로서비스, RPC, 메시지 큐, 저장소 등 다양한 분야에서 널리 사용됩니다.1. 개념 및 정의 항목 설명 정의구조화된 데이터를 직렬화하기 위한 바이너리 포맷과 인터페이스 정의 언어(IDL)목적언어 간 데이터 교환 최적화 및 네트워크 전송 최소화필요성JSON, XML 대비 크기 및 처리 성능 개선 필요IDL을 통해 .proto 파일에 데이터 구조를 정의하고, 코드 생성기로 각 언어의 클래스를 자동 생성함2. 특징특징설명비교경량 바이너리 포맷JSON보다 크기가 작고 빠름XML보다 10..

Apache Avro

개요Apache Avro는 Apache Hadoop 생태계에서 널리 사용되는 데이터 직렬화 프레임워크로, 구조화된 데이터를 효율적으로 저장하고 교환하기 위한 이식성과 성능 중심의 포맷입니다. JSON 기반의 명시적 스키마(schema)와 바이너리 직렬화를 결합하여 빠른 처리, 작은 크기, 언어 간 호환성을 제공합니다.1. 개념 및 정의항목설명정의JSON 기반 스키마를 사용하는 데이터 직렬화 시스템목적데이터 저장, 전송, RPC를 위한 효율적 포맷 제공필요성스키마 명시와 변경 가능성이 높은 환경에서의 데이터 정합성 유지Avro는 스키마와 데이터를 함께 저장하여, 데이터 자체만으로도 의미 해석이 가능함2. 특징특징설명비교스키마 명시데이터 구조를 명확히 기술Protobuf, Thrift 등과 유사스키마 진화 ..