ITPE * JackerLab

Apache Iceberg Merge-On-Read (MoR)

개요Apache Iceberg의 Merge-On-Read(MoR) 모드는 데이터 레이크 환경에서 업데이트 및 삭제와 같은 변경 작업을 수행할 때, 기존 데이터 파일을 직접 수정하지 않고 별도 위치에 기록한 후, 쿼리 시점에 해당 변경 사항을 병합하여 읽는 전략입니다. 이를 통해 실시간 처리가 필요한 대용량 데이터 분석에서 고성능 쓰기와 최신 상태 조회를 동시에 달성할 수 있습니다.1. 개념 및 정의 항목 설명 정의Iceberg 테이블에서 업데이트/삭제를 별도 파일로 저장하고, 쿼리 시점에 기존 파일과 병합하여 읽는 쓰기 모드주요 목적데이터 수정을 즉시 반영하면서도, 원본 파일의 재작성 비용 최소화활용 환경데이터 웨어하우스, 스트리밍 ETL, 실시간 리포팅 등MoR은 Copy-On-Write(COW)보다..

SLO-Driven Auto-Scaler

개요SLO-Driven Auto-Scaler는 CPU, 메모리와 같은 리소스 지표가 아닌 SLO(Service Level Objective)에 기반하여 애플리케이션의 자동 스케일링 결정을 내리는 진화된 오토스케일링 방식입니다. 이는 사용자의 체감 품질(QoE)에 직접적인 영향을 주는 지표(예: 응답 시간, 에러율)를 기준으로 동작하며, SRE(Site Reliability Engineering)와 클라우드 네이티브 환경에서의 효율적인 운영을 가능하게 합니다.1. 개념 및 정의 항목 설명 정의SLO 기반 메트릭(예: 응답 시간 99%)을 기준으로 서비스의 Auto Scaling을 트리거하는 기법목적사용자 경험 최적화 및 리소스 과소/과잉 사용 방지연계 기술Prometheus, KEDA, Kubernet..

ZVOL (ZFS Volume)

개요ZVOL(ZFS Volume)은 ZFS 파일 시스템에서 생성되는 가상 블록 디바이스로, ZFS 풀(zpool) 위에 직접 블록 기반 스토리지를 제공하는 기능입니다. 일반 파일 시스템이 아닌, iSCSI, NFS, VM 디스크, 컨테이너 스토리지 등에서 사용할 수 있는 고성능 가상 디스크로 활용됩니다. ZFS의 Copy-on-Write(COW), 스냅샷, 압축, 복제 등 모든 기능을 블록 수준에서 사용할 수 있다는 점이 특징입니다.1. 개념 및 정의 항목 설명 정의ZFS 풀 상단에서 생성되는 블록 디바이스로, /dev/zvol 경로로 마운트 가능구성 형태ZFS 파일시스템과 달리 직접 파일 저장이 아닌 블록 접근 제공활용 대상VM 디스크, iSCSI 타겟, Docker Volume 등ZVOL은 일반 파..

ZFS Copy-on-Write (CoW)

개요ZFS는 고급 파일 시스템으로, Copy-on-Write(CoW) 메커니즘을 통해 데이터 무결성, 스냅샷, 복제 성능에서 탁월한 장점을 제공합니다. CoW는 기존 데이터를 덮어쓰지 않고 새로운 위치에 복사 후 변경하는 방식으로, 데이터 손상 방지 및 고속 백업·복구 기능의 기반이 됩니다. 본 글에서는 ZFS CoW의 개념, 구조, 장점과 실제 활용 방법을 심층적으로 설명합니다.1. 개념 및 정의 항목 설명 정의데이터를 수정할 때 기존 블록을 그대로 두고, 새로운 블록에 데이터를 기록한 뒤 메타데이터를 갱신하는 방식목적데이터 일관성 확보 및 무결성 유지적용 시스템ZFS, Btrfs, APFS 등에서 활용됨ZFS는 모든 쓰기 작업을 트랜잭션 단위로 처리하며, 항상 새 블록에 데이터를 기록합니다.2. 작..

VFIO-PCI Passthrough

개요VFIO-PCI Passthrough는 가상 머신(Guest OS)에 호스트의 물리적인 PCI 장치를 직접 할당하여, 거의 네이티브 수준의 성능으로 접근할 수 있도록 하는 가상화 기술입니다. KVM(QEMU) 환경에서 주로 사용되며, GPU, NIC, NVMe 등의 장치에 대한 직접적인 DMA 접근을 가능하게 해 고성능 컴퓨팅 환경에서 필수적인 요소로 자리 잡고 있습니다.1. 개념 및 정의 항목 설명 정의VFIO(Virtual Function I/O)를 이용하여 PCI 장치를 게스트 VM에 직접 할당하는 가상화 기법주요 목적낮은 레이턴시, 높은 대역폭을 요구하는 워크로드에 적합구성 환경KVM, QEMU, libvirt, IOMMU (VT-d/AMD-Vi) 필수VFIO는 사용자 공간에서 장치 접근을 ..

IOMMU (Input-Output Memory Management Unit)

개요IOMMU(Input-Output Memory Management Unit)는 CPU와 메모리 사이에 존재하는 메모리 관리 장치처럼, I/O 디바이스가 메모리 접근을 할 때 주소를 변환하고 접근 권한을 제어하는 하드웨어 컴포넌트입니다. 특히 DMA(Direct Memory Access)를 사용하는 장치와의 안전한 데이터 통신, 그리고 가상화 환경에서 보안성과 효율성을 동시에 제공하는 핵심 기술로 활용됩니다.1. 개념 및 정의 항목 설명 정의I/O 장치가 메인 메모리에 직접 접근할 수 있도록 주소 변환 및 접근 제어를 수행하는 하드웨어 유닛주요 기능주소 변환, 접근 권한 검증, DMA 보호유사 구성MMU(Memory Management Unit)의 I/O 버전IOMMU는 주로 서버, 가상 머신, 고속..

RIFT (Routing In Fat-Trees)

개요RIFT(Routing In Fat-Trees)는 대규모 데이터센터 환경에서 Fat-Tree 아키텍처에 최적화된 라우팅 프로토콜로, IETF에서 정의된 차세대 분산 라우팅 기술입니다. 데이터센터의 대규모 확장성과 자동화를 고려하여 설계되었으며, 경량성, 계층적 정보 전파, 북-남/동-서 트래픽 최적화를 통해 OSPF, BGP 등 기존 라우팅 프로토콜의 한계를 극복합니다.1. 개념 및 정의 항목 설명정의Fat-Tree 기반의 Clos 네트워크에서 효율적인 라우팅과 최적 경로 학습을 위한 계층형 분산 라우팅 프로토콜주요 구조Leaf-Spine 구조 기반, Northbound/Southbound 방향성 인지표준화 기관IETF - RFC 9135 (2021년 기준)RIFT는 토폴로지 인지 범위를 계층화하여 ..

Git-Ops Runbook

개요Git-Ops Runbook은 Git 저장소를 단일 신뢰소스로 활용하여 시스템 운영, 배포, 복구 과정을 자동화하고 문서화한 실행 지침서입니다. 특히 Kubernetes와 같은 클라우드 네이티브 환경에서 선언적 인프라 구성과 자동화된 운영을 정형화하기 위한 핵심 도구로 사용됩니다. 본 글에서는 Git-Ops Runbook의 개념, 구성 요소, 구축 방법 및 사례 중심으로 실무 적용 방안을 소개합니다.1. 개념 및 정의 항목 설명 정의Git에 저장된 선언형 구성과 운영 절차를 기반으로, 자동화 및 감사가 가능한 시스템 운영 지침서목적운영 자동화, 인프라 복원력 향상, 변경 추적 및 감사 대응기반 원칙Git-Ops, Infrastructure as Code(IaC), Immutable Infrastru..

C4 Model for Architecture Docs

개요C4 Model은 소프트웨어 아키텍처를 시각적으로 명확하고 계층적으로 문서화하기 위해 Simon Brown이 제안한 4단계 모델입니다. 'Context, Container, Component, Code'의 4단계 시점을 기준으로 복잡한 시스템을 이해하기 쉽도록 표현하며, 개발자뿐 아니라 비기술 이해관계자도 아키텍처를 쉽게 이해할 수 있도록 도와줍니다.1. 개념 및 정의 항목 설명 정의시스템의 구조를 네 가지 수준(Context → Container → Component → Code)으로 시각화하여 문서화하는 아키텍처 모델목적일관된 방식으로 시스템 구조를 설명하고 커뮤니케이션 장벽을 해소적용 대상마이크로서비스, 레거시 시스템, 클라우드 아키텍처 등C4는 UML보다 단순하고, 자유도 있는 도식 방식으로..

Event-Carried State Transfer (ECST)

개요Event-Carried State Transfer(ECST)는 이벤트 소싱(Event Sourcing)과 비동기 메시징 기반 시스템에서 데이터를 일관되고 신속하게 전달하기 위한 설계 방식입니다. 이벤트 메시지 자체에 상태(State) 정보를 포함시켜, 소비자(Consumer)가 별도 조회 없이 필요한 정보를 즉시 활용할 수 있게 하며, CQRS(Command Query Responsibility Segregation) 및 마이크로서비스 아키텍처에서 자주 사용됩니다.1. 개념 및 정의 항목 설명 정의이벤트 메시지에 상태 정보 전체 또는 핵심 속성을 포함하여 상태를 동기화하는 이벤트 설계 방식목적소비자가 이벤트만으로 필요한 상태를 식별할 수 있도록 함적용 구조Event-driven architectu..

DSDM Atern

개요DSDM Atern은 Dynamic Systems Development Method의 진화된 형태로, 비즈니스 중심의 민첩한 프로젝트 수행을 위해 개발된 애자일 프레임워크입니다. 시간, 품질, 비용을 고정하고 기능 범위를 유연하게 관리함으로써 실현 가능한 해결책을 빠르게 제공하는 것을 목표로 하며, AgilePM 인증과 함께 공공·금융·대기업 프로젝트에서 널리 활용됩니다.1. 개념 및 정의 항목 설명 정의시간 박스(Timebox)와 고정된 제약 조건 내에서 비즈니스 가치 중심으로 프로젝트를 관리하는 Agile 프레임워크특징고정된 시간/비용/품질, 유동적인 범위(Scope), 80:20 법칙 적용핵심 목표적시에 적정한 품질의 비즈니스 가치를 제공하는 것DSDM은 전통적 프로젝트 제어 방식과 Agile..

Bow-Tie Analysis

개요Bow-Tie Analysis는 조직의 주요 리스크에 대한 원인(Threat)과 결과(Consequence), 그리고 이를 제어하기 위한 예방 및 완화 조치를 시각적으로 분석하는 기법입니다. 이름처럼 리스크 중심의 좌우 구조를 통해 원인-사건-결과 흐름을 한눈에 파악할 수 있으며, 산업 안전, 정보보안, 금융, 제조 등 다양한 분야에서 활용됩니다.1. 개념 및 정의 항목 설명 정의주요 사건을 중심으로 위협(좌측)과 결과(우측), 제어 수단을 시각적으로 연결해 리스크를 체계적으로 분석하는 방법론핵심 구성Threat, Top Event, Consequence, Barrier목적위험 원인-결과 파악 및 방지책/완화책의 통합 설계Bow-Tie는 Fault Tree(고장수목)와 Event Tree(사건수목)..