ITPE * JackerLab

개요Materialize는 기존 배치 중심 데이터 웨어하우스의 한계를 극복하고, SQL을 사용하여 실시간 스트리밍 데이터를 처리할 수 있도록 설계된 현대적 스트리밍 분석 플랫폼이다. PostgreSQL과 호환되는 인터페이스를 제공하며, 복잡한 실시간 쿼리를 선언적 SQL로 작성하고 지속적으로 최신 결과를 유지하는 것이 가능하다.1. 개념 및 정의 항목 내용 정의Kafka, CDC 등 스트리밍 소스로부터 데이터를 수신하고, SQL로 지속적인 쿼리 실행 결과를 제공하는 시스템목적낮은 지연 시간의 스트리밍 분석을 SQL로 간편하게 구현기술 기반differential dataflow, Timely Dataflow 기반 incremental view maintenanceMaterialize는 스트리밍을 SQL ..

개요dbt(Data Build Tool)는 분석 엔지니어가 SQL을 이용해 데이터 웨어하우스 상에서 데이터 모델을 정의하고 변환하며 문서화 및 테스트까지 수행할 수 있도록 돕는 오픈소스 프레임워크입니다. dbt는 ELT 구조 중 ‘T(Transform)’ 단계에 최적화된 도구로, 데이터 분석의 생산성과 일관성을 높여주는 핵심 컴포넌트로 각광받고 있습니다.1. 개념 및 정의dbt는 SQL 기반의 선언적 방식으로 모델링, 문서화, 테스트, 배포 자동화를 지원하는 데이터 트랜스포메이션 도구입니다. 전통적인 ETL 방식과 달리, 원시 데이터는 데이터 웨어하우스로 적재되고(db/EL), dbt는 그 위에서 변환 작업을 수행합니다.사용자는 SQL과 Jinja 템플릿을 활용하여 데이터 모델을 생성하고, 이를 DAG(..