728x90
반응형

로그 분석 2

Event Correlation Graph (ECG)

개요Event Correlation Graph (ECG)는 시스템 및 네트워크에서 발생하는 다양한 이벤트 간의 인과관계와 연관성을 시각적으로 표현하여, 복잡한 문제의 원인 파악과 이상 탐지를 가능하게 해주는 분석 도구입니다. ECG는 보안 관제, 장애 분석, 로그 분석 등의 영역에서 주요하게 활용되며, 대규모 시스템 운영에 있어 핵심적인 인사이트를 제공합니다.1. 개념 및 정의 항목 설명 비고 정의이벤트 간 연관성을 그래프로 시각화한 분석 기법노드-엣지 모델 기반목적이벤트 발생 원인 추적 및 패턴 분석원인-결과 구조 이해 용이필요성로그 폭증 환경에서 자동화된 인과관계 분석수작업 분석의 한계 극복이벤트 간의 시간적/논리적 관계를 규명함으로써 보다 빠르고 정확한 원인 분석이 가능해집니다.2. 특징특징설명..

Topic 2025.05.29

HyperLogLog

개요HyperLogLog는 대규모 데이터 집합에서 고유한 원소의 수(카디널리티)를 매우 적은 메모리로 정확하게 추정할 수 있는 확률 기반 알고리즘이다. 빅데이터 환경에서 중복 없이 데이터 개수를 세는 데 효과적이며, Google, Redis, Apache Druid 등 다양한 플랫폼에서 실전 활용되고 있다.1. 개념 및 정의HyperLogLog는 LogLog 알고리즘을 개선한 확률적 데이터 구조로, 해시 함수를 기반으로 입력 원소를 비트 스트림으로 변환하고, 그 중 가장 앞에 나오는 0의 개수를 통해 카디널리티를 추정한다.목적: 메모리 사용 최소화로 정확한 고유 원소 수 추정필요성: 수십억 개 원소의 중복 제거 없이 집계가 필요한 경우2. 특징 특징 설명 비교 대상 고정 메모리 사용수십 KB로 수십억..

Topic 2025.05.10
728x90
반응형