루트킷(Rootkit)

개요

루트킷(Rootkit)은 운영체제의 핵심 부분에 침투하여 사용자와 보안 소프트웨어의 감시를 회피하고, 악의적인 활동을 은폐하는 고급 위협 기술입니다. 루트킷은 커널 수준에서 시스템을 조작하며, 백도어, 정보 탈취, 권한 상승 등 다양한 공격의 기반이 되기 때문에 탐지와 제거가 매우 어렵습니다. 이 글에서는 루트킷의 개념, 유형, 동작 방식, 탐지 및 대응 전략을 종합적으로 다룹니다.

---

1. 루트킷의 정의 및 목적

루트킷은 ‘root(최고 권한)’ + ‘kit(도구)’의 합성어로, 공격자가 시스템 관리자 권한을 획득한 후 자신의 존재와 악성 행위를 은폐하기 위해 사용하는 도구 모음입니다. 루트킷은 커널 API 후킹, 파일 및 프로세스 숨김, 네트워크 트래픽 조작 등 다양한 기법을 통해 보안 시스템과 사용자의 탐지를 회피합니다.

---

2. 루트킷 유형 분류

유형	설명	주요 특징
사용자 수준(User-mode)	애플리케이션 계층에서 실행	DLL 인젝션, 프로세스 은폐 등
커널 수준(Kernel-mode)	OS 커널에 직접 침투	시스템 호출 후킹, 드라이버 은폐
펌웨어 루트킷(Firmware)	BIOS, UEFI 등 펌웨어 영역에 존재	전원 꺼도 유지, 매우 은폐됨
부트킷(Bootkit)	부팅 로더에 설치	부팅 시점부터 감염, OS 로드 전 실행
하이퍼바이저 루트킷(VMM)	가상화 계층에서 실행	게스트 OS 통제 가능, 탐지 난이도 최고

커널 수준 이상 루트킷은 기존 백신·EDR로는 탐지 어려움.

---

3. 루트킷의 주요 동작 방식

기능	설명	예시
API 후킹	시스템 함수 호출 가로채기	NtQueryDirectoryFile 후킹하여 파일 숨김
프로세스 은폐	실행 중인 악성 프로세스 감추기	Task Manager 미표시
네트워크 조작	패킷 드랍 또는 리디렉션	악성 C2 통신 은폐
로그 조작	보안 이벤트 삭제	관리자 권한 획득 로그 제거
드라이버 은폐	커널 드라이버 목록에서 제외	보안 솔루션 우회

이러한 기술은 보안 솔루션 탐지 우회 + 장기 침입 유지를 목적으로 함.

---

4. 탐지 및 대응 기법

탐지 방식	설명	대표 도구
메모리 분석	정상 OS 구조와의 차이 분석	Volatility, Rekall
커널 객체 비교	API 테이블, SSDT 비교	GMER, RootkitRevealer
무결성 검사	바이너리 해시값 비교	Tripwire, OSSEC
행위 기반 탐지	이상 행위 모니터링	Sysmon + SIEM 연계

탐지 시, 격리된 환경에서 포렌식 후 재설치 대응이 원칙.

---

5. 실무 적용 사례 및 고려사항

적용 분야	설명	주의사항
APT 공격 탐지	루트킷 기반 장기 은폐 공격 식별	정기적인 메모리 포렌식 필수
클라우드 VM 보안	VM 내부의 하이퍼바이저 루트킷 감시	호스트 보안 로그와 상호 분석 필요
정부기관/금융사 보안 점검	커널 객체 무결성 검증 중심	전용 툴과 수동 분석 병행 필요

은폐성 높기 때문에, 정적 분석 + 동적 모니터링 + 무결성 검증 병행 권장.

---

6. 결론

루트킷은 고도화된 침입 및 은폐 공격의 핵심 기술입니다. 시스템 커널이나 하드웨어에 깊이 침투하기 때문에 일반적인 보안 솔루션으로는 탐지와 제거가 어렵습니다. 따라서 조직은 메모리 포렌식, 무결성 점검, 행위 기반 탐지를 병행하며 주기적으로 루트킷 존재 가능성을 확인해야 합니다. 보안의 사각지대를 없애는 가장 중요한 수단 중 하나입니다.