ITPE * JackerLab

Reformer (LSH Attention)

개요Reformer는 구글 브레인(Google Brain) 팀이 제안한 트랜스포머 구조의 확장으로, Locality-Sensitive Hashing(LSH)을 활용해 Self-Attention 연산의 복잡도를 O(N²)에서 O(N log N)으로 낮춘 모델이다. 본 포스트에서는 Reformer의 핵심 개념인 LSH Attention의 작동 원리, 구성 요소, 기술적 특징 및 주요 활용 사례를 중심으로 설명한다.1. 개념 및 정의 항목 설명 정의Reformer는 입력 시퀀스를 유사도 기준으로 해시 버킷에 나누고, 각 버킷 내에서만 Self-Attention을 수행하여 연산량을 줄인 Transformer 구조목적긴 시퀀스의 Self-Attention을 보다 효율적으로 처리필요성트랜스포머의 메모리 병목 및 ..

Performer (FAVOR+)

개요Performer는 기존 Transformer의 연산 병목을 해결하기 위해 고안된 선형 복잡도 어텐션 알고리즘이다. 특히 FAVOR+ (Fast Attention Via Positive Orthogonal Random features)는 Self-Attention의 계산량을 O(N²)에서 O(N)으로 줄여 대규모 입력 처리에서 속도와 메모리 사용을 획기적으로 개선한다. 본 글에서는 Performer의 핵심 개념, FAVOR+의 수학적 원리, 기술적 장점과 다양한 활용 사례를 상세히 소개한다.1. 개념 및 정의 항목 설명 정의Performer는 Self-Attention을 근사하는 선형 어텐션 기반 트랜스포머 구조로, FAVOR+ 기법을 핵심으로 사용목적트랜스포머 구조의 연산량을 선형 수준으로 낮춰 ..

P-Tuning v2

개요P-Tuning v2는 파라미터 효율적인 학습(Parameter-Efficient Tuning, PET) 기법 중 하나로, 사전 학습된 대형 언어 모델(LLM)의 파라미터를 고정한 채로 소량의 추가 파라미터만 학습해 특정 태스크에 최적화할 수 있는 기법이다. 특히 수십억 개 파라미터를 가진 LLM에 대해 GPU 메모리 부담을 줄이면서도 고성능을 유지할 수 있어 실제 산업 현장에서 주목받고 있다.1. 개념 및 정의 항목 설명 정의P-Tuning v2는 임베딩 레이어 대신 미세 조정 가능한 연속 벡터(prompt)를 삽입해 LLM의 추론 능력을 강화하는 방법목적대규모 모델의 파인튜닝 시 자원 사용 최소화 및 태스크 적응력 향상필요성전체 파라미터 튜닝 시 GPU 비용 증가 및 overfitting 발생 ..

AWQ(Activation-aware Weight Quantization)

개요AWQ(Activation-aware Weight Quantization)는 대형 언어 모델의 추론 성능을 유지하면서도 4비트 양자화(INT4)를 실현하는 최신 양자화 기술이다. 기존 양자화 방식보다 더 적은 연산 자원으로 더 빠르고 정확한 추론이 가능하며, 특히 클라우드 및 로컬 환경에서의 효율적인 LLM 배포에 주목받고 있다.1. 개념 및 정의 항목 내용 정의AWQ는 'Activation-aware Weight Quantization'의 약자로, 활성값(activation)을 고려하여 가중치를 정밀하게 양자화하는 기술목적고성능 LLM의 정확도를 유지하면서도 저비용, 저전력 환경에 맞게 최적화필요성기존 8bit, 16bit 기반 추론 시스템의 성능/비용 한계를 극복하고, 4bit 정수 연산 기반 ..

GPT-Q(Quantized Generative Pre-trained Transformer)

개요GPT-Q는 대형 언어 모델을 저용량으로 경량화하면서도 정확도 손실 없이 빠르게 추론할 수 있게 해주는 기술로, 특히 AI의 엣지 컴퓨팅 및 저비용 배포에 혁신적인 해법을 제시한다. 본 포스트에서는 GPT-Q의 정의, 동작 방식, 기술적 특징 및 주요 활용 사례를 중심으로 GPT-Q가 왜 중요한지 심층적으로 살펴본다.1. 개념 및 정의 항목 내용 정의GPT-Q는 'Quantized Generative Pre-trained Transformer'의 약자로, 사전 학습된 대규모 언어 모델(GPT)을 양자화(Quantization) 기법으로 압축한 모델을 의미함목적고성능 AI 모델을 저비용 환경에서도 빠르게 운영할 수 있도록 최적화필요성LLM의 연산 자원 소모와 배포 한계를 극복하고, 엣지 디바이스 및 ..

OCI(Open Container Initiative) Distribution Spec

개요OCI(Open Container Initiative) Distribution Spec는 컨테이너 이미지와 그 아티팩트를 다양한 레지스트리에서 안전하고 일관되게 저장, 조회, 전송할 수 있도록 정의한 오픈 표준입니다. Docker에서 파생된 생태계를 표준화하고, 도구와 플랫폼 간 호환성을 확보함으로써 클라우드 네이티브 환경에서의 유연한 이미지 배포와 아티팩트 관리를 가능하게 합니다.1. 개념 및 정의 항목 설명 정의컨테이너 이미지 및 아티팩트 전송을 위한 HTTP 기반 API 인터페이스 정의 표준 (OCI Registry API)목적Docker Registry API의 표준화, 도구 간 상호운용성 확보소속Linux Foundation 산하 Open Container Initiative 주도Distr..

NVMe Zoned Namespace (ZNS)

개요NVMe Zoned Namespace(ZNS)는 SSD 저장 장치를 ‘존(Zone)’ 단위로 나누어 쓰기(Write)를 순차적으로 수행하도록 강제함으로써, 성능 저하의 원인인 내부 쓰기 증폭(Write Amplification)을 줄이고 SSD의 수명과 처리 효율을 높이는 차세대 저장 장치 인터페이스입니다. 특히 대규모 로그 저장, 분석, 객체 저장소 등의 워크로드에서 IOPS와 비용 효율을 동시에 개선할 수 있는 혁신적인 기술로 주목받고 있습니다.1. 개념 및 정의 항목 설명 정의NVMe SSD에서 물리적 플래시 블록을 Zone으로 분할하고, 각 Zone에 대해 순차 쓰기만 허용하는 저장 방식목적쓰기 증폭 최소화, GC 비용 절감, 성능 예측성 향상표준화 기관NVM Express Consortiu..

DPDK (Data Plane Development Kit)

개요DPDK(Data Plane Development Kit)는 고성능 네트워크 애플리케이션을 위한 오픈소스 프레임워크로, CPU 기반 시스템에서 커널을 우회하여 유저 공간에서 직접 네트워크 패킷을 처리할 수 있도록 설계되었습니다. 네트워크 기능 가상화(NFV), 소프트웨어 라우터, DPI, IDS/IPS, 트래픽 분석기 등의 영역에서 초고속 패킷 처리 성능이 요구될 때 활용됩니다.1. 개념 및 정의 항목 설명 정의고속 패킷 처리를 위한 유저 스페이스 네트워크 프레임워크로, 커널 네트워크 스택을 우회하여 성능을 극대화구성 언어C, 일부 어셈블리 (고속 최적화 목적)라이선스BSD 오픈소스 라이선스DPDK는 주로 x86, ARM, POWER 아키텍처를 지원하며, 다양한 NIC 및 하드웨어 가속기와 통합됩니..

Deception-as-a-Service (DaaS)

개요Deception-as-a-Service(DaaS)는 사이버 공격자를 탐지하고 혼란시키기 위해 의도적으로 배치된 가짜 자산(디셉션 자산)을 클라우드 기반 서비스로 제공하는 보안 전략입니다. 허니팟, 허니토큰, 디코이(Decoy) 서버 등의 기술을 SaaS 형태로 통합하여, 기업이 별도 인프라 없이도 공격 탐지 및 행위 분석을 수행할 수 있도록 지원합니다.1. 개념 및 정의 항목 설명 정의공격자를 속이고 추적하기 위한 디셉션 기술을 API/콘솔 기반으로 제공하는 클라우드 보안 서비스핵심 목적탐지 우회 공격 대응, 침투 초기 탐지, 위협 인텔리전스 확보연계 기술허니팟, 허니토큰, EDR, SIEM, XDR, SOARDaaS는 수동적인 모니터링을 넘어서 공격자 중심 탐지(Attacker-Centric D..

Context-Driven Testing (CDT)

개요Context-Driven Testing(CDT)은 소프트웨어 테스트를 고정된 표준 방식이 아닌, 주어진 상황(Context)에 맞춰 유연하게 수행해야 한다는 철학을 기반으로 한 테스트 접근법입니다. 테스트 설계, 실행, 결과 해석까지 모든 과정을 ‘문맥’에 따라 판단하며, Agile, DevOps, Exploratory Testing 환경과 궁합이 뛰어납니다.1. 개념 및 정의 항목 설명 정의소프트웨어 테스트는 고정된 프로세스가 아닌, 테스트 대상, 팀, 도메인, 목표에 따라 최적화되어야 한다는 실용적 테스트 원칙중심 철학“상황이 모든 것을 결정한다”(Context is everything)주창자Cem Kaner, James Bach, Bret Pettichord (2001)CDT는 ISO, IS..