728x90
반응형

self-attention 2

Graph Transformer Network (GTN)

개요Graph Transformer Network(GTN)는 트랜스포머(Transformer)의 강력한 표현력과 그래프 구조의 유연함을 결합한 딥러닝 기반의 그래프 표현 학습 모델입니다. GTN은 이질적인(homogeneous/heterogeneous) 그래프 구조를 처리하고, 노드 간의 관계나 경로를 자동으로 학습하며, 기존의 GCN(Graph Convolutional Network)이나 GAT(Graph Attention Network)의 한계를 극복합니다. 본 글에서는 GTN의 동작 원리, 핵심 구성, 장점과 활용 사례를 기반으로 최신 그래프 딥러닝 기술을 자세히 소개합니다.1. 개념 및 정의 항목 설명 정의GTN은 관계 및 경로 중심의 그래프 데이터를 처리하기 위해 트랜스포머 구조를 그래프 형태..

Topic 2025.05.14

Vision Transformer(ViT)

개요Vision Transformer(ViT)는 자연어 처리에서 뛰어난 성능을 보인 트랜스포머(Transformer) 구조를 이미지 처리에 도입한 혁신적인 딥러닝 모델입니다. 기존 CNN 기반 모델들과 달리, 이미지를 패치 단위로 분할하고 이를 토큰으로 처리하여, 시각적 정보를 글로벌 컨텍스트 기반으로 학습합니다.1. 개념 및 정의**ViT(Vision Transformer)**는 이미지를 고정된 크기의 패치로 나눈 후, 각 패치를 임베딩하여 순서가 있는 토큰 시퀀스로 변환한 뒤 트랜스포머 인코더에 입력하는 방식의 이미지 분류 아키텍처입니다.기반 기술: Transformer Encoder (Self-Attention 기반)등장 배경: CNN의 지역적 특성과 한계를 극복, 글로벌 관계 학습주요 논문: Do..

Topic 2025.05.06
728x90
반응형