GAT (Graph Attention Network)

개요

GAT(Graph Attention Network)는 그래프 신경망(GNN)에서 각 노드가 이웃 노드로부터 정보를 수집할 때, 이웃마다 다른 중요도를 부여할 수 있도록 self-attention 메커니즘을 적용한 모델이다. 기존의 GCN이 평균 또는 정규화 방식으로 이웃 정보를 집계하는 것과 달리, GAT는 학습 가능한 attention 가중치를 통해 더 중요한 이웃의 정보를 더 많이 반영한다.

---

1. 개념 및 정의

항목	설명
정의	Self-attention을 그래프 구조에 적용하여 노드 간 정보를 가중 집계하는 GNN 아키텍처
목적	이웃 노드의 상대적 중요도를 반영한 임베딩 생성
필요성	정규화 기반 GCN이 이웃 간 차이를 반영하지 못하는 한계 극복

GAT는 노드 간 관계의 동적 중요도를 반영함으로써 표현력과 유연성을 개선한다.

---

2. 특징

특징	설명	비교
Attention 기반 집계	이웃 노드마다 attention score 부여	GCN은 단순 평균 or 정규화
가중치 공유	모든 노드에 동일한 weight matrix 사용	학습 파라미터 수 절감
병렬 계산 가능	이웃 간 독립적 연산	효율적 연산 구조 유지

GAT는 노드마다 중요도를 학습해 정보 전달의 차별화를 가능케 한다.

---

3. 구성 요소

구성 요소	설명	기술
Linear Projection	노드 특징에 선형 변환 적용	공통 weight matrix 사용
Attention Coefficient	노드 간 유사도 기반 중요도 계산	LeakyReLU + Softmax 적용
Weighted Aggregation	attention 가중치를 곱한 후 집계	합산 또는 평균 방식 활용

이 구조는 전통적인 GNN보다 세밀한 정보 통제가 가능하다.

---

4. 기술 요소

기술 요소	설명	활용
Multi-head Attention	여러 attention을 병렬로 수행	표현력 향상 및 안정성 제공
Self-loop 포함	자기 노드 정보도 attention 대상 포함	정보 손실 방지
Sparse Attention	희소 그래프에 최적화	계산량 절감, 효율성 확보

Transformer 기반 attention 기법을 그래프에 맞게 변형한 형태다.

---

5. 장점 및 이점

장점	설명	기대 효과
유연한 정보 선택	이웃 노드별로 다른 가중치 부여	노이즈 노드 영향 최소화
표현력 증가	노드 간 관계를 동적으로 표현	그래프 구조 적응성 향상
범용성	비정규 구조, 가중치 없는 그래프도 처리 가능	다양한 도메인에 적용 가능

GAT는 특히 이질적인 관계망 구조에서 성능이 뛰어나다.

---

6. 주요 활용 사례 및 고려사항

분야	활용 예시	고려사항
소셜 네트워크 분석	영향력 분석, 커뮤니티 탐지	연결 밀도와 노드 다양성 고려
화학 분자 구조	원자 간 결합 관계 학습	다중 헤드 수와 layer 깊이 조정 필요
지식 그래프	개체 간 중요도 기반 임베딩	sparse 노드 간 연결 유지 중요

과도한 attention head 사용은 학습 불안정성을 초래할 수 있다.

---

7. 결론

GAT는 그래프 기반 데이터에서 노드 간 정보의 상대적 중요도를 반영할 수 있도록 self-attention 메커니즘을 도입한 강력한 GNN 구조다. 다양한 구조의 그래프에서도 유연하게 작동하며, 소셜, 화학, 지식 그래프 등에서 효과적인 결과를 보이고 있다. 향후 sparse attention 최적화 및 하이브리드 GNN 모델과의 결합이 더욱 기대된다.