Donut(Document Understanding Transformer)
개요
Donut(Document Understanding Transformer)는 NAVER Clova AI에서 제안한 End-to-End 문서 이해 모델로, 기존 OCR 기반 파이프라인을 제거하고 이미지에서 직접 구조화된 텍스트를 생성하는 Transformer 기반 아키텍처이다. 이름 그대로 OCR을 거치지 않고(“Document understanding without OCR”) Vision Encoder와 Transformer Decoder를 통해 문서를 직접 해석한다.
기존 Document AI 스택은 OCR → 후처리 → 정보 추출의 다단계 구조였으나, Donut은 이를 단일 Seq2Seq 모델로 통합하여 파이프라인 복잡도를 크게 줄였다.
1. 개념 및 정의
Donut은 Vision Transformer(ViT) 기반 인코더와 Autoregressive Transformer 디코더를 결합한 구조로, 입력 문서 이미지를 받아 JSON 형태의 구조화 데이터를 직접 생성한다.
이는 OCR 오류 전파(Error Propagation) 문제를 제거하고, 문맥 기반 필드 추출을 가능하게 하는 차세대 Document AI 접근 방식으로 평가된다.
2. 특징
| 구분 | 설명 | 기술적 가치 |
| OCR-Free 구조 | 중간 텍스트 추출 단계 제거 | 오류 전파 감소 |
| End-to-End 학습 | 탐지·인식·추출 통합 | 파이프라인 단순화 |
| JSON 직접 출력 | 구조화 데이터 생성 | 자동화 용이 |
첨언: 복잡한 레이아웃 문서에서 강력한 성능을 보인다.
3. 구성 요소
| 구성 요소 | 역할 | 관련 기술 |
| Vision Encoder | 이미지 특징 추출 | Swin Transformer |
| Transformer Decoder | 시퀀스 기반 데이터 생성 | Autoregressive LM |
| Token Schema | 구조화 필드 정의 | JSON Template |
첨언: 사전 정의된 토큰 스키마 설계가 성능에 중요한 영향을 준다.
4. 기술 요소
| 기술 영역 | 세부 기술 | 설명 |
| Multimodal Learning | 이미지+텍스트 통합 | 문서 이해 강화 |
| Seq2Seq Modeling | 입력→출력 직접 매핑 | 구조화 자동화 |
| Fine-tuning | 도메인 특화 학습 | 산업별 최적화 |
첨언: 데이터 증강 전략이 모델 일반화에 중요하다.
5. 장점 및 이점
| 구분 | 기대 효과 | 실무 영향 |
| 파이프라인 단순화 | OCR 단계 제거 | 유지보수 용이 |
| 정확도 향상 | 문맥 기반 추출 | 오류 감소 |
| 확장성 | 다양한 문서 형식 대응 | 자동화 확대 |
첨언: RPA 및 업무 자동화 시스템과 결합 시 효과가 크다.
6. 주요 활용 사례 및 고려사항
| 활용 분야 | 적용 사례 | 고려사항 |
| 청구서 처리 | 필드 자동 추출 | 도메인 학습 필요 |
| 영수증 인식 | 구조화 데이터 생성 | 이미지 품질 |
| 계약서 분석 | 핵심 정보 파싱 | 대용량 학습 데이터 |
첨언: 사전 정의된 출력 포맷 설계가 프로젝트 성공을 좌우한다.
7. 결론
Donut은 OCR 중심 Document AI 구조를 혁신적으로 단순화한 End-to-End Transformer 모델이다. 이미지에서 직접 구조화된 데이터를 생성함으로써 오류 전파를 줄이고 자동화 수준을 높였다. 향후 대형 멀티모달 LLM과 결합되면서 더욱 강력한 문서 이해 플랫폼으로 발전할 것으로 전망된다.