어텐션은 모두다 (Attention Is All You Need)

어텐션은 모두다(Attention Is All You Need)는 구글 브레인 (Google Brain) 과 구글 리서치 (Google Research) 의 연구진들이 2017 년에 발표한, 신경망 기반 기계 번역 (Neural Machine Translation) 아키텍처인 트랜스포머(Transformer)를 제안한 획기적인 학술 논문이다. 이 논문은 기존에 순환 신경망 (RNN) 이나 합성곱 신경망 (CNN) 을 주로 사용하던 시퀀스 전도 (Sequence Transduction) 모델의 패러다임을 완전히 바꿔놓았으며, 현재 거대 언어 모델 (LLM) 시대의 기초가 되었다. ~~이 논문 하나면 구글 연구진들이 10 년 치는 먹고 산다는 말이 나올 정도다.~~

개요

이 논문은 RNN(Recurrent Neural Network)이나 CNN을 배제하고, 오직 어텐션(Attention) 메커니즘만으로 구성된 새로운 모델 아키텍처인 트랜스포머를 제안한다.

핵심 아이디어: 시퀀스 데이터의 순차적 처리 (sequential processing) 를 없애고, 모든 입력과 출력 간의 전역 의존성 (global dependency) 을 직접적으로 연결하는 자기 어텐션 (self-attention) 을 사용한다.
주요 성과: WMT 2014 영어-독일어 번역에서 기존 최상위 모델 대비 2 BLEU 이상 개선된 28.4 점, 영어-프랑스어 번역에서 41.8 점이라는 새로운 기록을 수립했다.
효율성: 기존 모델들 (RNN, CNN 기반) 에 비해 학습 속도가 훨씬 빠르고 병렬화 (parallelization) 가 용이하여, 더 긴 시퀀스를 처리하면서도 적은 훈련 시간으로 높은 성능을 달성했다.
영향: BERT, GPT, T5 등 현재 AI界를 지배하는 대부분의 모델이 이 트랜스포머 아키텍처를 기반으로 한다.

상세 설명

1. 배경 및 동기 (Background & Motivation)

기존의 시퀀스 전도 모델들은 RNN (LSTM, GRU 등) 을 사용하여 시간 단계 (time step) 마다 순차적으로 계산을 수행했다. 이는 병렬화가 불가능하여 긴 시퀀스를 처리할 때 메모리 제약과 학습 시간의 비효율성을 초래했다.

순환의 한계: RNN 은 이전 상태 ($h_{t-1}$) 를 기반으로 현재 상태 ($h_t$) 를 계산하므로, 긴 시퀀스에서의 병렬화가 불가능하다. ~~이걸로 번역기 돌리다 보면 여름방학 끝나고 번역기 완성한다.~~
CNN 의 한계: CNN 은 병렬화가 가능하지만, 입력 시퀀스의 두 위치 간의 거리를 줄이기 위해 많은 층을 쌓아야 하며, 이는 경로 길이를 증가시켜 장기 의존성 학습을 어렵게 만든다.
어텐션의 등장: 어텐션은 입력과 출력 시퀀스 내의 거리와 상관없이 의존성을 모델링할 수 있게 해주지만, 기존에는 RNN 과 결합하여 사용되었다.

이 논문은 RNN 과 CNN 을 완전히 배제하고, 오직 어텐션 메커니즘만으로 입력과 출력 간의 의존성을 모델링하는 트랜스포머를 제안한다.

2. 모델 아키텍처 (Model Architecture)

트랜스포머는 인코더 (Encoder) 와 디코더 (Decoder) 로 구성되며, 두 구조 모두 자기 어텐션과 순차적 피드포워드 네트워크 (Position-wise Feed-Forward Networks) 를 스택 (Stack) 형태로 쌓아 만든다.

2.1 인코더와 디코더 스택 (Encoder and Decoder Stacks)

인코더 (Encoder): $N=6$개의 동일한 레이어가 스택되어 있다. 각 레이어는 다음 두 서브레이어로 구성된다.
1. **다중 헤드 자기 어텐션 **(Multi-Head Self-Attention): 입력 시퀀스 내의 모든 단어 간의 관계를 파악한다.
2. **위치별 피드포워드 네트워크 **(Position-wise Feed-Forward Network): 각 위치마다 독립적으로 선형 변환과 비선형 활성화 함수를 적용한다.
- 각 서브레이어 주변에는 **잔차 연결 **(Residual Connection)과 **레이어 정규화 **(Layer Normalization)이 적용된다.
**디코더 **(Decoder): 인코더와 유사하게 $N=6$개의 레이어로 구성되지만, 추가적으로 **인코더 - 디코더 어텐션 **(Encoder-Decoder Attention) 레이어가 있다.
- **마스킹 **(Masking): 디코더의 자기 어텐션에서는 미래 (다음) 단어를 참조하지 못하도록 마스킹을 적용하여, 자동 회귀적 (auto-regressive) 생성을 보장한다.

2.2 어텐션 (Attention)

논문에서 제안한 핵심 메커니즘은 **확산된 내적 곱 어텐션 **(Scaled Dot-Product Attention)이다.

확산된 내적 곱 어텐션: 쿼리 ($Q$) 와 키 ($K$) 의 내적 곱을 $\sqrt{d_k}$로 나누어 스케일링한 후 소프트맥스를 적용하여 가중치를 계산하고, 이를 값 ($V$) 에 적용한다. $ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $
- 스케일링의 이유: $d_k$가 클수록 내적 곱의 크기가 커져서 소프트맥스가 기울기가 거의 없는 영역으로 치우칠 수 있다. 이를 방지하기 위해 $\sqrt{d_k}$로 나누어 주어야 한다.
**다중 헤드 어텐션 **(Multi-Head Attention):
- 단일 어텐션 함수 대신, $h=8$개의 어텐션 헤드를 병렬로 실행한다.
- 각 헤드는 서로 다른 선형 투영 (Linear Projections) 을 통해 $Q, K, V$를 변환한 후 어텐션을 계산한다.
- 이는 모델이 다양한 하위 표현 공간 (representation subspaces) 에서 정보를 동시에 주시할 수 있게 해준다.

2.3 위치 인코딩 (Positional Encoding)

트랜스포머에는 순환이나 합성곱이 없으므로, 시퀀스의 순서 (order) 정보를 모델에 주입해야 한다. 이를 위해 위치 인코딩을 임베딩 벡터에 더한다.

방법: 서로 다른 주파수를 가진 사인과 코사인 함수를 사용하여 위치 인코딩을 생성한다. $ PE_{(pos, 2i)} = \sin(pos / 10000^{2i/d_{model}}) $ $ PE_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d_{model}}) $
장점: 절대적 위치뿐만 아니라 상대적 위치 ($pos+k$) 에 대한 정보도 선형 함수로 표현 가능하게 하여, 모델이 상대적 의존성을 쉽게 학습할 수 있게 한다.

3. 왜 자기 어텐션인가? (Why Self-Attention)

트랜스포머의 자기 어텐션 레이어가 RNN 이나 CNN 레이어보다 뛰어난 이유는 다음과 같다.

레이어 유형	레이어당 복잡도	순차 연산 수	최대 경로 길이
자기 어텐션 (Self-Attention)	$O(n^2 \cdot d)$	$O(1)$	$O(1)$
순환 (Recurrent)	$O(n \cdot d^2)$	$O(n)$	$O(n)$
합성곱 (Convolutional)	$O(k \cdot n \cdot d^2)$	$O(1)$	$O(\log_k n)$

병렬화: 자기 어텐션은 모든 입력 위치에 대해 상수 시간 ($O(1)$) 의 순차 연산만 필요하므로, RNN ($O(n)$) 에 비해 훨씬 더 높은 병렬화가 가능하다.
경로 길이: 임의의 두 위치 간의 경로 길이가 $O(1)$로 매우 짧아, **장기 의존성 **(Long-range dependencies) 학습이 훨씬 용이하다.
계산 효율: 문장 길이 ($n$) 가 표현 차원 ($d$) 보다 작은 일반적인 번역 작업에서는 RNN 보다 계산 복잡도가 낮다.

4. 실험 결과 (Results)

**기계 번역 **(Machine Translation):
- WMT 2014 English-German: 기존 최상위 모델 (앙상블 포함) 보다 2 BLEU 이상 개선된 28.4 BLEU 달성. 훈련 시간은 8 개의 P100 GPU 로 3.5 일.
- WMT 2014 English-French: 단일 모델로서 최상위 기록인 41.8 BLEU 달성. 기존 최상위 모델의 1/4 이하 비용으로 훈련 완료.
**성능 일반화 **(Generalization):
- **영어 문장 성분 구문 분석 **(English Constituency Parsing): 데이터가 적은 환경 (WSJ 40K 문장) 에서도 RNN 기반 모델보다 우수한 성능을 보였으며, 반감독 학습 (semi-supervised) 환경에서는 최상위 기록을 경신했다.

5. 여담

논문 저자: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin 등 구글 연구진들이 공동으로 작성했다. 저자 순위는 무작위이며, 동등한 기여 (Equal contribution) 로 표기되었다.
코드 공개: 논문과 함께 공개된 코드는 Tensor2Tensor 라이브러리에 포함되어 있으며, 이는 이후 많은 연구자들이 트랜스포머를 쉽게 구현하고 실험할 수 있는 기반이 되었다.
AI 의 혁명: 이 논문이 나온 후, 트랜스포머는 컴퓨터 비전 (Vision Transformer), 음성 인식, 그리고 현재는 GPT-3, BERT, Llama 등 모든 거대 언어 모델의 표준이 되었다. ~~정말 "All You Need" 이었다.~~
한 줄 요약: "RNN 은 이제 안녕. 다들 어텐션만 쓰자."

트랜스포머 기계 번역 자연어 처리 BERT GPT 어텐션 메커니즘 RNN CNN

Provided proper attribution is provided, Google hereby grants permission to reproduce the tables and figures in this paper solely for use in journalistic or scholarly works.