언어모델
Transformer트랜스포머
Transformer는 2017년 Google의 "Attention Is All You Need" 논문에서 제안된 셀프 어텐션 기반 딥러닝 아키텍처다. RNN을 대체해 자연어 처리의 혁명을 가져왔으며, BERT, GPT, T5 등 현대 LLM의 기반이다.
핵심 구성 요소
| 구성 | 역할 |
|---|---|
| Self-Attention | 시퀀스 내 각 위치 간 관계 학습 |
| Multi-Head Attention | 다양한 관점의 어텐션 병렬 수행 |
| Feed-Forward | 위치별 비선형 변환 |
| Positional Encoding | 시퀀스 순서 정보 추가 |
| Layer Normalization | 학습 안정화 |
| Residual Connection | 기울기 소실 방지 |
Self-Attention
RNN vs Transformer
| 항목 | RNN/LSTM | Transformer |
|---|---|---|
| 병렬 처리 | 불가 (순차적) | 가능 |
| 장거리 의존성 | 어려움 | 직접 연결 |
| 학습 속도 | 느림 | 빠름 |
관련 개념
- •BERT — Transformer 인코더 기반 모델
- •GPT — Transformer 디코더 기반 모델
- •임베딩 — Transformer 입력 표현
- •어텐션 메커니즘 — Transformer 핵심
참고문헌
- •Vaswani et al. (2017). Attention Is All You Need
