BERT - 인공지능 > 언어모델 | AI Insight Note

BERT(Bidirectional Encoder Representations from Transformers)는 2018년 Google이 발표한 양방향 Transformer 사전 학습 언어 모델이다. 문맥을 양방향으로 이해해 자연어 이해(NLU) 태스크에서 획기적인 성능을 달성했다.

BERT의 혁신

기존 언어 모델 (단방향):
"나는 서울에서 ___ 태어났다"
→ 앞 문맥만 참조

BERT (양방향):
"나는 서울에서 [MASK] 태어났다"
→ 앞뒤 문맥 모두 참조 → 더 정확한 이해

사전 학습 태스크

태스크	설명
MLM (Masked Language Model)	15% 토큰을 [MASK]로 가리고 예측
NSP (Next Sentence Prediction)	두 문장이 연속인지 예측

Fine-Tuning 예시

python

from transformers import BertForSequenceClassification, BertTokenizer
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-multilingual-cased')
model = BertForSequenceClassification.from_pretrained(
    'bert-base-multilingual-cased', num_labels=2
)

# 감성 분석 파인튜닝
inputs = tokenizer("이 영화 정말 재미있어요!", return_tensors="pt")
outputs = model(**inputs)
logits = outputs.logits  # [부정, 긍정] 점수

참고문헌

•Devlin et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers

BERTBERT

BERT의 혁신

사전 학습 태스크

Fine-Tuning 예시

관련 개념

참고문헌

관련 노트

프론티어 AI 모델Frontier AI Models

에이전틱 AIAgentic AI

AutoGPTAutoGPT