GPT (Generative Pre-trained Transformer)GPT

GPT(Generative Pre-trained Transformer)는 OpenAI가 개발한 Transformer 디코더 기반 언어 생성 모델이다. 다음 토큰 예측으로 사전 학습하며, ChatGPT의 기반 모델로 생성형 AI 혁명을 이끌었다.

GPT 버전 발전

BERT vs GPT

API 사용 예시

from openai import OpenAI

client = OpenAI(api_key="your-api-key")

response = client.chat.completions.create(
    model="gpt-4",
    messages=[
        {"role": "system", "content": "당신은 친절한 AI 어시스턴트입니다."},
        {"role": "user", "content": "Python에서 Quick Sort를 구현해주세요."}
    ],
    temperature=0.7
)
print(response.choices[0].message.content)

관련 개념

• •Transformer — GPT의 기반 아키텍처
• •BERT — 같은 Transformer 계열의 이해 모델
• •LLM — GPT가 속하는 대형 언어 모델 분류
• •RAG — GPT를 활용하는 검색 증강 생성

참고문헌

• •Radford et al. (2018). Improving Language Understanding by Generative Pre-Training
• •Brown et al. (2020). Language Models are Few-Shot Learners