Activation Function활성화 함수

활성화 함수(Activation Function)는 신경망 각 노드에서 비선형성을 도입하는 함수다. 비선형 활성화 함수가 없으면 아무리 깊은 신경망도 선형 모델과 동일해진다.

주요 활성화 함수

ReLU (Rectified Linear Unit)

def relu(x): return max(0, x)
# x > 0: x 그대로
# x <= 0: 0
# 장점: 계산 빠름, 기울기 소실 적음
# 단점: Dying ReLU (항상 0)

Sigmoid

def sigmoid(x): return 1 / (1 + exp(-x))
# 출력: 0~1
# 이진 분류 출력층에 사용
# 단점: 기울기 소실 문제

Softmax

def softmax(x): return exp(x) / sum(exp(x))
# 출력: 각 클래스의 확률 (합=1)
# 다중 분류 출력층에 사용

GELU (Gaussian Error Linear Unit)

최신 모델(GPT, BERT)에서 사용
ReLU보다 부드러운 비선형성

비교 표

관련 개념

• •[신경망 — 활성화 함수의 적용 대상
• •역전파 — 활성화 함수의 미분 필요
• •과적합 — Dropout과 결합

참고문헌

• •Nair & Hinton (2010). Rectified Linear Units Improve Restricted Boltzmann Machines