Support Vector Machine - 인공지능 > 머신러닝 | AI Insight Note

서포트 벡터 머신(SVM, Support Vector Machine)은 클래스 간의 마진(Margin)을 최대화하는 결정 경계(Hyperplane) 를 찾는 지도 학습 알고리즘이다. 분류와 회귀 모두 가능하며, 고차원 데이터와 소규모 데이터셋에 강점을 보인다.

핵심 개념

결정 경계 (Hyperplane): w·x + b = 0
마진 (Margin): 결정 경계와 각 클래스의 가장 가까운 점(서포트 벡터)의 거리

목표: 마진을 최대화하는 w, b 찾기
      최대 마진 = 최소 ||w|| 로 변환

소프트 마진 (Soft Margin, C 파라미터)

데이터가 선형 분리 불가할 때 일부 오분류를 허용한다.

python

from sklearn.svm import SVC
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split

X, y = make_classification(n_samples=1000, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y)

# C: 마진 vs 오분류 트레이드오프
# 작은 C: 넓은 마진, 오분류 허용 (언더피팅)
# 큰 C: 좁은 마진, 오분류 최소화 (오버피팅)
svm = SVC(kernel='rbf', C=1.0, gamma='scale')
svm.fit(X_train, y_train)
print(svm.score(X_test, y_test))

커널 트릭 (Kernel Trick)

비선형 데이터를 고차원 공간으로 매핑해 선형 분리 가능하게 만든다.

커널	수식	사용
선형 (linear)	x·y	텍스트, 선형 가능
다항식 (poly)	(γx·y + r)^d	비선형
RBF (rbf)	exp(-γ
시그모이드	tanh(γx·y + r)	신경망 유사

SVM vs 신경망

항목	SVM	신경망
데이터	소규모에 강함	대규모에 강함
해석성	서포트 벡터로 해석 가능	블랙박스
학습 속도	느림 (대규모)	빠름 (GPU)
하이퍼파라미터	C, gamma	수십~수백개

Support Vector Machine서포트 벡터 머신

핵심 개념

소프트 마진 (Soft Margin, C 파라미터)

커널 트릭 (Kernel Trick)

SVM vs 신경망

관련 개념

관련 노트

L2 정규화L2 Regularization

하이퍼파라미터 튜닝Hyperparameter Tuning

배치 크기Batch Size