Long Short-Term Memory - 인공지능 > 딥러닝 | AI Insight Note

LSTM(Long Short-Term Memory)은 장단기 기억을 학습할 수 있는 순환 신경망(RNN)의 특수한 형태다. 1997년 Hochreiter와 Schmidhuber가 제안했으며, 기존 RNN의 기울기 소실(Vanishing Gradient) 문제를 해결하기 위해 설계되었다.

핵심 구조: 게이트 메커니즘

LSTM은 셀 상태(Cell State)와 세 가지 게이트로 구성된다.

게이트	역할	수식
망각 게이트(Forget Gate)	이전 정보 얼마나 잊을지	f = σ(Wf·[h,x] + b)
입력 게이트(Input Gate)	새 정보 얼마나 저장할지	i = σ(Wi·[h,x] + b)
출력 게이트(Output Gate)	다음 은닉 상태 출력	o = σ(Wo·[h,x] + b)

셀 상태 업데이트: C_t = f ⊙ C_{t-1} + i ⊙ tanh(Wc·[h,x] + b)

PyTorch 구현

python

import torch
import torch.nn as nn

class LSTMModel(nn.Module):
    def __init__(self, input_size, hidden_size, num_layers, output_size):
        super().__init__()
        self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        # x: (batch, seq_len, input_size)
        out, (h_n, c_n) = self.lstm(x)
        # 마지막 타임스텝 출력 사용
        out = self.fc(out[:, -1, :])
        return out

model = LSTMModel(input_size=10, hidden_size=64, num_layers=2, output_size=1)
x = torch.randn(32, 20, 10)  # (batch=32, seq=20, features=10)
output = model(x)
print(output.shape)  # (32, 1)

LSTM vs 기존 RNN

특성	RNN	LSTM
기울기 소실	취약	셀 상태로 해결
장기 의존성	어려움	효과적
파라미터 수	적음	많음 (4배)
학습 속도	빠름	느림

활용 분야

•시계열 예측: 주가, 날씨, 센서 데이터
•자연어 처리: 감성 분석, 기계 번역 (Transformer 이전)
•음성 인식: 음향 모델링
•이상 탐지: 시퀀스 기반 이상 패턴 탐지

Long Short-Term MemoryLSTM

핵심 구조: 게이트 메커니즘

PyTorch 구현

LSTM vs 기존 RNN

활용 분야

관련 개념

관련 노트

생성적 적대 신경망Generative Adversarial Network

합성곱 신경망Convolutional Neural Network

완전 연결 신경망Fully Connected Network