Automatic Speech Recognition (ASR/STT)음성 인식

음성 파형 (오디오 입력)
  │
  ├── 1단계: 전처리 — 배경 소음 제거, 정규화
  │
  ├── 2단계: 특성 추출 — MFCC / 멜 스펙트로그램 변환
  │
  ├── 3단계: 음향 모델 — 음성 → 음소/서브워드 확률 매핑
  │   (RNN-T, CTC, Attention Encoder-Decoder)
  │
  ├── 4단계: 언어 모델 — 단어 시퀀스 확률 보정
  │
  └── 5단계: STT 후처리 — 구두점, 대소문자, 화자 분리 적용

import whisper  # pip install openai-whisper

model = whisper.load_model("base")  # tiny/base/small/medium/large

# 음성 파일 → 텍스트
result = model.transcribe("audio.mp3")
print(result["text"])

# 다국어 인식
result = model.transcribe("audio.mp3", language="ko")
print(result["text"])

# 로그멜 스펙트로그램 직접 처리
import torch
audio = whisper.load_audio("audio.mp3")
audio = whisper.pad_or_trim(audio)
mel = whisper.log_mel_spectrogram(audio).to(model.device)
options = whisper.DecodingOptions(language="ko", without_timestamps=True)
result = whisper.decode(model, mel, options)
print(result.text)

# 스트리밍 STT 예시 (Whisper + pyaudio)
import pyaudio
import numpy as np
import whisper

model = whisper.load_model("base")
CHUNK = 16000 * 3  # 3초 청크

p = pyaudio.PyAudio()
stream = p.open(format=pyaudio.paFloat32, channels=1, rate=16000, input=True)

while True:
    data = stream.read(CHUNK)
    audio = np.frombuffer(data, dtype=np.float32)
    result = model.transcribe(audio, language="ko")
    print(result["text"], end=" ", flush=True)

import torch
import torch.nn as nn

ctc_loss = nn.CTCLoss(blank=0, reduction='mean', zero_infinity=True)

# log_probs: (T, N, C) — 시간, 배치, 클래스
T, N, C = 50, 4, 28
log_probs = torch.randn(T, N, C).log_softmax(2).detach()
targets = torch.randint(1, C, (N, 10))
input_lengths = torch.full((N,), T, dtype=torch.long)
target_lengths = torch.randint(5, 10, (N,))
loss = ctc_loss(log_probs, targets, input_lengths, target_lengths)
print("CTC Loss:", loss.item())

WER = (S + D + I) / N

S: 치환(Substitution) 오류 수
D: 삭제(Deletion) 오류 수
I: 삽입(Insertion) 오류 수
N: 정답 단어 수

목표: WER 5% 이하 (상용 서비스 기준)

def word_error_rate(reference, hypothesis):
    ref_words = reference.split()
    hyp_words = hypothesis.split()
    r, h = len(ref_words), len(hyp_words)
    dp = [[0] * (h+1) for _ in range(r+1)]
    for i in range(r+1): dp[i][0] = i
    for j in range(h+1): dp[0][j] = j
    for i in range(1, r+1):
        for j in range(1, h+1):
            if ref_words[i-1] == hyp_words[j-1]:
                dp[i][j] = dp[i-1][j-1]
            else:
                dp[i][j] = 1 + min(dp[i-1][j], dp[i][j-1], dp[i-1][j-1])
    return dp[r][h] / r

ref = "the cat sat on the mat"
hyp = "the cat set on mat"
print(f"WER: {word_error_rate(ref, hyp):.2%}")  # 33.33%

# pyannote.audio로 화자 분리
from pyannote.audio import Pipeline

pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization-3.1")
diarization = pipeline("meeting.wav")

for turn, _, speaker in diarization.itertracks(yield_label=True):
    print(f"[{turn.start:.1f}s - {turn.end:.1f}s] {speaker}")
# [0.0s - 3.2s] SPEAKER_00
# [3.5s - 7.1s] SPEAKER_01