Natural Language Processing - 인공지능 > 자연어 처리 | AI Insight Note

자연어 처리(Natural Language Processing, NLP)는 컴퓨터가 인간 언어를 이해·생성·분석하는 AI 분야다. 번역, 감성 분석, 챗봇, 정보 추출 등에 활용된다.

주요 태스크

태스크	설명	예시
텍스트 분류	텍스트를 카테고리로 분류	스팸 필터, 감성 분석
개체명 인식(NER)	텍스트에서 엔티티 추출	인물, 장소, 날짜
기계 번역	언어 간 번역	구글 번역
질의응답	질문에 대한 답 생성	ChatGPT
요약	긴 텍스트를 요약	뉴스 요약
텍스트 생성	주어진 프롬프트로 텍스트 작성	GPT

전처리 파이프라인

python

# 1. 토크나이징
text = "자연어 처리는 재미있습니다"
tokens = text.split()  # ['자연어', '처리는', '재미있습니다']

# 2. 불용어 제거 (is, the, a 등)
# 3. 어간 추출 (running → run)
# 4. 임베딩 (단어 → 벡터)

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('klue/bert-base')
tokens = tokenizer("안녕하세요", return_tensors="pt")

참고문헌

•Jurafsky & Martin. Speech and Language Processing, 3rd Ed.

Natural Language Processing자연어 처리

주요 태스크

전처리 파이프라인

관련 개념

참고문헌