OllamaOllama (로컬 LLM 실행)

# Docker — NVIDIA GPU 사용 (nvidia-container-toolkit 사전 설치 필요)
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama

# 컨테이너 내 모델 실행
docker exec -it ollama ollama run llama3.2

# 모델 실행 (없으면 자동 다운로드)
ollama run llama3.2

# 멀티모달: 이미지와 함께 실행
ollama run gemma3 ./image.png "이 이미지에 뭐가 있어?"

# 백그라운드 서버로 실행
ollama serve

# 모델 다운로드
ollama pull mistral

# 설치된 모델 목록
ollama list        # 또는 ollama ls

# 현재 실행 중인 모델 확인
ollama ps

# 모델 중지
ollama stop llama3.2

# 모델 삭제
ollama rm llama3.2

# 모델 정보 확인
ollama show llama3.2
ollama show --modelfile llama3.2   # Modelfile 출력

# Modelfile로 커스텀 모델 생성
ollama create my-model -f ./Modelfile

# 모델 양자화 (FP16 → q4_K_M)
ollama create my-model -f ./Modelfile -q q4_K_M

# 통합 도구 실행 (Claude Code, Codex, VS Code 등)
ollama launch claude
ollama launch codex --model qwen3

# 기본 모델 지정 (필수)
FROM llama3.2
FROM ./model.gguf           # GGUF 파일 경로
FROM /path/to/safetensors/  # Safetensors 디렉토리

# 실행 파라미터
PARAMETER temperature 0.7   # 창의성 (기본: 0.8)
PARAMETER num_ctx 8192       # 컨텍스트 윈도우 크기 (기본: 2048)
PARAMETER top_k 40           # 다양성 제어 (기본: 40)
PARAMETER top_p 0.9          # 토큰 확률 필터 (기본: 0.9)
PARAMETER repeat_penalty 1.1 # 반복 페널티 (기본: 1.1)
PARAMETER repeat_last_n 64   # 반복 방지 범위 (기본: 64)
PARAMETER seed 42            # 난수 시드 (기본: 0, 랜덤)
PARAMETER num_predict -1     # 최대 생성 토큰 (-1 = 무제한)
PARAMETER stop "User:"       # 생성 중단 시퀀스
PARAMETER min_p 0.05         # 최소 확률 임계값

# 시스템 프롬프트
SYSTEM """
당신은 한국어 전문 코딩 어시스턴트입니다.
코드를 작성할 때 항상 주석을 한국어로 달아주세요.
"""

# 프롬프트 템플릿 (Go 템플릿 문법)
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

# LoRA 어댑터 적용
ADAPTER ./lora-adapter.gguf

# 대화 예시 (few-shot)
MESSAGE user 서울은 한국에 있나요?
MESSAGE assistant 네, 서울은 대한민국의 수도입니다.

# 최소 Ollama 버전 요구사항
REQUIRES 0.14.0

# 라이선스
LICENSE """MIT License ..."""

# Modelfile
FROM llama3.2
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

SYSTEM """
당신은 한국어 전문 코딩 어시스턴트입니다.
"""

ollama create my-coder -f Modelfile
ollama run my-coder

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    {"role": "user", "content": "파이썬으로 피보나치 수열을 구현해줘"}
  ],
  "stream": false
}'

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "하늘이 파란 이유는?",
  "stream": false
}'

curl -X POST http://localhost:11434/api/embed -d '{
  "model": "embeddinggemma",
  "input": ["텍스트1", "텍스트2"]
}'

GET  /api/tags          # 설치된 모델 목록
GET  /api/ps            # 실행 중인 모델
POST /api/pull          # 모델 다운로드
POST /api/push          # 모델 업로드
POST /api/copy          # 모델 복사
DELETE /api/delete      # 모델 삭제
POST /api/create        # Modelfile로 모델 생성
POST /api/show          # 모델 상세 정보
GET  /api/version       # Ollama 버전 조회

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama',  # 아무 문자열 가능
)

response = client.chat.completions.create(
    model='llama3.2',
    messages=[{'role': 'user', 'content': '파이썬으로 피보나치 수열을 구현해줘'}],
    temperature=0.7,
)
print(response.choices[0].message.content)

# Claude Code를 Ollama 모델로 실행 (설치 불필요)
ollama launch claude

# 다른 모델 지정
ollama launch claude --model qwen3

from ollama import chat
from pydantic import BaseModel

class Country(BaseModel):
    name: str
    capital: str
    population: int

response = chat(
    model='llama3.2',
    messages=[{'role': 'user', 'content': '대한민국에 대해 알려줘'}],
    format=Country.model_json_schema(),
)
country = Country.model_validate_json(response.message.content)
print(country.capital)  # 서울

import ollama

def get_weather(city: str) -> str:
    return f"{city}의 현재 기온은 22°C입니다."

response = ollama.chat(
    model='qwen3',
    messages=[{'role': 'user', 'content': '서울 날씨 알려줘'}],
    tools=[get_weather],  # Python SDK가 함수를 자동으로 스키마 변환
)

# 도구 호출 결과 처리
for tool_call in response.message.tool_calls or []:
    result = get_weather(**tool_call.function.arguments)
    # 결과를 다음 메시지에 포함

import ollama

result = ollama.embed(
    model='embeddinggemma',   # 또는 qwen3-embedding, all-minilm
    input=['텍스트1', '텍스트2']  # 배치 처리 지원
)
vectors = result.embeddings   # 384~1024 차원 벡터 배열

# CLI
ollama run gemma3 ./photo.jpg "이 사진에 뭐가 있어?"

# API
curl http://localhost:11434/api/chat -d '{
  "model": "gemma3",
  "messages": [{
    "role": "user",
    "content": "이 이미지를 설명해줘",
    "images": ["<base64-encoded-image>"]
  }]
}'

# 이미지 생성 모델 실행
ollama run gemma3   # 또는 지원 이미지 생성 모델

# OpenAI 호환 API로 이미지 생성
curl http://localhost:11434/v1/images/generations -d '{
  "model": "...",
  "prompt": "A futuristic city at night"
}'

response = ollama.chat(
    model='deepseek-r1',
    messages=[{'role': 'user', 'content': '9.11과 9.9 중 어느 게 더 커?'}],
    think=True,   # 또는 "high" / "medium" / "low"
)
print("사고:", response.message.thinking)
print("답변:", response.message.content)

# GGUF 파일 임포트
FROM /path/to/model.gguf

# Safetensors 디렉토리 임포트
FROM /path/to/safetensors/

# LoRA 어댑터 결합
FROM llama3.2
ADAPTER /path/to/lora.gguf

ollama create my-model -f Modelfile -q q4_K_M
# 지원: q8_0, q4_K_S, q4_K_M, q5_K_M 등

# 사용할 GPU 지정
CUDA_VISIBLE_DEVICES=0,1 ollama serve        # NVIDIA
ROCR_VISIBLE_DEVICES=0 ollama serve          # AMD

# GPU 메모리 로드 상태 확인
ollama ps
# PROCESSOR 열: "100% GPU" / "100% CPU" / "48%/52% CPU/GPU"

# 모델은 기본 5분간 메모리 유지 후 언로드
# keep_alive 파라미터로 제어:
#   -1  = 영구 유지
#   0   = 즉시 언로드
#   "10m" = 10분 유지

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "keep_alive": -1
}'

# 즉시 언로드
ollama stop llama3.2