Apache PulsarApache Pulsar

클라이언트 Producer/Consumer
      ↓
Pulsar Broker (상태비저장 서비스 레이어)
  ├─ 토픽 서빙
  ├─ 구독 관리
  └─ 데이터 캐시 (Managed Ledger)
      ↓
Apache BookKeeper (스토리지 레이어)
  ├─ Bookie (내구성 있는 스토리지)
  └─ ZooKeeper (메타데이터)

분리의 장점:
- 브로커 수평 확장 독립적
- 스토리지 용량 독립적 확장
- 즉각적인 장애 복구

import pulsar

# 프로듀서
client = pulsar.Client('pulsar://localhost:6650')
producer = client.create_producer('persistent://public/default/orders')

producer.send(
    b'{"order_id": 1001, "amount": 99.99}',
    properties={'type': 'purchase', 'region': 'kr'}
)

# 컨슈머 (구독 타입)
# Exclusive: 단일 컨슈머
# Shared: 여러 컨슈머 라운드로빈
# Failover: 메인 + 대기 컨슈머
# Key_Shared: 키 기반 특정 컨슈머
consumer = client.subscribe(
    'persistent://public/default/orders',
    subscription_name='order-processor',
    consumer_type=pulsar.ConsumerType.Shared
)

while True:
    msg = consumer.receive(timeout_millis=5000)
    try:
        process_order(msg.data())
        consumer.acknowledge(msg)
    except Exception as e:
        consumer.negative_acknowledge(msg)  # 재처리