
AWS / Azure / GCP
AWS KinesisAWS Kinesis
AWS Kinesis는 실시간 스트리밍 데이터를 수집·처리·분석하기 위한 AWS의 완전 관리형 플랫폼이다. 초당 수백만 건의 이벤트를 처리할 수 있다.
서비스 구성
| 서비스 | 역할 |
|---|---|
| Kinesis Data Streams | 실시간 데이터 스트림 수집 |
| Kinesis Data Firehose | S3·Redshift·OpenSearch로 자동 전달 |
| Kinesis Data Analytics | SQL/Flink로 스트림 실시간 분석 |
| Kinesis Video Streams | 비디오 스트림 수집·처리 |
Data Streams 핵심 개념
Python Producer 예시
Kinesis vs Kafka 비교
| 항목 | AWS Kinesis | Apache Kafka |
|---|---|---|
| 관리 | 완전 관리형 | 직접 관리 또는 MSK |
| 확장 | 샤드 단위 | 파티션 단위 |
| 보존 기간 | 최대 365일 | 설정에 따라 무제한 |
| 프로토콜 | AWS SDK | Kafka 프로토콜 |
| 비용 | 사용량 기반 | 인프라 비용 |