실시간 데이터와 운영 체계
서비스 데이터 게이트웨이
B2B 서비스 데이터 인터페이싱 게이트웨이 백엔드. Flask 동기 구조를 FastAPI 비동기로 전환, Kafka 실시간 스트리밍 도입, GitOps(ArgoCD) 배포 체계 구축.
- 담당 범위
- 비동기 API 전환 · Kafka 스트리밍 · GitOps
- FastAPI
- Flask
- Kafka
- Kubernetes
- ArgoCD
- Docker
- AWS
- DynamoDB
문제와 제약
동기 I/O 병목, 배치 데이터의 실시간성 부족, 수동 배포·롤백을 개선할 필요가 있었습니다.
기술적 접근과 판단
처리 방식과 배포 방식을 함께 전환
Flask 동기 구조를 FastAPI 비동기로 전환하고 Kafka 실시간 스트리밍, ArgoCD 배포·롤백 체계를 적용했습니다. 후속 운영에서 위치 데이터 품질과 Consumer 처리 문제를 분석했습니다.
구현과 검증
- Flask 동기 I/O → FastAPI 비동기 아키텍처로 전환
- 위치 데이터 배치 처리 → Kafka 실시간 스트리밍으로 전환
- GitOps(ArgoCD) 기반 배포/롤백 운영 체계 구축
- 후속 운영: 실시간 위치 수집 오차 분석, Kafka Consumer와 모니터링 개선
결과
- 비동기 API·실시간 스트리밍·GitOps 적용 및 후속 운영 개선