데이터 적재와 실행 환경의 운영
이상거래 탐지 데이터 적재 파이프라인
보이스피싱 탐지 데이터를 데이터레이크로 전달하는 Python ETL과 자동 실행 환경 구축. REST API 연동 전환, 스케줄·알림 구성 및 운영 장애 대응.
- 담당 범위
- Python ETL · API 전환 · 스케줄·알림 · 장애 대응
- Python
- ETL
- REST API
- SFTP
- Docker
- GitLab CI/CD
문제와 제약
탐지 데이터를 후속 분석에 활용할 반복 실행 가능한 적재 경로가 필요했습니다.
기술적 접근과 판단
데이터 처리와 실행 인프라의 실패 구분
직접 DB 접근을 REST API로 전환하고 SFTP·GitLab 스케줄·Slack 알림을 구성했습니다. 자동 실행 실패를 ETL 내부가 아닌 CI/CD 인증 만료로 추적했습니다.
구현과 검증
- ETL 모듈·데이터 변환 스크립트 개발 및 직접 DB 접근을 REST API로 전환
- SFTP 환경과 GitLab 스케줄 실행·결과 파일 생성·Slack 알림 구성
- CI/CD 인증 만료를 실패 원인으로 추적하고 갱신 후 정상 실행 확인
결과
- ETL·자동 생성·전송 연동 경로 구축, 인증 갱신 후 정상 실행 확인
배운 점
데이터 처리 오류와 실행 인프라의 인증 오류를 구분하고 실행 단계별 확인 절차를 마련해야 합니다.