프로젝트 개요
유튜브 PPL, 메타 광고, CRM 등 다양한 채널에서 발생하는 방대한 성과 데이터를 통합적으로 관리하고 실시간으로 모니터링하기 위한 데이터 분석 환경을 구축했습니다. 스프레드시트의 용량 한계와 수동 집계로 인한 분석 지연을 해결하기 위해, 데이터 파이프라인을 자동화하여 마케터가 데이터 가공이 아닌 '전략'에 집중할 수 있는 환경을 만드는 것이 최종 목표였습니다.
과제
- 분석 리소스 과다: 매주 각 매체사의 데이터를 수동으로 다운로드하고 병합하는 과정에서 주당 6시간 이상의 반복적인 행정 소요 발생
- 데이터 파편화 및 성능 한계: 데이터 양이 늘어남에 따라 구글 스프레드시트의 처리 속도가 저하되고 I/O 비용이 증가하여 실시간 지표 확인이 불가능
- 지표 부재 및 주관적 판단: 명확한 데이터 기반 KPI 없이 마케팅이 진행되어 매체별 기여도 분석 및 광고 예산 배분의 객관적 근거가 부족
전략 / 솔루션
- BigQuery 중심의 통합 데이터 웨어하우스(DW) 구축: 흩어진 마케팅 원천 데이터를 BigQuery로 적재(ETL)하는 파이프라인을 구축하여 대용량 데이터를 안정적으로 처리하고 I/O 비용을 최적화했습니다.
- ML 기반 채널 기여도 분석 모델링: 단순 수치를 넘어 각 채널이 브랜딩과 DB 확보에 미치는 가중치를 산출하는 머신러닝 분석 모델을 개발하여 객관적인 성과 지표를 확립했습니다.
- 시각화 대시보드 설계 및 개발: 실적 관제 화면을 설계하고, 이를 프론트엔드와 연동하여 주간 보고서 없이도 언제든 주요 KPI를 확인할 수 있는 대시보드를 구현했습니다.
"데이터 파이프라인은 단순한 보관함이 아니라, 흩어진 숫자를 비즈니스 성장 전략으로 변환하는 가장 빠르고 정확한 길입니다."
실행 과정
- 기술 스택: Python(데이터 수집), SQL, BigQuery, GA4/GTM
- 주요 내용: 데이터셋 구성 및 모델 테스트, 쿼리 비용 최적화, 대시보드 초안 실행 및 KPI 지표 산출 가이드라인 작성
성과
| 지표 | 이전 | 이후 | 변화 |
|---|
| 주간 보고서 작성 시간 | 6시간 | 10분 | 98.3% 단축 |
| 데이터 분석 체계 | 수동 집계 및 추측 | 배치/데이터 기반 | 정확도 극대화 |
| 데이터 처리 성능 | 스프레드시트 한계 봉착 | BigQuery 기반 안정화 | I/O 효율 향상 |
| 의사결정 근거 | 주관적 판단 | ML 모델 가중치 활용 | 과학적 예산 배분 |
