1. Overview (프로젝트 배경)

본 프로젝트는 클라우드 기반의 데이터 분석 환경을 구축하여,
대규모 데이터 처리와 머신러닝·AI 활용이 가능한 분석 플랫폼을 마련하는 것을 목표로 추진되었습니다.

온프레미스 환경에 분산되어 있던 Data Lake 데이터를 분석 목적에 맞게 클라우드로 이관하고,
데이터 수집·가공·관리 전반의 효율을 높여 보다 유연한 분석 환경을 제공하고자 했습니다.

또한 데이터 분석 전문가들이 자율적으로 데이터를 탐색·분석·적용할 수 있도록,
사용자 주도의 분석 환경과 데이터 사용에 대한 통제·가용성을 함께 확보하는 체계를 구축하는 데 중점을 두었습니다.

2. Solution (해결 방안)

클라우드 기반 분석 플랫폼을 중심으로 데이터 통합과 분석 역량 내재화를 단계적으로 진행했습니다.

• Cloud 기반 분석 플랫폼 구성 및 운영

• 표준화된 데이터 통합·관리 환경 구축

• 데이터 활용 및 분석을 위한 클라우드 역량 내재화

3. Result (성과)

확장성과 안정성을 갖춘 분석 인프라 확보

• 높은 내구성과 가용성을 갖춘 클라우드 인프라 구성

• Intelligent Tiering 적용을 통한 스토리지 비용 최적화

• 다양한 데이터 수집 방식 지원 및 광범위한 분석 도구 활용 가능

분석 목적에 최적화된 데이터 활용 환경

• Databricks 기반 DW 구성

• DP360 웹 포털을 통한 데이터 접근 제어 및 권한 관리

• 분석가 수준의 분석 환경 제공 및 손쉬운 시스템 관리

• 필요 데이터 추가 및 관리 편의성 향상

기술 내재화를 통한 데이터 기반 업무 역량 강화

• Databricks 및 AWS 교육을 통한 분석 역량 향상

• 최신 분석 기술 습득으로 업무 효율 개선

• 지속적인 데이터 분석 역량 고도화 기반 마련

성능과 비용의 균형 확보

• 스토리지와 컴퓨팅 분리 구조로 비용 효율성 확보

• 사용량 기반 과금으로 불필요한 비용 최소화

• 빌링 솔루션을 통한 지속적인 비용 최적화 리포트 제공

• DP360 솔루션을 활용한 불필요한 자원 사용 차단

기대효과

• 통합·확장·비용 최적화를 동시에 충족하는 데이터 플랫폼 확보

• 초기 투자 비용 최소화 및 운영 비용 최적화

• Data Lake 기반 DW 분석 환경 구축

• Databricks Delta Lake 기반의 고품질 데이터 관리 체계 확립

• 데이터 거버넌스 체계 강화

ML Ops 자동화 및 기술 내재화

• AWS SageMaker 기반 ML Ops 자동화 환경 구성

• ML Ops 파이프라인 템플릿 제공

• 내부 인력 대상 기술 내재화 교육 진행