1. Overview (프로젝트 배경)

본 프로젝트는 Databricks를 데이터 플랫폼의 중심인 Lakehouse로 활용하기 위해 추진되었습니다.
와일리바알리에서 기존에 BigQuery 기반으로 운영하던 데이터를 Databricks Catalog로 전환하고, 이를 기반으로 mart 테이블을 생성하여 분석 환경을 고도화하는 것이 주요 목적이었습니다.

또한 BI 활용 측면에서는 기존 Redash 및 Tableau 대시보드를 Databricks Dashboard로 전환하여, 데이터 분석과 시각화를 하나의 플랫폼에서 통합적으로 운영할 수 있는 환경을 구축하고자 했습니다.

2. Solution (해결 방안)

본 PoC는 3주간 진행되었으며, BigQuery 기반으로 운영 중이던 와일리바알리의 Redash 및 Tableau 대시보드를 Databricks로 이관하여 새로운 BI 환경을 구축했습니다.

우선 기존 데이터 구조와 접근 권한을 점검하고, Redash·Tableau의 구성 요소 및 쿼리 현황을 분석했습니다. 이후 RDS → S3 → Databricks로 이어지는 데이터 적재 가이드를 수립하고, Tableau 대시보드는 쿼리 단위로 재구성했습니다.

Redash 환경에서는 BigQuery SQL을 Databricks SQL로 변환하는 과정을 분석·수행했으며, 이를 바탕으로 Redash 및 Tableau 대시보드에 대응하는 Databricks Dashboard를 각각 구현했습니다.
AS-IS 스냅샷과 비교하여 Databricks BI 환경에 대한 기능 검증과 응답 속도 테스트도 함께 진행했습니다.

추가로 Databricks Genie를 연동해 테스트를 수행했으며, BigQuery SQL을 Databricks SQL로 전환하는 과정에서는 Apache Spark에 최적화된 Photon 쿼리 엔진을 활용했습니다.
사용자는 Spark SQL 문법을 통해 데이터베이스 객체를 생성하고 쿼리할 수 있도록 구성했습니다.

SQL 편집기에서는 결과 패널 UI를 활용해 다양한 결과 집합을 확인하고 시각화를 추가할 수 있도록 했으며, Redash 환경에서는 쿼리 작성 시 어시스턴트 기능을 통해 인라인 도움말과 제안을 제공했습니다.
Genie 사용 시에는 각 질문에 대한 응답을 검토하고, 필요 시 대화 세션을 통해 올바른 답변을 학습시키는 방식으로 활용성을 검증했습니다.

3. Result (성과)

Databricks로 BI 환경을 전환한 결과, 대시보드 로딩 속도가 전반적으로 개선되었습니다.
동일한 분석 쿼리를 기준으로 Databricks는 BigQuery 연결 방식 대비 더 빠른 응답 속도를 보였으며, External Catalog에서 Standard Catalog 및 Managed Table로 전환하는 과정에서 저장소와 쿼리 구조가 함께 최적화되었습니다. 그 결과 대용량 데이터 환경에서도 안정적인 성능을 확인할 수 있었습니다.

또한 Databricks Genie(AI Assistant)를 활용해 SQL 지식이 없는 비즈니스 사용자도 자연어 기반으로 데이터를 질의할 수 있는 환경을 마련했습니다. 사용자는 코드를 직접 작성하지 않고도 신뢰도 높은 인사이트를 빠르게 도출할 수 있었으며, 이를 통해 데이터 활용에 대한 진입 장벽이 크게 낮아졌습니다.

기존 Redash와 Tableau에서 운영되던 대시보드 역시 Databricks 환경으로 비교적 수월하게 이전할 수 있었습니다.
SQL 변환과 시각화 매핑이 원활하게 이루어졌으며, 기존 사용자들도 큰 학습 부담 없이 Databricks 내에서 동일하거나 더 향상된 분석 경험을 제공받을 수 있음을 확인했습니다.