AWS re:Invent 2022 세션 후기 #28 – 분석 2

BLOG

작성일: 2022-12-01

[ANT335] How Disney used AWS Glue as a data integration and ETL framework

연사 : Alona Nadler, AWS Glue 제품 책임자

Ralph Peterkin, 디즈니 수석 건축가

일시: 2022.11.28 16:55 ~ 17:45

장소: MGM Grand Level 1, Grand 121

작성자 : 메가존클라우드 Data Business Center 조예원 매니저

디즈니가 AWS Glue를 data integration 서비스로 선택하게 된 이유와, 어떻게 AWS Glue로 기존의 Hadoop, Spark를 대체하여 사용하였는지에 대한 사례 소개 세션에 참여 하였습니다.

Data Integration 프로세스는 크게 아래와 같이 세가지 단계로 나눌 수 있습니다.

Motivation (동기) : 새로운 리포트 요청 / 팀 간의 데이터 파이프라인 등 데이터 통합이 필요한 요건이 생김
Build(구축) : 요건을 세분화하여 정의하고, 데이터에 접근하여 구조를 잡고, 정제 및 집계 하고, 시각화 및 검증하는 과정 통해 데이터 통합을 구축
Operationalize(운영화) : SLA를 설정하고, 워크플로우 및 스케쥴을 걸어 작동하는 것을 모니터 하며 문제가 생길 경우 다시 Build 과정을 거쳐 반영

하지만 데이터 통합 과정에서 아래와 같은 어려움이 발생하게 됩니다.

AWS Glue는 이런 데이터 어려움을 해소하는 데이터 통합을 위한 서비스 입니다.

서버리스 데이터 통합 서비스인 AWS Glue가 제공하는 기능은 위와 같이 정리할 수 있습니다.

AWS Glue는 서버리스로 인프라 관리가 필요 없으며, 빠르게 클러스터를 시작할수 있고,

온디맨드로 요금이 부과되어 비용 효율적인 장점을 가지고 있습니다.

AWS Glue는 Spark, Python Shell등 다양한 작업을 사용할 수 있으며, “Ray”라는 신규 서비스도 곧 출시될 예정이라고 합니다.

AWS Glue를 통해 80개 이상의 데이터 소스와 연결할 수 있으며 크게 3가지 종류의 커넥터를 제공합니다.

AWS Glue는 Glue Studio, Glue Studio Notebook, Glue DataBrew, APIS/SDK/Local Notebook, Sagemaker Studio notebook 등 다양한 특성에 맞게 필요한 인터페이스를 제공합니다.

그 중 대표적인 인터페이스로는 Glue studio가 있는데, 사용자가 원하는 소스 데이터, 변환(기능), 타겟 소스를 UI 상으로 설정하면 자동으로 스크립트를 생성해줍니다.

AWS Glue 운영을 위해 크게 3가지 기능을 제공 합니다.

AWS Glue에서 사용할 수 있는 Data Catalog를 활용해서 데이터 레이크의 메타데이터를 저장 및 관리가 가능합니다.

Data Catalog로 메타 데이터를 저장 및 관리할 경우 아래와 같은 이점이 있습니다.

또한 AWS Glue에서 민감 정보 detection 및 처리가 가능하여 손쉽게 데이터를 관리할 수 있습니다.

사용자들은 아래와 같은 요건 때문에 AWS Glue를 사용합니다.

코로나로 인한 사회적 거리두기로 인해 Disney Park에서 게스트 수를 통제하여야 했고, 놀이공원 사용성을 최적화 하기 위해서

현재 및 미래 예약에 대한 인사이트를 뽑아내야 하는 요건이 생기게 되었습니다.

AWS Glue 이전에는 Amazone EC2에 설치된 Hadoop 클러스터를 사용했었고, 위와 같은 서비스들을 사용했었다고 합니다.

Hadoop 사용시 클러스터 보안, 용량, 스케일링 어려움 등의 문제를 겪고 있었습니다.

Hadoop을 대체할 서비스로 AWS Glue를 선택한 이유는 Glue는 서버리스이고, 시장에 바르게 적응하며, Spark 베이스이며, 비용 효율적이기 때문이라고 합니다.

AWS Glue로의 전환에서 디즈니의 동기 및 목표는 아래와 같았습니다.

내부 Glue Framework는 아래와 같이 구성되었다고 합니다.

Internal Glue framework : 새로운 spark 코드 작성이 필요하지 않도록, AWS Glue job을 실행하고 트랙킹하는 YAML 파일을 사용하는 하나의 pyspark로 작성 되어 있음
Job runner : AWS Glue Job의 시작점으로, Spark session을 준비하고 작업을 실행시킴
Job Tracker : 성공적으로 처리된 파일의 트랙을 저장함