BLOG

[re:Invent 2018] Amazon Athena: What’s New and How SendGrid Innovates
작성일: 2018-11-28

* 세션명 : ANT324 – Amazon Athena: What’s New and How SendGrid Innovates
* 일자 : 2018/11/26 12:15~13:15
* 장소 : Aria East, Plaza Level, Orovada 2

 

[slideshare id=124108843&doc=amazon-athena-what-s-new-and-h-f2e515b6-24e9-4d7f-8bef-d41806df6703-1571957198-181127003501]

Athena의 신규 업데이트 소개 및 S3, EMR 혹은 Glue를 이용해서 Parquet 형태로 데이 혹터를 변환한 다음 데이터레이크를 만들어서 Athena로 분석하는 내용을 발표했습니다.
Athena의 신규 기능으로 WorkGroups가 Beta 버전을 사용할 수 있게 됐습니다.
또한, SendGrid에서는 기존 온 프레미스 환경에서 Elastic Search를 구축해서 사용하던 환경을 AWS로 옮기면서 3번에 걸쳐서 아키텍쳐를 재구성하고, 최종적으로 Athena를 통해서 서버리스 형태의 용량이나 사이즈에 대해서 제약이 없는 데이터 분석 아키텍쳐를 구축하였습니다.

 

전반적으로 S3에 구축한 데이터레이크를 Athena로 분석하는 방법을 설명하였으며, SendGrid에서 고객사의 분석할 데이터가 점점 늘어나면서 ElasticSearch에서 Athena로 변경했는지에 대한 자세한 설명이 있었습니다.
Serverless Data Analytics 환경에 대한 전반적인 내용을 알기 좋았지만, S3+Athena는 이미 많은 고객사에서 이미 이용하고 있어서, 기술적으로 아주 높은 수준은 아니었으며, 서버리스 데이타레이크 및 분석에 관현한 전반적인 내용으로는 편하게 듣기 좋았습니다.