BLOG
| [ANT329] Turn data to insights in seconds with secure and reliable Amazon Redshift
연사 : Gal Barnea / Yanzhu Ji / Zafrir Babin 일시: 2022.12.01 11:45 ~ 12:45 장소: Wynn, Level 1, Montrachet 1 작성자 : 메가존클라우드 Data Business Center 조예원 매니저 |
보안과 의존성(reliance)를 고려하여 Amazon Redshift를 활용하는 방안에 대한 설명 및 사례를 소개하는 Chalk Talk 형식의 세션이었습니다.
최신의 데이터 아키텍처는 아래와 같은 특징을 가지고 있습니다.
- 확장 가능한 데이터 레이크
- 목적을 가지고 만들어진 데이터 서비스
- 매끄럽게 진행되는 데이터 이동
- 통합된 거버넌스
- 높은 성능과 비용 효율성
Amazon Redshift를 활용하여 다양한 목적의 데이터를 분석할 수 있으며, 아래와 같은 데이터 서비스와 연결하여 데이터를 분석할 수 있습니다.
- 운영 데이터베이스
- 3rd party 데이터를 위한 AWS Data Exchange
- 스트리밍 데이터 서비스
- BI / Analytics 애플리케이션
- Amazon S3 datalake/Files
- ML and analytics 서비스
별도의 비용 없이 Redshift 자체에 내재 되어있는 보안/규정 기능들은 크게 아래와 같이 구분할 수 있습니다.
- Authentication (인증)
- Access control (접근 제한)
- Audit (검사)
- Encryption (암호화)
Amazon Redshift에서는 역할 기반의 액세스 제어가 가능합니다.
각 유저에게 정의된 역할을 부여하고, 각 역할에는 privileges를 지정해줍니다.
역할 기반 액세스 제어를 반영할 때는 아래와 같은 점을 고려하는 것을 추천합니다.
- 데이터 베이스 permission 관리 단순화
- 잘 정돈된 유저 permission
- 서로 다른 레벨의 어드민 유저를 위해 보안 개선
Row-level security (행 기반 보안) 은 아래와 같은 특징을 가지고 있습니다.
- 역할에 기반하여 row(행) 접근 제한
- 세세한 액세스 컨트롤 향상
- 유저 별로 여러 개의 정책 조합 가능
- 정책이 적용되지 않으면 접근할 수 없음
새로운 Amazon Redshift 기능에 대해 소개 합니다.
(프리뷰) AWS Lake Formation을 사용하여 Data sharing 액세스 제어가 가능 해졌습니다. AWS Lake Formation을 사용해서 중앙에서 data sharing 을 관리하여, 세세한 액세스 제어가 가능 해졌고, 보안을 향상할 수 있습니다.
프리뷰) Amazon Redshift가 Muti-AZ (다중 가용영역)을 지원하여, 보다 높은 복원성을 가지게 되었습니다. Multi-AZ를 지원하면서 데이터 손실 없이 auto-failover가 가능하고, 하나의 엔드포인트로 쉽게 관리가 가능 해졌습니다.
(GA) Amazon Redshift와 Apache Spark가 통합되어, Apache Spark 어플리케이션이 Amazon Redshift에 단순하고 더 빠르게 접근할 수 있게 되었습니다.
ADP 사례 소개
ADP에는 아래와 같은 문제점들이 있었습니다.
- 글로벌 애플리케이션 배포/DR에 많은 노력이 필요함
- 낮은 확장성
- 메트릭 계산과 데이터 수집의 낮은 유연성과 응답성
- 낮은 환경 및 테스팅
- Multi-tenant 애플리케이션 보안
ADP의 Analytics 어플리케이션 아키텍쳐 구조는 아래와 같습니다.
다양한 소스 데이터 -> MSK와 S3를 통해 Delta Lake에 저장 -> ETL 파이프라인을 거쳐 Redshift에 저장 -> BI, Benchmarks, Metrics 등 다양한 데이터 분석에 활용
데이터 프로젝트를 진행할때, 데이터 분석 요건이 있을 경우 Redshift를 사용하는 케이스가 많아서 Redshift를 보다 효율적으로 사용하고자 이번 세션을 듣게 되었습니다.
기존에는 보안 및 액세스 제어를 지정해준 대로만 사용했었는데, 앞으로 Redshift를 사용하며 보안 및 액세스 컨트롤에 대해 직접 고민하고 적용하기 위해서 어떤 점들을 고려 해야 할 지 배울 수 있는 기회였습니다.
👉본 세션 내용 관련하여 추가 문의나 요청 사항이 있으시다면? 우측 링크로 이동하셔서 편하게 의견을 남겨주세요! https://www.megazone.com/contact/
👉 다른 세션 후기글이 궁금하시다면? 아래 링크를 통해 확인해 주세요!
🔷Keynote Report #1. Day1 Monday Night Live with Peter DeSantis 확인하기
🔷Keynote Report #2. Day2 Adam Selipsky Keynote 확인하기
🔷Keynote Report #3. Day3 Swami Sivasubramanian Keynote 확인하기
🔷Keynote Report #4. Day4 Dr.Werner Vogels Keynote 확인하기
✅3. 현대화 (Modernization)세션 후기 확인하기
✅4. SAP 세션 후기 확인하기
✅5. 쿠버네티스 세션 후기 확인하기
✅7. 분석 세션 후기 확인하기
✅8. AI/ML 세션 후기 확인하기
✅10. 현대화 (Modernization) 2 세션 후기 확인하기
✅11. 현대화 (Modernization) 3 세션 후기 확인하기
✅13. 네트워킹 세션 후기 확인하기
✅14. 마이그레이션3 세션 후기 확인하기
✅16. 보안 세션 후기 확인하기
✅17. SAP 2 세션 후기 확인하기
✅18. 마이그레이션4 세션 후기 확인하기
✅19. DevOps 세션 후기 확인하기
✅20. 신규업데이트 세션 후기 확인하기
✅21. 스토리지 세션 후기 확인하기
✅22. Amazon 세션 후기 확인하기
✅23. 신규업데이트2 후기 확인하기
✅24. 거버넌스 후기 확인하기
✅25. 거버넌스2 후기 확인하기
✅26. DevOps 2 후기 확인하기
✅27. AI/ML 3 세션 후기 확인하기
✅28. 분석2 세션 후기 확인하기
✅29. 쿠버네티스2 세션 후기 확인하기
✅30. 분석 3 세션 후기 확인하기
✅31. 서버리스 컴퓨팅 세션 후기 확인하기
✅32. 신규 업데이트 3 세션 후기 확인하기
✅33. 신규 업데이트 4 세션 후기 확인하기
✅34. 보안 2 세션 후기 확인하기
✅35. 분석 4 세션 후기 확인하기
✅36. 모니터링 세션 후기 확인하기
✅37. AI/ML 4 세션 후기 확인하기
✅38. 운영 세션 후기 확인하기
✅39. 운영 2 세션 후기 확인하기
✅40. 데이터베이스 세션 후기 확인하기
✅41. 데이터베이스 2 세션 후기 확인하기
✅42. 보안 3 세션 후기 확인하기
✅43. SaaS 세션 후기 확인하기
✅44. 컴퓨팅 세션 후기 확인하기
✅45. 신규 업데이트 : AWS SnapStart 세션 후기 확인하기
✅46. 신규 업데이트 : 네트워크 최적화 인스턴스와 최신 Amazon EC2 네트워킹 세션 후기 확인하기
✅47. 아키텍처 세션 후기 확인하기
✅48. SAP 3 세션 후기 확인하기
✅49. 고객사례 세션 후기
✅50. SAP 4 세션 후기 확인하기
✅51. 데이터베이스, 마이그레이션 세션 후기 확인하기
✅52. 보안 4 세션 후기 확인하기
✅53. 보안 규정 세션 후기 확인하기
✅54. 데이터베이스 3 세션 후기 확인하기
✅55. 신규 업데이트 5 세션 후기 확인하기
✅56 .DevOps 3 세션 후기 확인하기
✅57. 분석 5 세션 후기 확인하기
✅58. AI/ML 5 세션 후기 확인하기
✅59. DevOps 4 세션 후기 확인하기
✅60. 신규업데이트 6 세션 후기 확인하기
✅61. 분석 6 세션 후기 확인하기
✅62. 데이터 보호 세션 후기 확인하기
✅63. AI/ML 6 세션 후기 확인하기
✅64. DevOps 5 세션 후기 확인하기
✅65. 신규업데이트 7 세션 후기 확인하기
✅66. 신규 업데이트 8 세션 후기 확인하기