BLOG

[re:Invent 2019] Observability with amazon ES
작성일: 2019-12-03

* 세션명 : Observability with amazon ES
* 일자 : 2019/12/02 13:30~14:30
* 장소 : Aria

 

 

시스템에서 생성되는 데이터를 어떻게 가공처리 해야하는지에 관하여 MTTR(Mean Time To Recovery)의 세분화, Elastic Search를 통한 시간 단축 등 활용 방안에 대해서 알 수 있었습니다.

MTTR(Mean Time To Recovery)는 MTTD/MTTI/MTTS 등으로 세분화가 가능 하며, Elastic Search를 통해 세분화 하는 시간을 단축 시킬 수 있습니다.

모니터링 데이터에는 각 타입별로 Metrics/Logs/Traces가 있습니다.

최종적으로 활용 시 측정된 입력 소스의 타입 별로 pipeline 및 aggregation layer를 구축 해서 적정한 DB를 통해 적재 및 활용 해야 합니다.

이때 Elastic Search와 Jaeger를 사용해서 어플리케이션의 이슈 관리를 할 수 있으며, Jaeger는 Worker node에 daemon set 형태로 실행 시킬 수 있습니다.

또한 K8S의 경우 POD에 fluentd daemonset과 kinesis 서비스를 통해서도 log analysis를 구현 가능합니다.

 

위와 같이 시스템에서 생성되는 데이터를 어떻게 가공처리 해야하는지 전반적으로 알 수 있었으나, 현재 시장에서 알려진 ELK Stack에 대해서는 언급이 없었던 부분이 아쉬웠습니다.