BLOG
AWS ML 플랫폼 팀의 제품 매니저인 Kumar Venkateswar가 Amazon SageMaker와 함께 AutoScaling에 대한 발표 내용을 공유합니다.
Amazon SageMaker를 사용하여 수천명의 고객이 자신들의 머신 러닝(ML)모델을 쉽게 구축, 교육 및 배포할 수 있습니다. 현재 Amazon SageMaker용 AutoScaling 기능을 사용하면 프로덕션 ML 모델을 더욱 쉽게 관리할 수 있습니다. 유추에 따라 필요한 크기에 맞게 인스턴스 수를 수동으로 관리하는 대신 이제는 SageMaker를 통해 AWS AutoScaling 정책에 기반하여 인스턴스 수를 자동으로 관리할 수 있습니다.
SageMaker는 많은 고객들이 ML 프로세스를 쉽게 관리할 수 있도록 해 주었습니다. 우리는 고객들이 Jupyter 노트북과 관리형 분산 교육을 활용하는 것을 보았습니다. 고객들이 애플리케이션을 머신 러닝과 통합하기 때문에 추론을 호스팅하는 SageMaker에 모델을 배치하는 고객을 본 적이 있습니다. SageMaker를 사용하면 이 작업을 쉽게 수행할 수 있습니다. 추론 호스트에 OS(운영 체제) 또는 프레임워크를 연결할 필요가 없고 가용성 영역 전체에 추론 호스트를 구성하지 않아도 됩니다. 모델을 SageMaker에 배포하기만 하면 나머지는 회사에서 처리합니다.
지금까지 추론에 필요한 규모를 제공하기 위해 엔드포인트(또는 프로덕션 변수)마다 인스턴스의 수와 유형을 지정해야 했습니다. 추론 양이 변경되면 다운타임 없이 각 엔드포인트를 지원하여 이러한 변경을 수용할 수 있도록 인스턴스 수 와/또는 유형을 변경할 수 있습니다. 프로비저닝 변경을 쉽게 하는 것 외에도, 고객들은 SageMaker의 관리 용량을 더 쉽게 관리할 수 있는 방법을 문의했습니다.
Amazon SageMaker용 AutoScaling을 사용하여 SageMaker 콘솔, AWS AutoScaling API 및 AWS SDK에 저장하면 작업이 훨씬 쉬워집니다. 이제 추론 양을 면밀히 모니터링하고 응답하여 엔드포인트 구성을 변경하는 대신, AWS AutoScaling을 사용하여 고객이 크기 조정 정책을 구성할 수 있습니다. AutoScaling을 사용하면 정책에 정의된 Amazon CloudWatch 메트릭 및 목표 값을 사용하여 실제 워크 로드에 대응하여 인스턴스의 수를 증가 또는 감소시킬 수 있습니다. 이러한 방식으로 고객은 예측 가능한 성능을 낮은 비용으로 유지하기 위해 자동으로 추정 양을 조정할 수 있습니다. 인스턴스 별로 대상 추정 처리량을 지정하고 각 프로덕션 변수의 인스턴스 수에 대한 상한 및 하한을 제공하면 됩니다. SageMaker는 Amazon CloudWatch 알람을 사용하여 인스턴스당 처리량을 모니터링하고, 필요에 따라 프로비저닝 된 용량을 상향 또는 하향 조정합니다.
AutoScaling을 사용하여 엔드포인트을 구성한 후에 SageMaker는 배포된 모델을 계속 모니터링하여 인스턴스 수를 자동으로 조정합니다. SageMaker는 애플리케이션 트래픽 변화에 대응하여 원하는 수준으로 처리량을 유지합니다. 이렇게 하면 운영 환경에서 모델을 쉽게 관리할 수 있을 뿐 아니라, 최대 부하를 관리하기 위해 충분한 용량을 더 이상 프로비저닝 할 필요가 없으므로 구축된 모델의 비용을 절감할 수 있습니다. 대신 예상되는 최소 트래픽과 최대 트래픽을 수용하도록 제한을 구성하면 Amazon SageMaker가 이러한 제한 내에서 비용을 최소화하기 위해 작동합니다.
어떻게 시작합니까? SageMaker 콘솔을 엽니다. 기존 엔드포인트의 경우 먼저 엔드포인트에 액세스하여 설정을 수정합니다.
그런 다음 엔드포인트 런타임 설정 섹션으로 스크롤하고 변형을 선택한 다음 auto scaling 구성을 선택합니다.
먼저 최소 및 최대 인스턴스 수를 구성하십시오.
그런 다음 이전 로드 테스트에 지정된 대로 인스턴스를 추가할 인스턴스당 처리량을 선택합니다.
필요한 경우, 워크 로드가 크게 변동되는 기간 동안 움직임을 방지하기 위해 안팎 확장을 위한 쿨다운 기간을 설정할 수 있습니다. 그렇지 않은 경우 SageMaker가 기본 값을 사용합니다.
끝입니다! 이제 점점 더 많은 추론을 포함하여 자동으로 확장되는 엔드포인트가 있습니다.
일반적인 SageMaker는 선불요금제로 사용되는 용량에 대해 지불하므로, 상대적인 유휴 기간 동안 사용되지 않는 용량에 대해 더 이상 지불하지 않아도 됩니다!
Amazon SageMaker의 autoscaling 기능은 현재 미국 동부(버지니아 북쪽 및 오하이오), 유럽 연합(아일랜드)및 미국 서부(오리건) AWS영역에서 사용할 수 있습니다. 자세한 내용은 Amazon SageMaker autoscaling 설명서를 참조하십시오.
원문 URL: https://aws.amazon.com/ko/blogs/aws/auto-scaling-is-now-available-for-amazon-sagemaker/
** 메가존 TechBlog는 AWS BLOG 영문 게재글중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.