BLOG
본 글의 원문은 플랫폼 아키텍터인 Henri Gort와 Konecranes에서 Data Lake Software Engineer를 담당하고 있는 Mehmet Yalcinkaya에 의해 작성되었습니다. Konecranes는 세계 최고의 Lifting Businesses ™ 그룹으로, 제조 및 프로세스 산업, 조선소, 항만 및 터미널 등 광범위한 고객 대상으로 서비스를 제공합니다. ‘Konecranes’라는 단어에는 핀란드어로 ‘Kone’ 또는 기계와 ‘cranes’를 의미하지만, 실제로는 생산성을 높이는 리프팅 솔루션과 많은 제조업체의 기기를 리프팅 하기 위한 서비스를 제공하고 있습니다. 50 개국에 약 16,000명의 직원이 있습니다.
오늘 메가존 테크블로그에선 이 Konecranes 고객사가 산업용 기계의 지능과 보안을 개선하기 위해, 기계에 설치된 센서에서 수십억 개의 레코드를 어떻게 활용했는지를 파헤쳐 보겠습니다.
데이터 레이크 생성
먼저 센서 데이터를 SQL Server에서 AWS로 마이그레이션 했습니다. 서버리스 AWS Glue 서비스를 이용하여 데이터 레이크를 생성하고, SQL에서 Amazon S3 및 Amazon DynamoDB로 데이터를 효율적으로 이동 시킴과 동시에, 배치 ETL 프로세스를 실행 했습니다. ETL 프로세스는 여러 크레인의 이력 데이터 집계를 다루고, 그것을 조화로운 데이터 구조로 결합하여 데이터를 마이닝하고 머신 KPI를 도출하며 DynamoDB의 운영 사용량에 대한 데이터를 검증합니다.
DynamoDB는 운영 데이터를 저장하기 위한 이상적인 데이터베이스입니다. Microsoft SQL Server이전의 데이터베이스 아키텍쳐 보다도 데이터 트래픽 급증에 대응하며, 전체적인 성능을 향상 시키는 것이 가능합니다. 이행 후, 데이터 베이스의 속도가 향상하며, 데이터 베이스 관리 비용이 낮아졌습니다.
AWS Glue 선택
ETL 처리를 위해 AWS Glue를 채택히게 되면 다음과 같은 여러 이점을 누릴 수 있습니다.
- 서버 유지 보수가 없습니다.
- 초과 또는 미달 프로비저닝 리소스를 회피하여, 비용 절감됩니다.
- 여러 데이터 소스, 형식 및 DynamoDB와 같은 AWS 스토리지 서비스를 지원합니다.
- 많은 AWS 서비스에서 즉시 사용할 수 있는 지능형 크롤러가 스키마를 자동으로 유추합니다.
- 개발자는 분류자를 작성하여 크롤러 및 해당 출력을 사용자 정의 할 수 있습니다.
실시간 머신 데이터 분석
마이그레이션이 완료되면 이제 완전 관리형 Amazon Kinesis 및 Amazon Kinesis Data Firehose를 사용하여 전 세계 20,000개 이상의 크레인 IoT 데이터를 스트리밍하고 집계하여 기존 데이터 처리 인프라를 개선할 수 있습니다. 머신의 데이터 생산자는 데이터를 개별 배치 메시지로 Kinesis 스트리밍 엔드 포인트에 푸시합니다.
데이터는 다른 목적으로 AWS 서비스에 라우팅 됩니다. 예를 들어 각 메시지는 레거시 스토리지용 Kinesis Data Firehose를 통해 S3에 수집하고, DynamoDB에 저장할 새로운 데이터의 운영 통찰력을 도출하고 업데이트하기 위해 AWS Lambda 함수가 소비됩니다. Kinesis를 탑재한 스트림 처리 파이프 라인은 Konecranes의 디지털 솔루션을 수 밀리초 이내로 동적으로 업데이트합니다.
머신의 안정 및 보안 향상
고객 기반의 기계가 증가함에 따라 IoT 보안에 대한 새로운 접근 방식도 필요합니다. AWS는 다양한 리프팅 장비와 통합된 IoT 디바이스에서 실행되는 소프트웨어의 보안을 개선했습니다. 또한 상황과 사용 사례에 따라 클라우드와 IoT 장치 모두에서 동일한 소프트웨어 구성 요소를 이식 가능하게 실행할 수 있는 기능이 필요했습니다. AWS STS, AWS Secrets Manager, AWS IoT Device Defender 및 IAM 역할의 보안 메커니즘을 사용하여 아키텍처를 구축하는 것을 실현 시켰고, 결과는 긍정적이었습니다. 레거시 솔루션으로 인한 문제를 해결하고, AWS IoT Greengrass상에서 최신 버전을 실행하고 있는 일부 구성 요소에서 CPU 사용율을 낮추었습니다.
결론
AWS IoT Greengrass , API Gateway, DynamoDB, Kinesis 및 Lambda를 사용하여 SQL Server 및 새로운 아키텍처에서 마이그레이션한 이후, Konecranes는 고객을 위해 비용 최적화된 확장 가능하며 대기 시간이 짧은 인프라와 서버리스 디지털 솔루션을 구축할 수 있게 되었습니다. 또한 이러한 서비스를 세분화된 개발 스택으로 관리함으로써 개발자는 개발에 집중할 수 있으며 AWS는 인프라를 유지 관리 할 수 있게 되었죠. Konecranes를 위한 AWS의 이점은 놀랍습니다. AWS 클라우드는 성능, 확장성 및 저렴한 비용과 유지 보수가 필요 없는 서비스를 제공하여 고객에게 지연 시간이 짧은 안정적인 디지털 서비스를 제공합니다.
저자 소개
Henri Gort 는 Konecranes Digital Platform 부서의 플랫폼 아키텍터로서 그룹 고객을 위한 디지털 서비스를 개발하고 제공하는 업무를 담당합니다. Henri는 자동화 엔지니어링 및 소프트웨어 개발 분야에서 경력을 쌓았으며 서비스 지향 아키텍처, 서버리스 API, 크레인 제어 시스템, 필드 버스 기술 및 기타 산업 통신 개념 (예 : OPC-UA)에서 10년 이상의 경력을 쌓았습니다.
Mehmet Yalcinkaya (건설, 건축 정보 모델링의 정보 기술 박사)는 Konecranes Global의 소프트웨어 엔지니어로, 디지털화 및 산업 사물 인터넷 (IIoT)에 중점을 둔 기계 및 건설 산업에 경험이 있습니다. 데이터 엔지니어링, 빅 데이터, 데이터 분석, 백엔드 개발 및 마이크로 서비스에 능숙합니다.
원문 URL: https://aws.amazon.com/ko/blogs/database/running-safe-smart-and-connected-machines-on-aws/
** 메가존 클라우드 TechBlog는 AWS BLOG 영문 게재 글 중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역 및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS 페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.