BLOG
산업체 고객은 예측 품질, 예측 유지 관리 및 자산 상태 모니터링에 대한 목표를 달성하기 위해 AWS 클라우드를 점점 더 많이 사용하고 있습니다. 이 중에서도 예측 품질은 운영 환경의 안전 수준과 상당히 밀접한 상관관계가 있습니다. (AWS 클라우드에 대한 고객 사용 사례는 산업용 IoT 애플리케이션을 위한 주요 사용 사례 ebook을 참고해 주십시오.)
오늘은 AWS IoT Core및 AWS IoT Greengrass를 활용하는 안전 솔루션에 대해 설명해 드리겠습니다. 해당 솔루션은 AWS 고객인 Bigmate가 만들었으며, Bigmate는 이러한 서비스를 창고, 운송 센터 및 제조 현장과 같은 인프라 환경에 배치된 기존 CCTV 카메라와 통합했습니다. 본 AWS 서비스는 시스템의 이상 또는 예상치 못한 입력에 대한 분석, 보고 및 경고 기능을 제공하여 Edge에서 산업 안전을 향상시킵니다.
Edge 기반 소프트웨어 및 클라우드 기반 서비스를 사용하여 Bigmate는 Edge Gateway에서 이미지 분석 및 오브젝트 검출을 수행하는 플랫폼을 개발했습니다. 이 플랫폼은 이전 동작을 기반으로 객체의 경로를 예측할 수 있습니다. 플랫폼은 작업자에게 잠재적 사고 및 안전하지 않은 행동에 대해 경고를 줄 수 있습니다.
일반적으로 창고 환경에서 분석될 수 있는 대상은 사람과 지게차겠지요. 본 플랫폼은 다음 그림과 같이 오브젝트의 예측 경로에 대한 편차를 기반으로 잠재적 충돌을 운영자에게 예측하고 경고 할 수 있습니다.
이 플랫폼은 AWS IoT Greengrass, AWS IoT Core, Amazon DynamoDB 및 Amazon EC2를 사용합니다. BigMate 플랫폼은 곧 Amazon SageMaker 도 통합할 것입니다.
Bigmate는 처음에 독립형 NVIDIA Jetson TX-2 Edge Gateway에서 플랫폼을 개발했지만, 여러 시설, Edge Gateway 및 카메라 간 접근 방식을 대규모로 관리하기 어렵다는 것을 알게 되었습니다. 하여 보다 쉬운 확장을 위해 AWS IoT Greengrass 내에서 로컬로 실행되는 AWS Lambda 기능을 사용해 플랫폼 관리 기능을 구축했습니다. 이를 통해 다음과 같은 이점을 얻을 수 있었습니다.
- 개발자가 현장에서 작업할 필요 없이 여러 환경에 소프트웨어 및 구성을 자동으로 배포합니다.
- Amazon S3와 같은 AWS 서비스와 직접 통합하여 이미지 샘플을 수집하고 이미지 분류 모델 트레이닝을 향상시킵니다.
- Amazon SageMaker를 사용하여 AI모델의 개선과 Edge 전개를 촉진합니다. 이것에 의해 오브젝트 검출 라이브러리 데이터를 불러오는 캡쳐된 시나리오도 확장됩니다.
Dropbear 애플리케이션(상기 그림 참조)은 이미지 캡처, 오브젝트 감지, 추적 및 CCTV 카메라 스트림의 심층 분석을 포함한 여러 기능을 수행합니다. Dropbear는 대기 시간을 최소화하기 위해 C ++로 작성되었으며 이는 안전 관련 애플리케이션에서 중요한 요소입니다. Dropbear는 AWS IoT SDK를 사용하여 AWS IoT Greengrass와 로컬로 통신합니다. 또한 AWS SDK를 사용하여 이미지를 Amazon S3로 전송할 수 있습니다.
이 접근 방식의 이점은 단 몇 밀리초의 대기 시간으로 AWS IoT Greengrass에서 로컬로 경보 및 사이렌을 트리거 할 수 있다는 것입니다. 이 시스템은 인터넷 연결 없이도 계속 작동하여 이상 및 안전 문제를 신속하게 감지하고 작업자에게 신뢰 가능한 적절한 알림을 제공합니다.
데이터는 클라우드로 스트리밍되어 DynamoDB 및 Amazon EC2를 사용하는 Bigmate의 맞춤형 시각화 플랫폼으로 통합된 멀티 팩토리 뷰를 생성하는 데 사용됩니다. 인터넷 중단이 발생하면 데이터를 스풀링하고 저장할 수 있습니다. 연결이 복원되면 플랫폼이 데이터를 보냅니다.
여러 시설의 데이터를 분석함으로써 운영자는 분석을 실행하여 시설 전체의 안전 수준을 비교할 수 있습니다. 이는 기업 전체의 조직 안전 성능 평가에 매우 중요합니다.
IoT Edge 및 제어 서비스
Bigmate는 AI 워크로드 성능으로 인해 Edge 장치로 NVIDIA Jetson TX2 칩셋을 선택했습니다. 로컬 Lambda 함수 및 ML 추론 모델을 포함한 Bigmate의 애플리케이션 코드는 다른 NVIDIA GPU로 이식될 수 있습니다. 향후 배포 시 회사에 많은 선택지와 유연성을 제공합니다. 이러한 유연성은 Edge의 라이브 비디오 프레임에서 거리를 계산할 뿐만 아니라 이벤트 생성 정책을 감지, 지속적으로 추적 및 평가하는데 필요한 워크로드를 고려할 때 중요합니다.
Bigmate의 CTO인 Peter Girgis는 AWS IoT Greengrass가 처음부터 보안 조치를 구축하는 대신 AWS 보안 서비스를 통합하여 개발 시간을 2~3주 단축하는 데 도움이 되었다고 말했습니다. 플랫폼은 CCTV 및 작업자 안전 데이터의 기밀성과 무결성을 관리하기 때문에 Bigmate 및 고객에게 중요한 요구 사항입니다.
Bigmate는 AWS IoT 및 AWS IoT Greengrass를 사용하여 개발 리소스 노력을 전체의 15-20% 줄임으로써 팀이 핵심 애플리케이션에 더 많은 시간을 할애할 수 있게 하였습니다. 또한 AWS IoT Core 및 Amazon S3와 같은 기본 AWS 서비스를 사용하여 전체적으로 높은 가용성을 달성할 수 있었습니다.
Bigmate는 기존 비디오 기술을 활용하여 신속하게 솔루션을 기존 CCTV 인프라에 통합했습니다. UDP, RTP 및 RTSP와 같이 업계에서 사용되는 몇 가지 일반적인 프로토콜이 있습니다. 일반적으로 프로세스는 CCTV 카메라에서 피드를 요청하거나(적절한 인증 사용) 고객이 카메라 피드를 IP 주소로 푸시하도록 카메라를 구성할 수 있습니다. 그러나 비디오 품질 조정(지터 및 대역폭 최적화 포함)을 수행하려면 약간의 경험이 필요할 수 있습니다. 카메라 피드 구성은 Edge Gateway에서 호스팅되는 JSON 파일입니다. 구성이 완료되면 구성을 AWS IoT 쉐도우 문서로 배포합니다.
Edge Gateway는 사이렌과 같은 로컬 장치에 연결하여 운영자에게 잠재적 충돌을 경고할 수 있습니다. Bigmate는 맞춤형 3D 프린트 케이스의 배터리에 연결된 Sonoff SV를 경고 장치로 테스트했습니다. 이 개념 증명을 구축하는 데 약 2 시간이 걸렸습니다. 이는 몇 년 전까지만 해도 불가능한 일이었다고 Peter Girgis는 말했습니다.
기계 학습
처음에 Bigmate는 주로 시장에 출시되는 시간을 단축하기 위해 YOLO와 Darknet 기반의 기계 학습 모델을 사용하여 플랫폼을 프로토 타입으로 만들었습니다. 프로토 타입 관리는 시간이 많이 걸리는 수동 프로세스였습니다. 초기 실험에는 좋았지만 프로덕션 모델 배포, 기능 및 확장에는 너무 제한적이었습니다. Bigmate는 TensorRT, Amazon SageMaker 및 Amazon SageMaker Neo를 사용하여 자체 모델을 개발했습니다. 결과적으로 Bigmate는 이제 문제가 발생할 때 플랫폼을 발전시켜 향후 배포에서 회사에 높은 수준의 유연성을 제공 할 수 있게 되었습니다.
Bigmate는 1대의 카메라에서 CCTV 프레임의 오브젝트에 대한 깊이 계산도 구현했습니다. 깊이 계산을 통해 시스템은 물체의 속도와 물체 사이의 거리를 추정할 수 있어 안전 문제에 대한 더욱 정확한 경고를 제공합니다.
교훈
Bigmate의 CTO인 Peter Girgis는 “기본적으로 AWS IoT Greengrass는 기능을 직접 개발할 필요 없이 플랫폼을 구축 할 수 있었습니다.”라고 전하며 AWS IoT Greengrass에 대한 깊은 인상을 표현했습니다.
그들은 3-4명으로 구성된 핵심 개발 팀과 함께 9개월 정도의 기간 동안 빠르게 플랫폼을 개발할 수 있었습니다. 플랫폼은 개조되어 기존 산업 현장에 통합될 수 있으며, 설치 후 사고가 발생하기 전에 사고를 감지하고 시설 전체의 안전 향상에 대한 통찰력을 제공할 수 있습니다. Bigmate는 미래를 향해 산업 작업장을 보다 안전하고 안전하게 유지할 수 있는 새로운 기능을 계획하고 있습니다.
결론
본 글에서는 AWS 서비스가 Bigmate 시스템의 비정상 또는 예기치 않은 입력에 대해 운영자에게 분석, 보고 및 경고하여 Edge에서 산업 안전을 향상시키는 방법을 살펴보았습니다. 독자 여러분도 아래의 링크를 통해 자체 비디오 분석 솔루션을 실험해 보시길 바랍니다.
- AWS DeepLens와 Kinesis Video Streams를 통한 클라우드 및 Edge의 비디오 분석
- AWS IoT Greengrass로 Edge에 얼굴 인식 모델을 설치하는 방법
- Edge에서의 머신 학습: AWS IoT Greengrass 1부 및 2부에서 이미지 분류 모델 사용 및 재훈련
- AWS DeepLens를 사용해 소비된 커피 수 추적하기
** 메가존 클라우드 TechBlog는 AWS BLOG 영문 게재 글 중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역 및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS 페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.