BLOG
Voiced by Amazon Polly
(원문에서 다운로드받으세요)
페비바이트(PiB – 1,125,899,906,842,624 바이트)는 인간의 두뇌 추정 메모리 용량의 절반에도 약간 못 미치는 인상적인 데이터 양입니다. 데이터 레이크, 고성능 컴퓨팅(HPC) 및 전자 설계 자동화(EDA) 애플리케이션은 전통적으로 기계 학습 및 미디어 처리와 같은 최신 데이터 집약적인 애플리케이션처럼 이 규모로 작동합니다.
Lustre용 Amazon FSx
저희는 Lustre용 Amazon FSx를 출시할 예정입니다. 이는 이러한 애플리케이션 및 기타의 요구를 충족하도록 설계되었으며, 이는 의심할 여지 없이 여러분이 꿈꾸게 될 것입니다. 분별 있고 인기 있는 Lustre 오픈 소스 프로젝트를 기반으로 하는 Lustre용 Amazon FSx는 페타바이트 규모의 파일 시스템에 밀리초 미만의 액세스를 지원하는 고도로 병렬적인 파일 시스템입니다. 수천 개의 동시 클라이언트(EC2 인스턴스 및 온프라미스 서버)는 수백만 IOPS(초당 입출력 작업 수)를 구동하고 초당 수백 기가바이트의 데이터를 전송할 수 있습니다.
몇 분 안에 파일 시스템을 생성하고, 원하는 수의 클라이언트에 마운트하고, 즉시 액세스를 시작할 수 있습니다. 이것은 완벽하게 관리되는 서비스로 유지 및 관리할 것이 없습니다. 여러분은 순간적인 사용을 위해 독립 실행형 파일 시스템을 구축할 수도 있고, 또는 여러분은 S3 버킷에 매끄럽게 결합하고 버킷의 콘텐츠에 마치 Lustre 파일 시스템인 것처럼 접근할 수도 있습니다. 각 파일 시스템은 NVMe SSD 스토리지를 지원하며 3.6TiB 단위로 프로비저닝되며, 프로비저닝된 용량의 매 1TiB마다 10,000 IOPS로 200Mbps의 총 처리량을 제공하도록 설계됩니다.
Lustre 파일 시스템 생성
AWS 관리 콘솔, CLI 또는 CreateFileSystem 함수를 호출하여 Lustre 파일 시스템을 생성할 수 있습니다. 저는 CLI를 사용할 겁니다. Lustre 엔드포인트의 서브넷과 원하는 스토리지 용량을 지정하십시오.
$ aws fsx create-file-system –file-system-type LUSTRE –storage-capacity 3600 –subnet-ids subnet-009a1149
———————————————————————————————-
| CreateFileSystem |
+——————————————————————————————–+
|| FileSystem ||
|+—————–+————————————————————————+|
|| CreationTime | 1542666225.28 ||
|| DNSName | fs-00a2e062546ff4fce.fsx.us-east-1.amazonaws.com ||
|| FileSystemId | fs-00a2e062546ff4fce ||
|| FileSystemType | LUSTRE ||
|| Lifecycle | CREATING ||
|| OwnerId | 012345678912 ||
|| ResourceARN | arn:aws:fsx:us-east-1:012345678912:file-system/fs-00a2e062546ff4fce ||
|| StorageCapacity| 3600 ||
|| VpcId | vpc-e68d9c81 ||
|+—————–+————————————————————————+|
||| LustreConfiguration |||
||+—————————————————————-+———————–+||
||| WeeklyMaintenanceStartTime | 5:09:00 |||
||+—————————————————————-+———————–+||
||| SubnetIds |||
||+—————————————————————————————-+||
||| subnet-009a1149 |||
||+—————————————————————————————-+||
이 작업은 약 5분 정도 소요되며 이용 가능이 됩니다.
$ aws fsx describe-file-systems –file-system-id fs-00a2e062546ff4fce | grep Lifecycle
|| Lifecycle | AVAILABLE ||
제 EC2 인스턴스에 이미 Lustre 커널 모듈과 Lustre 클라이언트가 설치되어 있습니다.
마운트 지점을 생성하고 Lustre 파일 시스템을 탑재합니다.
$ sudo mkdir /fsx
$ sudo mount -t lustre fs-00a2e062546ff4fce.fsx.us-east-1.amazonaws.com@tcp:/fsx /fsx
3.4TiB Lustre 파일 시스템 사용 준비가 완료되었습니다.
저는 또한 S3 버킷(또는 S3 버킷의 접두사 부분) 앞에 있는 파일 시스템을 만들 수 있습니다. 이는 제가 제 버킷을 데이터 레이크로 취급할 수 있게 해주고, 파일 기반의 툴과 응용 프로그램을 사용하여 버킷을 처리할 수 있게 해줍니다. 파일 시스템을 생성할 때 버킷 이름을 ImportPath로 포함하기만 하면 됩니다.
$ aws fsx create-file-system –file-system-type LUSTRE –storage-capacity 3600 \
–subnet-ids subnet-009a1149 –lustre-configuration ImportPath=s3://jbarr-src
제 버킷에는 약 100만 개의 파일이 들어있어서, 생성 과정은 약 30분이 걸립니다. (이 작업은 초당 약 500개의 파일이 든다고 팀이 말했습니다.) 여기 제 버킷입니다.
다음은 제 EC2 인스턴스에서 볼 수 있는 내용입니다.
이 시점에서, Lustre 파일 시스템은 제 객체에 대한 모든 메타데이터(이름, 날짜, 크기 등)를 포함하지만 실제 파일 데이터는 가지고 있지 않습니다. 이 데이터는 필요에 따라 S3에서 복사됩니다. 따라서 이 명령은 S3에 액세스하지 않습니다.
$ find . -type f
필요에 따라 S3에서 파일 시스템으로 개체를 복사하기 때문에 각 액세스에 대해 짧은 지연 시간 페널티가 있습니다.
$ find . -type f -exec grep -l -i main {} \;
제 코드의 액세스 패턴을 이해하면 lfs 명령의 sm_restore 옵션을 사용하여 미리 로드할 수 있다. 아마도 모든 C 헤더 파일을 분석할 계획입니다.
$ find . -type f -name ‘*.h’ -print0 | \
xargs -0 -n 50 -P 8 sudo lfs hsm_restore
파일에 대한 모든 변경 사항은 파일 시스템에 남아 있습니다. lfs 명령의 hsm_archive 옵션을 사용하여 변경된 파일을 S3으로 다시 내보낼 수 있습니다.
$ sudo lfs hsm_archive README.md
$ sudo lfs hsm_action README.md
첫 번째 명령은 내보내기 작업을 시작하고 두 번째 명령은 NOOP를 인쇄하여 완료되었음을 나타냅니다. 변경된 파일이 파일 시스템의 ExportPath 앞에 붙은 동일한 버킷에 기록됩니다.
명령줄에서 ExportPath를 검색할 수 있습니다.
$ aws fsx describe-file-systems –file-system-id fs-086f5160a68bc158b | grep Path
|||| ExportPath | s3://jbarr-src/FSxLustre20181120T005845Z ||||
|||| ImportPath | s3://jbarr-src ||||
각 파일 시스템은 풍부한 메트릭 세트를 CloudWatch에 게시합니다.
훨씬 더 많은 것들이 있지만, 전 거의 공간이 없습니다! 예를 들어, 저는 Lustre용 Amazon FSx를 사용하여 달성할 수 있는 척도를 보여주지 않았습니다. 저는 한 고객을 이용했지만, 수천 명의 고객을 쉽게 이용할 수 있었습니다.
알아야 할 사항
여기 Lustre용 Amazon FSx에 대해 기억해야 할 몇 가지 흥미로운 점이 있습니다.
콘솔 액세스 – CLI를 사용하여 이 게시물을 작성했으며 전체 콘솔도 사용할 수 있습니다.
리전 – 미국 동부(북 버지니아), 미국 서부(오리건), 미국 동부(오하이오), 유럽(아일랜드) 리전에서 Lustre 파일 시스템을 만들 수 있습니다.
가격 – 프로비저닝한 스토리지 양에 따라 가격이 달라지며, 미국 동부(북 버지니아), 미국 서부(오리건), 유럽(아일랜드) 리전에서 매월 GiB당 0.14달러에서 시작합니다.
액세스 – EC2 인스턴스에서 파일 시스템에 액세스할 수 있습니다. 또한 AWS Direct Connect를 사용하여 기존 데이터 센터 또는 colo를 AWS에 연결하고 여기에서 파일 시스템에 액세스할 수 있습니다.
보안 – 각 파일 시스템에 대한 액세스는 세분화된 액세스 제어를 위한 IAM 정책을 통해 보안 그룹을 통과합니다. 유휴 데이터는 Lustre용 Amazon FSx에서 관리하는 256비트 블록 사이퍼와 키를 사용하여 암호화됩니다.
지금 사용 가능합니다
지금 Lustre용 Amazon FSx를 이용할 수 있고 여러분은 오늘 사용할 수 있습니다.
원문 URL : https://aws.amazon.com/ko/blogs/aws/new-amazon-fsx-for-lustre/
** 메가존클라우드 TechBlog는 AWS BLOG 영문 게재글중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.