Amazon FSx for Lustre 업데이트 – 영구 및 스크래치 배포 옵션 지원
작년에 Amazon FSx for Lustre 출시 소식을 알리면서 AWS 고객이 페타바이트급의 고도 병렬 POSIX 기반 파일 시스템을 구축함으로서, 수천 개의 동시 클라이언트를 지원하고 밀리초 이하의 지연 시간으로 수백만 IOPS(초당 입출력 작업)를 달성할 수 있음을 소개했습니다.
대용량 파일 관리형 서비스인 Amazon FSx for Lustre는 세상에서 가장 널리 사용되는 고성능 파일 시스템을 쉽게 시작 및 실행할 수 있게 해 줍니다. AWS 고객들은 기계 학습, HPC(고성능 컴퓨팅) 및 금융 모델링과 같이 속도를 중요시하는 워크로드에 이 서비스를 사용하고 있습니다.
오늘 AWS에서는 Amazon FSx for Lustre를 업데이트하여 내구성과 가용성이 뛰어나고 세 가지의 성능 티어를 제공하는 고성능 파일 시스템을 생성할 수 있는 기능과 부하 변동이 심한 워크로드를 더 잘 지원할 수 있도록 설계된 새로운 2세대 스크래치 파일 시스템을 생성할 수 있는 기능을 선사합니다.
최근 업데이트
데이터 리포지토리 API – 이 업데이트는 변경된 파일을 S3로 이전하는 작업을 시작, 모니터링 및 취소할 수 있는 기능을 포함하여 파일을 FSx에서 S3로 쉽게 내보낼 수 있게 해 주는 일련의 API를 도입했습니다. 자세한 내용은 Amazon FSx for Lustre 및 Amazon S3 간에 데이터 이동에 대한 새로운 개선 사항을 참조하십시오.
SageMaker 통합 – 이 업데이트는 Amazon FSx for Lustre 파일 시스템에 저장된 데이터를 Amazon SageMaker 모델을 위한 교육 데이터로 사용할 수 있는 기능을 제공했습니다. 방대한 양의 데이터를 S3로 먼저 이동하지 않고 모델을 교육할 수 있습니다.
ParallelCluster 통합 – 이 업데이트는 AWS ParallelCluster를 사용하여 HPC 클러스터를 생성할 때 Amazon FSx for Lustre 파일 시스템을 생성할 수 있게 해 주며 기존 파일 시스템을 사용하는 옵션도 제공합니다.
EKS 통합 – 이 업데이트는 Amazon EKS 클러스터에서 새 AWS FSx CSI(컨테이너 스토리지 인터페이스) 드라이버를 사용하여 Amazon FSx for Lustre 파일 시스템에 액세스할 수 있게 해 줍니다.
더 작은 파일 시스템 크기 – 이 업데이트는 기존의 3.6TiB뿐 아니라 1.2TiB 및 2.4TiB 크기의 Lustre 파일 시스템을 생성할 수 있게 해 줍니다.
CloudFormation Support – 이 업데이트는 AWS CloudFormation 템플릿을 사용하여 Amazon FSx for Lustre 파일 시스템을 사용하는 스택을 배포할 수 있게 해 줍니다. 자세한 내용은 AWS::FSx::FileSystem LustreConfiguration을 참조하십시오.
SOC 규정 준수 – 이 업데이트를 통해 Amazon FSx for Lustre를 이제 SOC(Service Organization Control) 규정 준수가 필요한 애플리케이션에 사용될 수 있게 되었습니다. 이 프로그램 및 다른 규정 준수 프로그램에 대한 자세한 내용은 규정 준수 프로그램 제공 AWS 범위 내 서비스를 참조하십시오.
Amazon Linux 지원 – 이 업데이트는 Amazon Linux 또는 Amazon Linux 2를 실행하는 EC2 인스턴스에서 Amazon FSx for Lustre 파일 시스템에 액세스할 수 있도록 지원합니다.
클라이언트 리포지토리 – 이제 최신 버전의 Ubuntu, Red Hat Enterprise Linux 및 CentOS와 호환되는 Lustre 클라이언트를 활용할 수 있습니다. 자세한 내용은 Installing the Lustre Client를 참조하십시오.
신규 영구 및 스크래치 배포 옵션
초기 FSx for Lustre는 고속 단기 데이터 프로세싱을 목표로 출시되었으며, 지금까지는 이 서비스가 임시 스토리지 및 단기적 데이터 프로세싱에 이상적인 스크래치 파일 시스템을 제공했습니다. 스크래치 파일 시스템에서는 데이터가 복제되지 않고 파일 서버 장애가 발생한 경우 지속되지 않습니다. AWS에서는 이제 단기적 프로세싱에 한정되지 않도록 영구 파일 시스템을 출시하여 서비스를 확장합니다. 장기적 스토리지 및 워크로드를 위해 설계된 영구 파일 시스템에서는 데이터가 복제되고 파일 서버에 장애가 발생한 경우 서버가 교체됩니다.
AWS에서는 신규 배포 옵션 뿐 아니라 부하 변동이 심한 워크로드를 더 잘 지원하기 위해 기준보다 6배 더 높은 버스트 처리량을 제공할 수 있는 2세대 스크래치 파일 시스템도 출시합니다. 1세대 스크래치 파일 시스템과 마찬가지로 이 시스템은 임시 스토리지 및 단기 데이터 프로세싱에 이상적입니다.
다음은 배포 옵션 선택에 도움이 되는 표입니다.
| 영구 | 스크래치 2 | 스크래치 1 | |
| API 이름 |
PERSISTENT_1 |
SCRATCH_2 |
SCRATCH_1 |
| 스토리지 복제 | 동일한 AZ | 없음 | 없음 |
| 총 처리량 (1TiB의 프로비저닝된 용량별) |
50MB/s, 100MB/s, 200MB/s | 200MB/s, 1,200MB/s로 버스트 가능 | 200MB/s |
| IOPS | 수백만 | 수백만 | 수백만 |
| 지연 시간 | 밀리초 이하, 더 높은 편차 | 밀리초 이하, 매우 낮은 편차 | 밀리초 이하, 매우 낮은 편차 |
| 예상 워크로드 수명 | 일, 주, 개월 | 시간, 일, 주 | 시간, 일, 주 |
| 유휴 상태의 암호화 | 고객 관리형 또는 FSx 관리형 키 | FSx 관리형 키 | FSx 관리형 키 |
| 전송 중 암호화 | 예, 해당 리전의 지원되는 EC2 인스턴스에서 액세스할 때 지원됩니다. | 예, 해당 리전의 지원되는 EC2 인스턴스에서 액세스할 때 지원됩니다. | 아니요 |
| 최초 스토리지 할당 |
1.2TiB, 2.4TiB 및 2.4TiB 증분 | 1.2TiB, 2.4TiB 및 2.4TiB 증분 | 1.2TiB, 2.4TiB, 3.6TiB |
| 추가 스토리지 할당 | 2.4TiB | 2.4TiB | 3.6TiB |
영구 파일 시스템 생성
AWS Management Console, AWS CLI(명령줄 인터페이스)(create-file-system), CloudFormation 템플릿 또는 FSx for Lustre API(CreateFileSystem)를 사용하면 영구 배포 옵션을 사용하는 파일 시스템을 생성할 수 있습니다. 저는 콘솔을 사용하겠습니다.
그런 다음 다른 파일 시스템과 같이 마운트하고 평소대로 액세스합니다.
주요 사항
몇 가지 참고할 사항을 알려드립니다.
Lustre 클라이언트 – Lustre 클라이언트를 포함하는 AMI(Amazon Machine Image)를 사용해야 합니다. 최신 Amazon Linux AMI를 사용하거나 직접 AMI를 생성할 수 있습니다.
S3 내보내기 – 두 옵션 모두 CreateDataRepositoryTask 함수를 사용하여 변경 사항을 S3로 내보낼 수 있습니다. 이렇게 하면 99.999999999%(11개의 9)의 내구성을 제공하도록 설계된 S3의 장점을 활용하는 동시에 엄격한 RPO(복구 지점 목표)를 달성할 수 있습니다.
정식 출시
영구 파일 시스템은 모든 AWS 리전에서 사용할 수 있습니다. 스크래치 2 파일 시스템은 유럽 (런던), 유럽 (아일랜드), 아시아 태평양 (싱가포르), 아시아 태평양 (시드니), 유럽 (프랑크푸르트), 아시아 태평양 (도쿄), 미국 동부 (버지니아 북부), 미국 동부 (오하이오), 미국 서부 (캘리포니아), 미국 서부 (오레곤) 리전에서 사용할 수 있습니다. (2020년 2월 27일 현재, 서울 리전 미지원)
요금은 선택한 성능 티어와 프로비저닝한 스토리지 양을 기준으로 적용됩니다. 자세한 내용은 Amazon FSx for Lustre 요금 페이지를 참조하십시오.
— Jeff
Leave a Reply