Amazon EMR 클러스터 스토리지의 동적 스케일링
Amazon EMR 클러스터 스토리지의 동적 스케일링 Amazon EMR과 같은 관리형 Apache 하둡 환경에서는 클러스터의 스토리지 용량이 가득 찬 경우 손쉽게 대응할 수 있는 솔루션이 없습니다. 이 상황은 고객이 클러스터를 시작할 때 Amazon Elastic Block Store(Amazon EBS) 볼륨을 설정하고 마운트 지점을 구성했기 때문에 발생합니다. 따라서 클러스터가 실행된 후에는 스토리지 용량을 수정하기 어렵습니다. 이를 위한 솔루션은 일반적으로 클러스터에 노드를 추가하고 데이터를 데이터 레이크로 백업한 다음 더 큰 스토리지 용량으로 새 클러스터를 시작하는 방식을 사용합니다. 또는 스토리지를 차지하는 데이터를 폐기 가능한 경우 과다한 데이터를 제거하는 것이 일반적인 방식입니다. 이에 대해 Amazon EMR에서 관리 가능한 방식으로 해결하는 데 도움이 될 수 있게 Amazon EBS의 탄력적 볼륨 기능을 사용하여 스토리지를 동적으로 확장하는 방안에 대해 알려 드리겠습니다. 이 기능을 통해 볼륨을 사용하는 중에도 볼륨 크기를 늘리거나, 성능을 조정하거나, 볼륨 유형을 변경할 수 있습니다. 변경이 적용되는 동안에는 EMR 클러스터를 계속 사용하여 빅 데이터 애플리케이션을 실행할 수 있습니다. [ more… ]