Amazon EMR의 Amazon S3기반 Apache HBase로의 이관: 가이드라인과 모범 사례

Amazon EMR 버전 5.2.0 이상에서는 Amazon S3기반 Apache HBase를 실행할 수 있습니다. Amazon S3을 Apache HBase용 데이터 스토어로 사용하면 클러스터의 스토리지와 컴퓨팅 노드를 분리할 수 있습니다. 이는 클러스터의 크기를 컴퓨팅 요구 사항에 따라 조정하므로 비용이 절감됩니다. 더이상 전체 데이터세트를 클러스터상의 HDFS에 3벌 복제 저장하는 형태로 비용을 지불하지 않아도 됩니다.

많은 고객들이 데이터 스토리지를 위한 Amazon S3를 기반으로 Apache HBase를 실행할 때 따르는 이점을 활용하고 있습니다. 이러한 장점에는 비용 절감, 데이터 내구성, 보다 효율적인 확장성이 포함됩니다. Financial Industry Regulatory Agency(FINRA)와 같은 고객은 Amazon S3 아키텍처상의 Apache HBase로 이전하여 비용을 60%나 절감했습니다. 또한 이러한 고객은 스토리지를 컴퓨팅에서 분리하고 Amazon S3를 스토리지 레이어로 사용함에 따른 운영 혜택도 경험했습니다.

이 백서는 마이그레이션 과정을 단계별로 안내합니다. 또한 해당 백서는 Amazon S3상의 Amazon EMR 기반 Apache HBase를 선택할 시점을 선정하고, 플랫폼 보안을 계획하고, 애플리케이션 SLA를 지원하도록 Apache HBase 및 EMRFS를 튜닝하고, 데이터 마이그레이션 및 데이터 복원을 위한 옵션을 식별하고, 운영 환경의 클러스터를 관리하는 데 도움이 됩니다.

자세한 내용은 Migrating to Apache HBase on Amazon S3 on Amazon EMR을 참조하십시오.

추가 자료

이 게시물이 도움이 되었다면Setting up Read Replica Clusters with HBase on Amazon S3 및 Tips for Migrating to Apache HBase on Amazon S3 from HDFS도 읽어보십시오.

Francisco Oliveira는 AWS Professional Services의 선임 빅 데이터 엔지니어입니다. 그는 오픈 소스 기술과 AWS를 통해 빅 데이터 솔루션을 구축하는 데 초점을 맞추고 있습니다. 그는 여가 시간에 새로운 스포츠와 여행을 즐기며 국립 공원을 탐색하는 것을 좋아합니다.