Amazon EMR 클러스터 자동 확장 기능 추가

KENNETH

8년 ago

Amazon EMR 클러스터 자동 확장 기능 추가

Amazon EMR 팀은 최근 신규 버전을 계속 출시하면서, 이번 분기에만 다양한 기능을 추가하였습니다.

9월 – Apache Spark, Tez, Hadoop MapReduce 데이터 암호화.
9월 – Apache Hive를 위한 오픈 소스 EMR-DynamoDB Connector 지원.
11월 – Apache Flink에서 실시간 스트리밍 처리.
11월 – 클러스터 태그를 활용한 세부 관리 기능.

오늘부터 Amazon EMR 클러스터에 대한 자동 확장 기능을 제공합니다. 이제 수평 확장 및 감소 기능을 사용하여 작업량 변경에 대한 클러스터의 코어 및 작업 노드 수를 조정하고 자원 사용을 최적화 할 수 있습니다.

수평 확장(Scale-out) 정책: 컴퓨팅 용량을 추가하여 더 큰 문제를 해결할 수 있습니다. Apache Spark 및 Apache Hive와 같은 응용 프로그램을 자동으로 증가하는 처리 능력을 활용할 수 있습니다.

수평 감소(Scale-in) 정책: 인스턴스 사용 시간이 끝나거나 전체 작업의 로드가 줄어들때 용량을 제거합니다. YARN 관리 콘테이너에서 노드가 하나 줄어 들면, YARN은 다른 노드에서 재실행됩니다. (자세한 사항은 Configure Cluster Scale-Down Behavior 문서를 참고하세요.)

자동 스케일링 사용하기
자동 스케일링을 사용하려면, 먼저 EC2 인스턴스를 시작하고 종료 할 수 있는 권한을 부여하는 IAM 역할이 클러스터와 연결되어 있어야합니다. 여러분이 EMR 콘솔에서 클러스터를 작성하는 경우, EMR_AutoScaling_DefaultRole를 만듭니다. 기본 값 있는 그대로 사용하거나 필요에 따라 사용자 정의로 지정할 수 있습니다. 프로그래밍 방식 또는 명령줄을 통해 클러스터를 만드는 경우, 아래와 같이 직접 만들 수 있습니다. 더 자세하 것은 create the default roles from the command line을 참고하세요.

Bash

$ aws emr create-default-roles

콘솔에서 클러스터를 만들 때 고급 옵션을 클릭하여 자동 확장 정책을 편집 할 수 있습니다.

연필 아이콘을 클릭하면 정책 정보 수정을 할 수 있습니다. 저의 예제는 아래와 같습니다.

본 정책이 YARNMemoryAvailablePercentage에 의해 실행하기 때문에 Spark, TEZ, Hadoop MapReduce 등의 프레임워크를 실행할 때, 메모리가 낮은 상태에서 활성화될 것입니다. 아래 옵션처럼 다양한 통계치를 선택할 수도 있습니다.