EC2 Auto Scaling에서 스팟 인스턴스에 대한 선제적 용량 리밸런스 기능 활용하기

KENNETH

4년 ago

AWS는 Amazon EC2 Auto Scaling 그룹에서 스팟 인스턴스 수명 주기를 사전에 관리할 수 있는 용량 리밸런싱 기능을 제공합니다. 용량 리밸런싱은 기존의 용량 최적화 할당 전략(가장 최적의 예비 용량을 찾도록 설계)과 혼합 인스턴스 정책 (여러 가용 영역에서 실행되는 여러 인스턴스 유형에 배포하여 가용성을 향상 시키도록 설계)을 보완합니다. 용량 리밸런싱은 EC2 Auto Scaling 그룹의 스팟 인스턴스를 중지하기 전에, 자동으로 교체함으로써 가용성을 높여 주게 됩니다.

스팟 인스턴스를 사전에 교체하기 위해 EC2 인스턴스 리벨런싱 권장 사항을 사용합니다. 즉, 스팟 인스턴스가 중단 위험이 높아질 때 전송되는 신호 리밸런싱 권장 신호는 기존 2분인 스팟 인스턴스 중단 알림보다 더 빨리 도착하므로, 중단 위험이 높은 신규 또는 기존 스팟 인스턴스로 워크로드를 사전에 재조정 할 수있는 기회를 제공합니다.

EC2 Auto Scaling을 위한 용량 리밸런싱은 스팟 인스턴스 수명주기 동안 원하는 용량을 유지하도록 원활하고 자동화된 경험을 제공합니다. 여기에는 재조정 권장 사항 모니터링, 중단 위험이 높은 기존 스팟 인스턴스에 대한 교체 용량 시작, 필요한 경우 Elastic Load Balancing에서 분리, 구성된 대로 수명주기 실행을 포함합니다. 이 글에서는 EC2 Auto Scaling에서 용량 리밸런싱을 사용하여 스팟 인스턴스 지원 워크로드를 관리하는 방법에 대한 개요를 제공하고 환경에서 용량 리밸런싱을 활용하기위한 예제 사용 사례를 살펴 봅니다.

EC2 Auto Scaling 및 스팟 인스턴스 – 기본 소개

먼저 스팟 인스턴스가 무엇이며 EC2 Auto Scaling이 스팟 인스턴스 지원 워크로드를 관리하기 위한 최적의 플랫폼을 제공하는 이유를 살펴 보겠습니다. 이를 통해 용량 리밸런싱이 어떻게 도움이되는지 설명합니다.

스팟 인스턴스는 온-디맨드 가격 대비 대폭 할인된 AWS 클라우드의 예비 EC2 컴퓨팅 용량입니다. AWS는 주어진 시간에 예측할 수 없는 수요에 대한 용량을 구축하기 때문에 (77 개 가용 영역과 24 개 리전에서 350 개 이상의 인스턴스 유형을 모두 고려) 종종 초과 용량이 있습니다. 예비 용량을 사용하지 않고 유휴 상태로 두는 대신 스팟 인스턴스로 구매할 수 있습니다. 높은 할인의 대가로 스팟 인스턴스에는 용량이 부족할 때는, 중단 가능하며 EC2에서 용량을 다시 필요로 할 때 반환해야 합니다.

즉, 사용 가능한 예비 용량의 위치와 양은 동적이며 지속적으로 실시간으로 변경되므로 스팟 고객은 중단 가능성에 대해 대비한 워크로드만 실행하는 것이 매우 중요한 이유입니다. 스팟 워크로드는 유연해야 하는데, 실시간으로 예비 용량이 있는 곳으로 이동할 수 있어야 합니다 (또는 예비 용량을 다시 사용할 수 있을 때까지 일시 중지할수도 있어야 합니다).

이러한 문제를 극복하기 위해 EC2 Auto Scaling을 사용할 수 있습니다. EC2 Auto Scaling은 애플리케이션 가용성을 유지하도록 설계되어 정의한 조건에 따라 EC2 인스턴스를 자동으로 추가하거나 제거 할 수 있습니다. EC2 워크로드에 대한 유연한 구성을 기본적으로 지원하기 위해 EC2 Auto Scaling에 새로운 기능을 추가하여 고객을 대신하여 지속적으로 혁신 해 왔습니다. 이러한 혁신 중 하나는 단일 Auto Scaling 그룹에서 여러 인스턴스 유형 및 구매 옵션을 지원 (2018년 출시)하는 혼합 인스턴스 정책 입니다. 또 다른 방법ㅇ은 용량 최적화 할당 정책(2019 년 출시)으로, 스팟 인스턴스 지원 워크로드를 위한 최적의 예비 용량을 찾기 위해 설계된 할당 전략입니다. 이러한 기능은 유연한 워크로드 모범 사례를 지원하고 용량의 동적 변화에 자동으로 대응하기위한 것입니다.

EC2 Auto Scaling에서 사후 대응에서 사전 예방적 스팟 용량 리밸런싱 방식

기존의 EC2 Auto Scaling의 기본 동작은 스팟 인스턴스 중단에 대한 사후 접근 방식을 취하는 것입니다. 즉, EC2 Auto Scaling은 인스턴스가 EC2에 의해 종료되고, 상태 확인이 실패한 후에 중단된 스팟 인스턴스를 다른 스팟 인스턴스로 교체하려고합니다. 중단에 대한 사후 접근 방식은 많은 워크로드에서 잘 작동합니다. 그러나, 저희는 고객으로부터 EC2 Auto Scaling이 스팟 인스턴스 중단을 처리하기 위해보다 적극적인 접근 방식을 취해 달라는 피드백을 받았습니다.

이번에 출시된 EC2 Auto Scaling의 용량 리밸런싱은 EC2 용량의 동적 특성을 처리 할 때, 사전 예방적 접근 방식을 취하도록 설계되었습니다. 이는 “최종” 2분 이내 스팟 인스턴스 중단 알림과 함께 EC2 인스턴스 재조정 권장 신호를 모니터링하여 수행합니다. 재조정 권장 신호가 감지되면 자동으로 종료되기 전에 스팟 인스턴스를 새 스팟 인스턴스로 교체하게 됩니다. 교체 스팟 인스턴스를 시작하여 중단을 통해 원하는 용량을 유지하려고 시도하는 것 외에도 용량 리밸런싱은 고객에게로드 로드 밸런서에서 등록 취소와 같은 정상적인 종료 프로세스를 통해 스팟 인스턴스를 가져와 Auto Scaling 그룹에서 스팟 인스턴스를 정상적으로 제거 할 수 있는 기회를 제공합니다.

EC2 Auto Scaling의 용량 리밸런싱은 몇 가지 모범 사례와 결합 할 때 가장 잘 작동합니다.

워크로드 유연성 – 용량 리밸런싱은 유연성을 기반으로하며, EC2 Auto Scaling 혼합 인스턴스 정책과 가능한 한 많은 인스턴스 유형 및 가용 영역을 사용할 때 가장 잘 작동합니다. 워크로드에 대해 여러 인스턴스 유형, 크기 및 세대를 한정하고 가능하면 모든 가용 영역을 사용하시기 바랍니다.
용량 최적화 할당 전략 사용 – 용량 리밸런싱은 용량 최적화 할당 전략과 유연한 인스턴스 유형 및 가용 영역 목록과 결합 될 때 최적으로 작동합니다. 목표는 워크로드를 재조정할 최적의 예비 용량을 찾는 것입니다.
종료 수명주기 활용 (선택 사항) – 종료 라이프 사이클은 종료 전에 최종 작업을 수행해야하는 경우, 강력한 기능입니다.

예제 자습서 – 웹 애플리케이션 워크로드

이제 EC2 Auto Scaling에서 용량 리밸런싱을 활용하기위한 모범 사례를 이해 했으면, 실제 예제 워크로드를 살펴 보겠습니다. 이 시나리오에서는 Application Load Balancer 뒤에서 실행되는 Auto Scaling 그룹의 75% 스팟 인스턴스와 25% 온-디맨드 인스턴스로 구동되는 웹 애플리케이션이 있습니다. 가용성을 유지하고 Auto Scaling 그룹이 스팟 인스턴스 중단 및 용량 리밸런싱을 자동으로 처리하도록하고 싶습니다.

Auto Scaling 그룹 구성은 다음과 같습니다 (혼합 인스턴스 정책의 용량 최적화 할당 전략과 결합 된 인스턴스 유형 및 가용 영역 유연성의 모범 사례에 유의하십시오).

{
   "AutoScalingGroupName": "myAutoScalingGroup",
   "CapacityRebalance": true,
   "DesiredCapacity": 12,
   "MaxSize": 15,
   "MinSize": 12,
   "MixedInstancesPolicy": {
      "InstancesDistribution": {
         "OnDemandBaseCapacity": 0,
         "OnDemandPercentageAboveBaseCapacity": 25,
         "SpotAllocationStrategy": "capacity-optimized"
      },
      "LaunchTemplate": {
         "LaunchTemplateSpecification": {
            "LaunchTemplateName": "myLaunchTemplate",
            "Version": "$Default"
         },
         "Overrides": [
            {
               "InstanceType": "c5.large"
            },
            {
               "InstanceType": "c5a.large"
            },
            {
               "InstanceType": "m5.large"
            },
            {
               "InstanceType": "m5a.large"
            },
            {
               "InstanceType": "c4.large"
            },
            {
               "InstanceType": "m4.large"
            },
            {
               "InstanceType": "c3.large"
            },
            {
               "InstanceType": "m3.large"
            }
         ]
      }
   },
   "TargetGroupARNs": [
      "arn:aws:elasticloadbalancing:us-west-2:123456789012:targetgroup/my-targets/a1b2c3d4e5f6g7h8"
   ],
   "VPCZoneIdentifier": "mySubnet1,mySubnet2,mySubnet3"
}

다음으로 다음과 같이 Auto Scaling 그룹을 생성합니다.

aws autoscaling create-auto-scaling-group 
  --cli-input-json file://myAutoScalingGroup.json

수명주기 후크를 사용하여 인스턴스가 종료되기 전에 로그를 다운로드합니다.

aws autoscaling put-lifecycle-hook 
  --lifecycle-hook-name myTerminatingHook 
  --auto-scaling-group-name myAutoScalingGroup 
  --lifecycle-transition autoscaling:EC2_INSTANCE_TERMINATING 
  --heartbeat-timeout 300

이 예제 시나리오에서 위의 구성으로 인해 Auto Scaling 그룹에 9개의 스팟 인스턴스와 3개의 온 디맨드 인스턴스, 3개의 스팟 인스턴스 및 각 가용 영역에 1개의 온 디맨드 인스턴스가 배포된다고 가정 해 보겠습니다. 용량 리밸런싱이 활성화 된 상태에서 9개의 스팟 인스턴스 중 하나가 EC2 인스턴스 재조정 권장 신호를 수신하면, EC2 Auto Scaling은 할당 전략 (용량 최적화)에 따라 교체 스팟 인스턴스를 자동으로 요청하여 10개의 스팟 인스턴스를 실행합니다.

새 스팟 인스턴스가 EC2 상태 확인을 통과하면, 로드 밸런서에 연결되어 서비스에 배치됩니다. 새 스팟 인스턴스를 서비스에 배치하면 EC2 Auto Scaling은 재조정 권장 신호를 수신 한 스팟 인스턴스에 대한 종료 프로세스를 진행합니다. 로드 밸런서에서 인스턴스를 분리하고 연결을 끊은 다음 종료 수명주기 후크를 수행합니다. 로드 밸런서 등록 취소 지연 및 수명 주기 후크 제한 시간 설정에 따라 인스턴스가 종료되는 데 시간이 걸릴 수 있습니다. 종료 수명주기 후크가 완료되면, EC2 Auto Scaling이 인스턴스를 종료하여 용량을 9개의 스팟 인스턴스로 되돌리게 됩니다.

마무리

기존의 스팟 인스턴스 수명 주기를 잘 관리하려면, EC2 Auto Scaling을 통한 새로운 용량 리밸런싱 기능을 사용하는 것이 좋습니다. 용량 리밸런싱은 필요에 따라 용량을 자동으로 재조정하여 워크로드 가용성을 유지하고 스팟 인스턴스 중단을 관리하기위한 원활하고 직접적인 경험을 제공합니다. 용량 리밸런싱은 인스턴스 유형 유연성 및 용량 최적화된 할당 전략과 결합 할 때 가장 잘 작동하며, 아래의 변화하는 용량간에 쉽게 재조정 할 수있는 워크로드에 특히 유용 할 수 있습니다.