AWS Snowball Edge 컴퓨팅 최적화 디바이스, Amazon S3 호환 스토리지 정식 출시

KENNETH

2년 ago

AWS Snowball Edge 컴퓨팅 최적화 디바이스, Amazon S3 호환 스토리지 정식 출시

저희는 고객을 위해 특별히 개발한 컬렉션을 AWS Snow Family에 추가하였으며, 여기에는 2016년에 추가한 Snowball Edge, 2020년 추가한 Snowcone 등이 있습니다. 이러한 서비스는 컴퓨팅 집약적인 워크로드를 실행하고, 네트워크 연결이 거부되거나, 중단되며, 간헐적이거나, 또는 제한된 엣지 로케이션에 데이터를 저장하며, 온프레미스 및 러기드 또는 모바일 환경에서 대량의 데이터를 전송합니다.

각각의 새로운 서비스는 공간 또는 무게가 제한된 환경, 휴대성 및 유연한 네트워킹 옵션에 최적화되어 있습니다. 예를 들어 Snowball Edge 디바이스에는 디바이스 구성을 위한 세 가지 옵션이 있습니다. AWS Snowball Edge Compute Optimized는 고객이 견고한 전략적 엣지 로케이션에 배포하여 컴퓨팅 애플리케이션을 실행할 수 있는 여행 가방 크기의 안전하고 견고한 디바이스를 제공합니다. 고객은 클라우드에서 엣지 애플리케이션을 현대화하고 Amazon Simple Storage Service(Amazon S3) 등의 AWS 컴퓨팅 서비스 및 스토리지 서비스를 사용한 다음 엣지의 Snow 디바이스에 이러한 애플리케이션을 배포합니다.

최종 사용자 트랜잭션을 처리하기 위해 엣지에서 5G 모바일 코어 및 실시간 데이터 분석 등의 애플리케이션을 실행하려면 로컬 오브젝트 저장소에 대한 액세스도 필요했으며, 이러한 환경에서는 스토리지 인프라 가용성이 제한적이라는 고객들의 의견을 들었습니다. Amazon S3 Adapter for Snowball를 사용하면 Snow 디바이스에서 객체를 기본 저장 및 검색할 수 있으나, 고객은 규모에 따른 유연성, 로컬 버킷 관리, 객체 태깅 및 S3 이벤트 알림을 비롯한 광범위한 Amazon S3 API 세트에 액세스하기를 원했습니다.

오늘 저희는 Snowball Edge 컴퓨팅 최적화 디바이스를 위한 Snow에 대한 Amazon S3 호환 스토리지의 범용 출시를 발표합니다. 따라서 엣지에서 지연 시간이 짧게 처리해야 하는 로컬 S3 버킷으로 데이터를 저장하고 애플리케이션을 쉽게 실행할 수 있습니다.

Snow의 Amazon S3 호환 스토리지를 사용하면 확장된 Amazon S3 API 세트를 사용하여 AWS에서 애플리케이션을 쉽게 구축하고 Snowball Edge 컴퓨팅 최적화 디바이스에 배포할 수 있습니다. 따라서 배포할 때마다 애플리케이션을 다시 설계하지 않아도 됩니다. Amazon S3 호환 스토리지가 필요한 애플리케이션을 클라우드, 온프레미스, 연결되었거나 및 연결이 끊긴 환경의 엣지에서 일관된 경험으로 관리할 수 있습니다.

또한 그래픽 사용자 인터페이스인 AWS OpsHub를 사용하여 엣지 디바이스에서 또는 중앙 위치에서 원격으로, Snow Family 서비스 및 Amazon S3 호환 스토리지를 관리할 수 있습니다. 또한 AWS 리전에서와 마찬가지로 Amazon S3 SDK 또는 AWS Command Line Interface(AWS CLI)를 통해 S3 버킷을 생성 및 관리하고, MQTT를 사용하여 S3 이벤트 알림을 받으며, SMTP를 사용하여 로컬 서비스 알림을 받을 수 있습니다.

Snow의 Amazon S3 호환 스토리지를 통해 이제 제한된 네트워크 환경의 다양한 사용 사례를 해결하여 고객에게 안전하고 내구성 있는 로컬 객체 스토리지를 제공할 수 있습니다. 예를 들어 인텔리전스 커뮤니티와 산업용 IoT의 고객은 견고한 모바일 엣지 로케이션에 비디오 분석 등의 애플리케이션을 배포합니다.

Snowball Edge 컴퓨팅에 최적화된 S3 호환 스토리지로 시작
새로운 Amazon S3 지원 Snowball Edge 디바이스를 주문하려면 AWS Snow Family 콘솔에서 작업을 생성하십시오. 기존 Snow 디바이스 또는 클러스터를 S3 호환 스토리지를 지원하는 새 교체 디바이스로 교체할 수 있습니다.

1단계 – 작업 유형에서 작업 이름을 입력하고 로컬 컴퓨팅 및 스토리지 전용을 선택합니다. 2단계 – 컴퓨팅 및 스토리지에서 선호하는 Snowball Edge 컴퓨팅 최적화 디바이스를 선택합니다.

S3 호환 스토리지를 위한 새로운 옵션인 Amazon S3 호환 스토리지를 선택하십시오. 현재 S3 Adapter 솔루션은 지원 중단될 예정이므로 Snow에서 Amazon S3 호환 스토리지를 사용하도록 워크로드를 마이그레이션하기를 권장합니다.

Amazon S3 호환 스토리지를 선택하면 단일 디바이스 또는 클러스터의 Amazon S3 호환 스토리지 용량을 구성할 수 있습니다. Amazon S3 스토리지 용량은 Snowball Edge 디바이스의 수량 및 유형에 따라 달라집니다.

단일 디바이스 배포의 경우 Snowball Edge 컴퓨팅 최적화 디바이스에 최대 31TB까지 세분화된 Amazon S3 용량을 프로비저닝할 수 있습니다.
클러스터 설정의 경우 디바이스의 모든 스토리지 용량이 Snow의 Amazon S3 호환 스토리지에 할당됩니다. Snowball Edge 컴퓨팅 최적화 디바이스의 16노드 클러스터에서 최대 500TB를 프로비저닝할 수 있습니다.

필요한 모든 작업 세부 정보를 제공하고 작업을 생성하면 작업 상태 섹션에서 디바이스 배송 상태를 확인할 수 있습니다.

OpsHub로 Snow에서 S3 호환 스토리지 관리하기
디바이스가 사이트에 도착하면 전원을 켜고 사용자 네트워크에 연결합니다. 디바이스를 관리하려면 사용자 랩톱에서 OpsHub 애플리케이션을 다운로드, 설치 및 실행합니다. 설치 후에는 디바이스의 잠금을 해제하고 관리를 시작하며, 로컬에서 지원하는 AWS 서비스를 사용할 수 있습니다.

OpsHub는 사용자 디바이스의 스토리지 용량 및 활성 인스턴스 등의 주요 지표를 요약하는 대시보드를 제공합니다. 또한 Snow Family 디바이스에서 지원하는 다양한 AWS 서비스를 제공합니다.

OpsHub에 로그인한 다음 스토리지 관리를 선택합니다. 그러면 Snow 랜딩 페이지의 Amazon S3 호환 스토리지로 이동합니다.

네트워크에서 Dynamic Host Configuration Protocol(DHCP)을 사용하는 경우 시작 서비스 설정 유형에서 단순을 선택합니다. 이 옵션을 사용하면 서비스 시작 시 각 디바이스에 가상 네트워크 인터페이스 카드(vNIC)가 자동으로 생성됩니다. 네트워크에서 고정 IP 주소를 사용하는 경우 각 디바이스에 대한 vNIC를 수동으로 생성해야 하므로 고급 옵션을 선택합니다.

서비스를 시작하면 엔드포인트 목록과 함께 서비스 상태가 활성 상태임을 확인할 수 있습니다. 다음 예는 단일 디바이스에서 활성화한 서비스를 보여줍니다.

디바이스에 새 S3 버킷을 추가하려면 버킷 생성을 선택합니다. 또는 선택한 버킷에 파일을 업로드할 수 있습니다. 새로 업로드한 객체에는 디바이스 또는 클러스터의 고유한 버킷 이름을 가진 s3://test123/test_file 등의 대상 URL이 있습니다.

또한 버킷 수명 주기 규칙을 사용하여 사용 기간 또는 날짜를 기준으로 객체 삭제를 트리거할 시기를 정의할 수 있습니다. 수명 주기 규칙 생성을 관리 탭에서 선택하여 새 수명 주기 규칙을 추가합니다.

객체 삭제 또는 불완전한 멀티파트 업로드 삭제를 규칙 작업으로 선택할 수 있습니다. 특정 날짜 또는 객체의 사용 기간을 기준으로 삭제를 예약하는 규칙 트리거를 구성합니다. 이 예에서는 업로드 후 객체를 삭제하도록 이틀을 설정했습니다.

또한 S3 for Snowball Edge에서 지원하는 모든 API 작업에 Amazon S3 SDK/CLI를 사용할 수 있습니다. 자세히 알아보려면 AWS 설명서에서 Snowball Edge 디바이스에서 S3 버킷 작업을 참조하십시오.

알아야 할 사항
Snow에서 Amazon S3 호환 스토리지를 사용할 때는 추가 기능 및 고려 사항과 관련하여 다음 사항을 염두에 두십시오.

용량: 디바이스 또는 클러스터에서 Amazon S3 용량을 모두 사용하는 경우 쓰기(PUT) 요청에서 용량 부족 오류가 발생합니다. 읽기(GET) 작업은 계속해서 정상적으로 작동합니다. 사용 가능한 Amazon S3 용량을 모니터링하려면 Snow 페이지에서 OpsHub S3를 사용하거나 describe-service CLI 명령을 사용할 수 있습니다. Snow 디바이스 또는 클러스터에서 용량 부족을 감지하면 데이터를 삭제하거나 해당 지역의 S3 버킷 또는 다른 온프레미스 디바이스로 데이터를 전송하여 공간을 확보해야 합니다.
복원력: Snow의 Amazon S3 호환 스토리지는 각 Snow 디바이스의 여러 디스크와 클러스터의 여러 디바이스에 데이터를 중복 저장하며, 상관 관계가 있는 하드웨어 장애에 대한 보호 기능을 내장하고 있습니다. 쿼럼 범위 내에서 디스크 또는 디바이스 장애가 발생하더라도 Snow의 Amazon S3 호환 스토리지는 하드웨어를 교체할 때까지 계속 작동합니다. 또한 Snow의 Amazon S3 호환 스토리지는 디바이스의 데이터를 지속적으로 스크러빙하여 데이터 무결성을 확인하고 손상된 데이터를 복구합니다. 로컬 스토리지가 필요한 워크로드의 경우 데이터를 백업하여 Snow 디바이스에 저장한 데이터를 더욱 안전하게 보호하는 것이 가장 좋습니다.
알림: Snow의 Amazon S3 호환 스토리지는 디바이스 또는 클러스터의 상태를 지속적으로 모니터링합니다. 백그라운드 프로세스는 데이터 불일치 및 일시적인 실패에 대응하여 데이터를 문제 해결 및 복구하여 복원력을 보장합니다. 복구할 수 없는 하드웨어 장애가 발생한 경우에도 Snow의 Amazon S3 호환 스토리지를 계속하여 운영할 수 있고, 이메일을 통해 사전 알림을 제공하여 AWS와 협력해 장애가 발생한 디바이스를 교체하도록 안내합니다. 커넥티드 디바이스의 경우 “원격 모니터링” 기능을 활성화할 수 있습니다. 이 기능을 사용하면 AWS에서 온라인으로 서비스 상태를 모니터링하고 모든 서비스 문제를 사전에 알릴 수 있습니다.
보안: Snow의 Amazon S3 호환 스토리지는 Amazon S3 관리형 암호화 키(SSE-S3) 또는 고객 제공 키(SSE-C)를 사용한 서버 측 암호화를 통한 암호화와, 인증 및 권한 부여(Snow IAM 작업 네임스페이스(s3:*)를 사용)를 지원하여 사용자는 Snow 디바이스에 저장된 데이터를 개별적으로 제어할 수 있습니다. Snow의 Amazon S3 호환 스토리지는 객체 수준 액세스 제어 목록 및 버킷 정책을 지원하지 않습니다. Snow의 Amazon S3 호환 스토리지는 기본적으로 버킷 소유자가 객체 소유자로 설정되어 있으므로 버킷 소유자가 버킷의 객체를 제어할 수 있습니다.