AWS Data Exchange 서비스 출시 – 데이터 기반 서비스 구독 및 활용 (서울 리전 포함)

우리는 데이터 집약적이고 데이터가 중심인 세상에 살고 있습니다. 모든 유형의 조직은 데이터를 수집, 저장, 처리, 분석하고 데이터를 사용해 의사 결정 프로세스에 정보를 제공하고 이를 개선합니다. AWS 클라우드는 이러한 모든 활동에 적합합니다. AWS 클라우드는 방대한 양의 스토리지, 가능한 모든 규모의 컴퓨팅 성능에 대한 액세스 및 다양한 유형의 분석 도구를 제공합니다.

많은 조직이 내부적으로 데이터를 생성하고 사용할 뿐만 아니라, 일반 대중 또는 업계 내에서 데이터 세트를 생성하고 공유합니다. 아마존은 AWS 퍼블릭 데이터 세트(페이징 연구원, 분석가 및 개발자)의 출시와 함께 2008년에 이러한 데이터 활동을 장려하기 위해 일부 초기 조치를 수행했습니다. 이러한 노력은 현재 118개의 흥미로운 데이터 세트를 포함하는 Registry of Open Data on AWS(New – Registry of Open Data on AWS(RODA))로 발전했으며, 수시로 데이터가 추가되고 있습니다.

신규 AWS Data Exchange 서비스 출시

아마존은 좀 더 나아가 AWS Data Exchange를 새롭게 출시합니다. AWS Marketplace에 추가된 이 서비스에는 80개가 넘는 데이터 공급업체가 제공하는 1,000개가 넘는 허가 가능 데이터 제품이 포함되어 있습니다. 여기에는 금융 서비스, 건강 관리/생명 과학, 지리 공간, 날씨 및 매핑 같은 범주로 구분된 다양한 무료 및 유료 서비스 카탈로그가 있습니다.

데이터 구독자라면 이러한 제품을 신속하게 찾고 조달하고 사용할 수 있습니다. 데이터 공급업체인 경우 자체 제품을 쉽게 패키징, 허가 및 제공할 수 있습니다. 두 가지 관점에서 Data Exchange를 살펴보고 중요한 세부 사항을 검토하겠습니다.

심층적으로 분석하기 전에 몇 가지 주요 용어를 정의해 봅시다.

데이터 공급업체 – 공유할 데이터 제품을 하나 이상 보유한 조직
데이터 구독자 – 데이터 공급업체의 데이터 제품을 사용하고자 하는 AWS 고객
데이터 제품 – 데이터 세트 모음
데이터 세트 – 개정별로 그룹화되어 함께 소속되어 있는 데이터 자산의 컨테이너
개정 – 특정 시점을 기준으로 하나 이상의 데이터 자산에 대한 컨테이너
데이터 자산 – 원하는 형식의 실제 데이터

데이터 구독자용 AWS Data Exchange 기능 보기

데이터 구독자로서 제품 카탈로그 보기를 클릭하고 AWS Data Exchange 콘솔의 데이터 검색 섹션에서 시작합니다.

다양한 공급업체 목록에서 제품을 사용할 수 있습니다.

검색어를 입력하고 검색을 클릭한 다음 결과의 범위를 좁혀서 무료 요금제를 사용하는 제품만 표시할 수 있습니다.

또한 특정 공급업체가 생산하고 검색 용어와 일치하며 무료 요금제를 사용하는 제품을 검색할 수도 있습니다.

두 번째 제품이 흥미롭고 적절해 보이므로 미국 5자리 우편 번호 구분(TRIAL)을 클릭하여 자세한 내용을 확인합니다.

저는 앱에서 이 제품을 사용할 수 있다고 생각하고 사용해보려 하므로 구독 진행을 클릭합니다. 세부 정보를 검토하고 데이터 구독 계약을 읽고 구독을 클릭합니다.

구독은 몇 분 안에 활성화되며 제 구독 목록에서 확인할 수 있습니다.

그런 다음, 세트를 S3 버킷으로 다운로드하여 살펴볼 수 있습니다. 데이터 세트를 클릭하고 개정을 찾습니다.

개정을 클릭하면 찾고 있는 자산(실제 데이터 포함)을 볼 수 있습니다.

원하는 자산을 선택하고 Amazon S3로 내보내기를 클릭합니다. 그런 다음, 버킷을 선택하고 내보내기를 클릭하여 계속 진행하십시오.

그러면 데이터를 제 버킷에 복사하는 작업이 생성됩니다(여기서는 추가 IAM 권한이 필요합니다. 자세한 내용은 액세스 제어 설명서를 참조하십시오).

작업은 비동기적으로 실행되고 Data Exchange에서 버킷으로 데이터를 복사합니다. 방금 보여 드린 것처럼 작업을 대화형으로 생성할 수도 있고 프로그래밍 방식으로 작업을 대화형으로 생성할 수 있습니다. 데이터가 버킷에 있으면 원하는 방식으로 액세스하여 처리할 수 있습니다. 예를 들어, AWS Lambda 함수를 사용하여 ZIP 파일을 구문 분석하고 결과를 사용하여 Amazon DynamoDB 테이블을 업데이트할 수 있습니다. 또는 크롤러를 실행하여 데이터를 제 Glue 카탈로그로 가져오고 Amazon Athena 쿼리를 실행한 다음 Amazon QuickSight 대시보드에서 결과를 시각화할 수 있습니다.

구독은 자동 갱신 옵션으로 1~36개월 동안 지속될 수 있습니다. 구독 요금은 매달 AWS 계정으로 청구됩니다.

데이터 공급업체용 AWS Data Exchange 기능 보기

이제 “데이터 공급업체” 입장에서 제공 프로세스의 기본 사항을 보여 드리겠습니다(사용자 안내서에 자세한 설명이 포함되어 있습니다). 데이터의 라이센스를 받으려면 이용 약관에 동의해야 하며 제 신청이 AWS의 승인을 받아야 합니다.

신청하고 승인을 받은 후에는 우선 첫 번째 데이터 세트를 생성합니다. 탐색에서 데이터 세트를 클릭한 다음 데이터 세트 생성을 클릭합니다.

데이터 세트를 설명하고 태그를 지정할 수 있는 옵션이 있습니다. 그런 다음, 생성을 클릭합니다.

그런 다음, 개정 생성을 클릭하여 데이터 세트의 첫 번째 개정을 만듭니다.

의견을 추가하고 생성을 클릭하기 전에 개정에 태그를 지정할 수 있습니다.

기존 S3 위치에서 데이터를 복사하거나 데스크톱에서 업로드할 수 있습니다.

두 번째 옵션을 선택하고 파일을 선택하면 가져오기 작업이 완료된 후 파일이 가져오기된 자산으로 표시됩니다. 모든 내용을 검토하고 개정에 대해 확정을 클릭합니다.

데이터 세트가 바로 준비되었으며 이제 이 데이터 세트를 사용하여 하나 이상의 제품을 만들 수 있습니다.

콘솔은 주요 단계를 간략히 설명합니다.

제품에 대한 공개 요금 정보를 설정할 수 있습니다.

AWS Data Exchange를 사용하면 개별 고객을 위한 프라이빗 요금제를 생성할 수 있고 기존 고객이 자체 구독 가져오기(Bring Your Own Subscription) 오퍼를 생성하여 제품에 대한 기존(AWS Data Exchange 이전) 라이센스를 스스로 가져올 수도 있습니다.

AWS Data Exchange에서 제공하는 DSA(데이터 구독 계약)를 기본으로 사용하거나 기존 계약을 업로드 할 수 있습니다.

AWS Data Exchange API를 사용하여 데이터 세트 및 개정을 생성, 업데이트, 나열 및 관리할 수 있습니다. 기능에는 CreateDataSet, UpdataSet, ListDataSets, CreateRevision, UpdateAsset 및 CreateJob이 포함됩니다.

주요 사항
다음은 Data Exchange에 대해 명심해야 할 몇 가지 사항입니다.

구독 확인 – 데이터 공급업체는 구독을 확인하기 위해 추가 정보를 요구할 수도 있습니다. 이 경우 콘솔에서 정보를 제공하라는 메시지가 표시되고 공급업체는 45일 이내에 정보를 검토하여 구독을 승인 또는 거부합니다.

다음은 공급업체가 확인하는 정보입니다.

데이터 변경 및 알림 – 데이터 공급업체는 언제든지 데이터 세트를 개정할 수 있습니다. 데이터 소비자는 구독한 제품이 업데이트될 때마다 CloudWatch 이벤트를 받습니다. 이것은 자산의 최신 개정을 검색하기 위한 작업을 시작하는 데 사용될 수 있습니다. 이 유형의 시스템을 구현하고 테스트 이벤트가 필요한 경우 Heartbeat 제품을 찾아 구독하십시오.

데이터 범주 및 유형 – 특정 범주의 데이터는 AWS Data Exchange에서 허용되지 않습니다. 예를 들어, 귀하의 데이터 제품에는 해당 정보가 합법적으로 이미 대중에게 공개되지 않은 이상, 개인을 식별하는 데 사용할 수 있는 정보가 포함되어 있지 않을 수 있습니다. 허용되는 데이터 범주에 대한 상세 지침을 확인하려면 게시 지침을 참조하십시오.

데이터 공급업체 위치 – 데이터 공급업체는 미국 또는 유럽연합 회원국에 소재하는 법인이어야 합니다.

정식 출시
지금 바로 AWS Data Exchange를 사용할 수 있으며 오늘부터 사용을 시작할 수 있습니다. 흥미로운 데이터를 소유하고 있고 이를 게시하고 싶다면, 여기에서 시작하십시오. 개발자인 경우, 제품 카탈로그를 살펴보고 귀하의 제품에 부가 가치를 창출할 수 있는 데이터를 찾아보십시오.

— Jeff;

Source: AWS Data Exchange 서비스 출시 – 데이터 기반 서비스 구독 및 활용 (서울 리전 포함)