aws

AWS Step Functions를 통한 Amazon EMR 작업 관리 기능 출시 AWS Step Functions를 사용하면 애플리케이션에 서버리스 워크플로우 자동화를 추가할 수 있습니다. 워크플로우의 단계는 AWS Lambda 함수, Amazon Elastic Compute Cloud(EC2) 또는 온프레미스 등 어디에서나 실행될 수 있습니다. 워크플로우 구축을 간소화하기 위해 Step Functions는 Amazon ECS, AWS Fargate, Amazon DynamoDB, Amazon Simple Notification Service(SNS), Amazon Simple Queue Service(SQS), AWS Batch, AWS Glue, Amazon SageMaker와 같은 여러 AWS 서비스에 직접 통합되어 있으며 중첩 워크플로우 실행을 위해 Step Functions 자체에도 통합됩니다. 이제 AWS Step Functions는 Amazon EMR에 연결되므로 최소한의 코드로 데이터 프로세싱 및 분석 워크플로우를 생성할 수 있어 시간이 절감되고 클러스터 사용률이 최적화됩니다. 예를 들어, 기계 학습을 위한 데이터 프로세싱 파이프라인 구축은 시간이 많이 소모되고 어려운 작업입니다. 이 새로운 통합은 병렬 실행 및 이전 단계의 결과에 기반한 종속성, 데이터 프로세싱 작업을 실행할 때의 핸들 실패 및 예외를 비롯한 워크플로우 기능을 간단히 오케스트레이션할 수 [ more… ]

Amazon EMR, Apache Hudi 추가를 통해 개별 레코드 수준 데이터 관리 기능 출시 Amazon S3에 데이터를 저장하면 규모 조정, 신뢰성 및 비용 효율 면에서 많은 이점이 있습니다. 그 뿐 아니라, Amazon EMR을 활용할 수 있으므로 Apache Spark, Hive 및 Presto와 같은 오픈 소스 도구를 사용하여 데이터를 처리 및 분석할 수 있습니다. 이러한 도구는 강력한 성능을 제공하지만 점진적 데이터 프로세싱과 레코드 수준의 삽입, 업데이트 및 삭제가 필요한 사용 사례를 처리하기에는 여전히 어려울 수 있습니다. 저희 고객과의 대화를 통해, AWS에서는 다음과 같이 개별 레코드에 대한 점진적 변경을 처리해야 하는 사용 사례가 있다는 것을 확인했습니다. 사용자가 잊혀질 권리를 행사하거나 데이터 사용에 대한 동의 의사를 변경할 수 있는 데이터 프라이버시 규정 준수 특정 데이터 삽입 또는 업데이트 이벤트를 처리해야 하는 데이터 스트리밍 작업 기업 데이터 웨어하우스 또는 운영 데이터 스토어에서 오는 데이터베이스 변경 로그의 추적 및 수집을 위해 CDC(변경 데이터 캡처) 아키텍처 사용 지연 수신된 데이터의 [ more… ]

Amazon Elastic Container Registry(ECR), EventBridge 지원 추가 AWS 고객은 컨테이너 이미지를 저장할 수 있는 안전한 비공개 장소를 원하고 있으며, 완전관리형 컨테이너 레지스트리인 Amazon Elastic Container Registry를 제공합니다. 이미지가 푸시되거나 삭제될 때 작업을 트리거할 수 있도록, AWS에서는 최근 Amazon EventBridge에 대한 지원을 추가했습니다. 이러한 작업은 지속적인 통합을 트리거하거나, 이미지가 푸시될 때 지속적인 배포 파이프라인을 트리거하거나, 이미지가 삭제되었을 때 DevOps 팀의 Slack 채널에 메시지를 게시할 수 있습니다. 이 새 기능은 복잡한 워크플로우도 지원합니다. 예를 들어, 고객은 이미지 푸시 이벤트를 사용하여 기본 이미지 위에 이미지를 빌드하는 재빌드 작업을 트리거할 수 있습니다. 이 시나리오에서 기본 이미지가 매주 재빌드되도록 하여 최신 보안 패치를 적용할 수 있습니다. 기본 이미지 리포지토리에서 온 푸시 이벤트는 모든 파생 이미지도 패치되도록 다른 빌드를 트리거할 수 있습니다. 이 새 기능을 사용하는 방법을 보여주기 위해 콘솔을 열고 모든 구성 요소가 연동되는 방식을 보여주는 예제를 단계별로 진행해 보겠습니다. Amazon EventBridge 콘솔에서 새 규칙을 [ more… ]

Amazon DynamoDB 기존 로컬 테이블을 글로벌 테이블로 전환 가능 수십만의 AWS 고객들이 Amazon DynamoDB를 사용하고 있습니다. 2017년에는 멀티 리전의 멀티 마스터 DynamoDB 테이블을 배포할 수 있는 글로벌 테이블을 출시했습니다. 글로벌 테이블을 생성할 때, 테이블을 제공할 AWS 특정 리전을 지정하기만 하면 각 리전에 동일한 테이블을 생성하고 지속적인 데이터 변경 내용을 해당하는 모든 리전으로 전파를 수행합니다. AWS 고객은 두 가지 중요한 이유 때문에 DynamoDB 글로벌 테이블을 사용하고 있습니다. 첫째는 지연 시간이 짧은 환경을 고객에게 제공하는 것이고, 둘째는 백업 또는 재해 복구 프로세스를 지원하는 것입니다. 지연 시간은 정보가 네트워크를 통해 이동하는 데 걸리는 시간입니다. 지연 시간이 짧은 앱은 고객 참여도가 높고 더 많은 수익을 창출합니다. 고객과 인접한 여러 리전에 백엔드를 배포하면 앱의 지연 시간을 줄일 수 있습니다. 다른 리전에 데이터의 전체 사본이 있으면 리전 설정이 손상되거나 매우 드물지만 리전에 장애가 발생하는 경우 다른 리전으로 트래픽을 쉽게 전환할 수 있습니다. Amazon CTO인 Werner Vogels [ more… ]