지락문화예술공작단

Apache Spark용 Amazon EMR 런타임을 통한 질의 성능 최적화하기 Amazon EMR이 발표하는 Apache Spark용 Amazon EMR 실행 시간은 EMR 클러스터에서 기본적으로 활성화되는 Apache Spark를 위해 성능 최적화된 실행 시간 환경입니다. Spark용 EMR 실행 시간은 EMR 5.16보다 최대 32배 빠르며 오픈소스 Spark에 대한 100% API 호환성을 제공합니다. 즉, 워크로드가 더 빠르게 실행되므로 애플리케이션 변경 없이 컴퓨팅 비용을 절감할 수 있습니다. Amazon EMR은 EMR 5.24부터 Spark 실행 시간 환경을 개선해 왔고, 관련 내용은 Spark 성능 최적화에 설명되어 있습니다. EMR 5.28에는 새로운 개선 사항이 추가되었습니다.이러한 개선 사항을 측정하기 위해 EMR 5.16(오픈소스 Apache Spark 버전 2.4 사용)과 EMR 5.28(Apache Spark 버전 2.4와 호환되는 Apache Spark용 EMR 사용)을 비교했습니다. 3TB 규모의 TPC-DS 벤치마크 쿼리를 Amazon S3에 저장된 데이터를 사용하여 6노드 c4.8xlarge EMR 클러스터에서 실행했습니다. 총 쿼리 실행 시간의 상승 평균(기하 평균)과 모든 쿼리에 대한 총 쿼리 실행 시간을 통해 성능 개선을 측정했으며, 결과에는 상당한 개선이 [ more… ]

Amazon Redshift, ra3.4xlarge 인스턴스 추가 업데이트 (서울 리전 포함) Amazon Redshift를 클라우드 데이터 웨어하우스 서비스로 출시한 이후로 수만 명의 고객이 이를 사용하여 워크로드를 구축했습니다.  지난해 12월에는 3세대 RA3 노드 유형을 정식 출시하여 컴퓨팅 및 스토리지를 따로 확장하는 기능을 제공하기 시작했습니다. 이전 세대의 DS2 및 DC2 노드는 스토리지 용량이 고정되어 있어서 스토리지 용량을 늘리려면 더 많은 노드를 추가해야 했습니다. 새로운 RA3 노드에서는 워크로드를 지원하는 데 필요한 컴퓨팅 용량을 결정한 다음, 필요한 만큼 스토리지 용량을 확장할 수 있습니다. RA3 노드의 첫 번째는 ra3.16xlarge로, 많은 고객에게 극찬을 받았지만, 워크로드에 필요한 것보다 용량이 크다는 평가가 있었습니다. 오늘은 RA3 인스턴스에 용량이 작은 새로운 노드인 ra3.4xlarge를 추가합니다. RA3 노드 유형은 AWS Nitro를 기반으로 하고 Redshift 관리형 스토리지에 대한 지원이 포함됩니다. Redshift 관리형 스토리지는 전체 스토리지 티어에서 데이터를 자동으로 관리하고 고성능 SSD에서 가장 사용량이 많은 데이터를 캐싱하면서도 사용 빈도가 적은 데이터를 자동으로 Amazon Simple Storage Service(S3)에 분산합니다. [ more… ]

Amazon CloudWatch Contributor Insights로 간소화된 시계열 데이터 분석하기 여러 로그 데이터와 로그 스트림을 조사해야 하는 경우, 실시간으로 분석하고 진단하는 작업은 어렵고 시간이 많이 듭니다.  최근 정식 출시된 Amazon CloudWatch Contributor Insights는 CloudWatch Logs의 시계열 데이터를 가장 많이 차지하는 상위 N개 항목을 간편하게 분석할 수 있도록 하는 새로운 기능으로, 시스템 및 애플리케이션 성능에 영향을 미치는 사용자나 항목을 대규모로, 실시간으로 파악하는 데 유용합니다. 따라서 운영 문제가 발생했을 때 운영 문제를 유발하는 주된 원인과 영향을 가장 많이 미치는 사용자 또는 항목을 보다 효과적으로 파악할 수 있으므로 시간이 절약됩니다. 또한 Amazon CloudWatch Contributor Insights를 통해 특이값, 성능 병목 현상, 우수 고객 또는 가장 많이 사용된 리소스와 같은 정보를 한눈에 쉽게 파악할 수 있으므로 시스템 및 비즈니스 최적화 상태를 지속적으로 분석하는 데에도 도움이 됩니다. Amazon CloudWatch Contributor Insights는 Logs 외에 Metrics와 Alarms를 비롯한 CloudWatch 포트폴리오의 다른 제품에도 사용할 수 있습니다. Amazon CloudWatch Contributor Insights는 JSON [ more… ]

Amazon CloudWatch Contributor Insights for DynamoDB – 정식 출시 Amazon DynamoDB는 매월 몇 건의 요청에서 초당 수백만 건의 요청으로 손쉽게 확장할 수 있는 완전관리형 키-값 데이터베이스 서비스를 고객에게 제공합니다. DynamoDB는 규모에 관계없이 10밀리초 미만의 일정한 응답 시간을 제공하며 세계 최대 규모의 여러 애플리케이션을 지원하고 있습니다. 거의 무제한의 처리량과 스토리지 용량으로 애플리케이션을 구축할 수 있습니다. DynamoDB 글로벌 테이블은 여러 AWS 리전에 걸쳐 데이터를 복제하여 전 세계에 분산된 애플리케이션에 빠른 로컬 데이터 액세스를 제공합니다. 더욱 빠른 액세스 속도와 마이크로초 단위의 지연 시간이 요구되는 사용 사례에서 DynamoDB Accelerator(DAX)는 완전관리형 인메모리 캐시를 제공합니다. 2019년 11월에 Amazon은 Amazon CloudWatch Contributor Insights for Amazon DynamoDB를 평가판으로 발표했습니다. 그리고 오늘 모든 AWS 리전에서 정식 출시되었음을 발표하게 되어 기쁩니다. Amazon CloudWatch Contributor Insights for Amazon DynamoDB 2019년 11월에 함께 발표된 Amazon CloudWatch Contributor Insights는 로그 데이터를 분석하고 시계열 시각화 정보를 생성하여 시스템 성능에 가장 많이 영향을 미치는 항목을 [ more… ]