Articles by KENNETH

Apache Spark과 Amazon Redshift 통합 기능 정식 출시 Apache Spark는 빅 데이터 워크로드에 일반적으로 사용되는 오픈 소스 분산 처리 시스템입니다. Amazon EMR, Amazon SageMaker 및 AWS Glue에서 작업하는 Spark 애플리케이션 개발자는 Amazon Redshift로 데이터를 읽고 쓸 수 있는 타사 Apache Spark 커넥터를 사용하는 경우가 많습니다. 이러한 타사 커넥터는 다양한 버전의 Spark에서 정기적으로 유지 관리, 지원 또는 테스트되지 않습니다. 오늘 Apache Spark용 Amazon Redshift 통합의 정식 출시를 발표합니다. 이를 통해 Amazon Redshift 및 Redshift Serverless에서 Spark 애플리케이션을 쉽게 구축하고 실행할 수 있으며, 고객은 더 광범위한 AWS 분석 및 기계 학습(ML) 솔루션을 위한 데이터 웨어하우스를 운영할 수 있습니다. Apache Spark용 Amazon Redshift를 사용하면 몇 초 만에 시작하고 Java, Scala 및 Python과 같은 다양한 언어로 Apache Spark 애플리케이션을 손쉽게 구축할 수 있습니다. 여러분의 애플리케이션은 애플리케이션 성능이나 데이터의 트랜잭션 일관성을 손상시키지 않고 Amazon Redshift 데이터 웨어하우스에서 데이터를 읽고 쓸 수 있을 뿐만 아니라 푸시다운(Pushdown) [ more… ]

Amazon CloudWatch 계정간 관찰 가능성 기능 출시 여러 AWS 계정을 사용하여 애플리케이션을 배포하는 것은 팀 간의 보안 및 청구 경계를 설정하고 운영 이벤트의 영향을 줄이는 좋은 방법입니다. 다중 계정 전략을 채택할 때는 여러 계정에 분산되어 있는 원격 분석 데이터를 분석해야 합니다. 애플리케이션의 모든 구성 요소를 중앙 집중식 보기에서 모니터링할 수 있는 유연성을 제공하기 위해 오늘 Amazon CloudWatch 계정간 관찰 가능성을 도입했습니다. Amazon CloudWatch 계정간 관찰 가능성은 CloudWatch에 저장된 지표, 로그 및 추적과 같은 교차 계정 원격 측정 데이터를 검색, 분석 및 상호 연관시키는 새로운 기능입니다. 이제 중앙 모니터링 AWS 계정을 설정하고 다른 계정을 소스로 연결할 수 있습니다. 그런 다음 애플리케이션 전반의 로그를 검색, 감사 및 분석하여 몇 초 만에 운영 문제를 심층 분석할 수 있습니다. 한 곳에서 여러 계정의 지표를 검색 및 시각화하고 다른 계정에 속한 지표를 평가하는 경보를 생성할 수 있습니다. 먼저 애플리케이션의 총 교차 계정 보기로 시작하여 오류가 [ more… ]

AWS Glue Data Quality 미리보기 – 규칙 기반 자동 데이터 품질 기능 출시 1980년에 저는 두 번째 전문 프로그래밍 일을 하면서 미국 여러 주의 운전면허증 데이터를 분석하는 프로젝트를 진행하고 있었습니다. 당시 해당 유형의 데이터는 일반적으로 고정 길이 레코드에 저장되었으며 값은 각 필드에 신중하게(또는 인코딩되지 않은) 인코딩되었습니다. 데이터에 대한 스키마가 주어졌음에도 불구하고, 항상 개발자들이 미리 예상하지 못한 값을 나타내기 위해 트릭에 의존해야 한다는 것을 알게 되었습니다. 예를 들어, 서로 다른 색깔의 눈을 가진 홍채 이색증이 있는 사람을 위해 코딩하는 것입니다. 결국 우리는 알려진 데이터를 다루고 있는지 확인하기 위해 실제 시간과 비용이 많이 드는 분석을 실행하기 전에 데이터 전체를 스캔했습니다. 이상으로 데이터 품질, 즉 데이터 품질 부족에 대한 저의 소개였습니다. AWS를 사용하면 규모에 관계없이 데이터 레이크와 데이터 웨어하우스를 쉽게 빌드할 수 있습니다. 수집, 처리 및 공유하는 데이터의 원하는 품질 수준을 그 어느 때보다 쉽게 측정하고 유지할 수 있기를 원합니다. AWS Glue 데이터 [ more… ]

Amazon Athena – Apache Spark 지원 기능 정식 출시 2016년 Jeff Barr가 Amazon Athena를 처음 발표했을 때, 데이터와의 상호 작용에 대한 제 관점이 바뀌었습니다. Amazon Athena를 사용하면 Athena에서 테이블 생성, 커넥터를 사용하는 데이터 로드, ANSI SQL 표준을 사용하는 쿼리부터 시작하여 몇 단계만 거치면 데이터와 상호 작용할 수 있습니다. 시간이 지남에 따라 금융 서비스, 의료 및 소매업과 같은 다양한 산업에서는 다양한 형식과 크기의 데이터에 대해 더 복잡한 분석을 실행해야 했습니다. 기업들은 복잡한 데이터 분석을 용이하게 하기 위해 Apache Spark를 도입했습니다. Apache Spark는 모든 규모의 데이터에 대해 빠른 분석 워크로드를 실행하도록 설계된 널리 사용되는 오픈 소스 분산 처리 시스템입니다. 그러나 대화형 애플리케이션을 위한 Apache Spark를 실행하기 위해 인프라를 구축하는 것은 쉽지 않습니다. 고객은 애플리케이션을 기반으로 인프라를 프로비저닝, 구성 및 유지 관리해야 합니다. 애플리케이션 시작 속도가 느려지거나 유휴 비용이 발생하지 않도록 최적의 튜닝 리소스를 사용하는 것은 말할 것도 없습니다. Apache Spark용 Amazon Athena [ more… ]