aws

Amazon Macie, 신규 버전 출시 및 최대 90% 요금 인하 제공 (서울 리전 포함) Amazon Macie는 기계 학습을 통해 자동으로 데이터를 발견하고 분류하여 민감한 데이터를 검색하고 보호할 수 있도록 해주는 완전관리형 서비스입니다. 오랜 시간에 걸쳐 Macie 고객들은 만족하는 기능과 그렇지 않은 기능들에 대해 알려주었습니다. 서비스 팀은 이러한 피드백에 대응하기 위해 많은 노력을 기울였으며 이제 향상된 버전의 새로운 Amazon Macie의 출시를 알려드리게 되어 기쁘게 생각합니다. 신규 버전에서는 요금제를 간소화했습니다. 이제 평가되는 Amazon Simple Storage Service(S3) 버킷 수와 민감한 데이터 검색 작업을 위해 처리되는 데이터의 양에 따라 요금이 부과됩니다. 새로운 계층형 요금제에서는 요금이 80% 인하되었습니다. 볼륨이 증가할수록 비용을 90% 이상 줄일 수 있습니다. 동시에 많은 새로운 기능이 도입되었습니다. 개인 식별이 가능한 정보(PII) 탐지를 위한 업데이트된 기계 학습 모델 및 정규식을 사용하여 고객이 정의한 민감한 데이터 유형을 비롯한 확장된 민감한 데이터 검색 AWS Organizations를 통한 다중 계정 지원 AWS SDK 및 AWS CLI(명령줄 인터페이스)를 [ more… ]

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 2부 AWS에서 빅 데이터 ETL 워크플로를 실행하는 대기업은 많은 내부 최종 사용자를 지원하는 대규모로 운영하며 수천 개의 동시 파이프라인을 실행합니다. 이러한 상황과 새로운 프레임워크 및 빅데이터 프로세싱 프레임워크의 최신 릴리스에 보조를 맞추기 위해 빅 데이터 플랫폼을 지속적으로 업데이트 및 확장해야 하는 필요성에 따라, 빅 데이터 플랫폼의 관리를 간소화할 뿐 아니라 빅 데이터 애플리케이션에 대한 간편한 액세스를 지원하는 효율적인 아키텍처 및 조직적 구조가 요구되고 있습니다. 이 게시물 시리즈의 1부에서는 Apache Airflow, Genie 및Amazon EMR을 사용하여 빅 데이터 워크플로를 관리하는 방법에 대해 배웠습니다. 이 게시물은 AWS CloudFormation 템플릿을 배포하고, Genie를 구성하고, Apache Airflow에서 작성한 예제 워크플로를 실행하는 방법을 단계별로 안내합니다. 사전 조건 이 단계별 안내를 위해서는 다음과 같은 사전 조건을 갖추어야 합니다. AWS 계정 솔루션 개요 이 솔루션은 AWS CloudFormation 템플릿을 사용하여 필수 리소스를 생성합니다. 사용자는 배스천 호스트에 대한 SSH 터널을 [ more… ]

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 1부 AWS에서 빅 데이터 ETL 워크플로를 실행하는 대기업은 많은 내부 최종 사용자를 지원하는 대규모로 운영하며 수천 개의 동시 파이프라인을 실행합니다. 이러한 상황과 새로운 프레임워크 및 빅데이터 프로세싱 프레임워크의 최신 릴리스에 보조를 맞추기 위해 빅 데이터 플랫폼을 지속적으로 업데이트 및 확장해야 하는 필요성에 따라, 빅 데이터 플랫폼의 관리를 간소화할 뿐 아니라 빅 데이터 애플리케이션에 대한 간편한 액세스를 지원하는 효율적인 아키텍처 및 조직적 구조가 요구되고 있습니다. 이 게시물에서는 수천 개의 동시 ETL 워크플로를 지원하고 이를 실현하는 데 필요한 운영 작업을 간소화하기 위한 중앙 집중식 플랫폼 팀의 빅 데이터 플랫폼 유지 관리 작업을 돕는 아키텍처를 소개합니다. 아키텍처 구성 요소 높은 수준에서 보면 이 아키텍처는 Amazon EMR과 함께 두 가지의 오픈 소스 기술을 사용하여 ETL 워크플로 작성, 오케스트레이션 및 실행을 위한 빅 데이터 플랫폼을 제공합니다. Genie는 빅 데이터 작업 동시 제출, 동적 작업 [ more… ]

AWS Graviton2 기반 Amazon EC2 M6g 인스턴스 정식 출시 오늘부터 AWS의 첫 번째 6세대 Amazon Elastic Compute Cloud(EC2) 범용 인스턴스인 M6g를 사용할 수 있습니다. “g”는 64비트 Arm Neoverse N1 코어를 사용하여 AWS( 및 Amazon 회사 Annapurna Labs)가 설계한 차세대 Arm 기반 칩인 “Graviton2“를 나타냅니다. 이러한 프로세서는 상시 실행되는 256비트 DRAM 암호화를 지원합니다. 여기에는 1세대 Graviton에 비해 부동 소수점 성능을 두 배로 늘리는 듀얼 SIMD 장치도 포함되어 있으며 기계 학습 추론 워크로드를 가속화하기 위해 int8/fp16 명령을 지원합니다. 자세한 내용은 AnandTech에서 게시한 이 전체 리뷰를 읽어보시기 바랍니다. M6g 인스턴스는 1, 2, 4, 8, 16, 32, 48 및 64 vCPU의 8개 크기 또는 베어 메탈 인스턴스로 사용할 수 있습니다. 이러한 인스턴스는 최대 256GiB의 메모리, 25Gbps의 네트워크 성능 및 19Gbps의 EBS 대역폭을 사용한 구성을 지원합니다. 이러한 인스턴스는 전용 하드웨어와 경량 하이퍼바이저의 조합인 AWS Nitro System을 기반으로 합니다. 일반적으로 x86-64 아키텍처에 배포된 오픈 소스 애플리케이션 [ more… ]

Amazon Kendra, AI기반 기업형 사내 검색 서비스 정식 출시 AWS는 2019년 말에 정확도가 높고 사용이 용이한 기계 학습 기반 엔터프라이즈 검색 서비스인 Amazon Kendra 평가판 버전을 출시했습니다. 오늘 Amazon Kendra 정식 버전의 출시를 발표합니다! 과거 몇십 년 동안 이룩한 놀라운 성과에도 불구하고 아직도 정보 기술 분야는 필요한 정보를 빠르고 쉽게 찾아야 하는 문제를 여전히 가지고 있습니다. 특히, 사내에 많이 흩어져 있는 자료 중에서 최신 회사 출장 정책을 찾거나, 기술적인 질문은 정확한 답변을 즉시에 받기 어렵습니다. IDC 연구에 따르면 비효율적인 검색에 드는 비용이 직원당 연간 5,700 USD가 넘습니다. 직원이 1,000명인 회사라면 매년 570만 USD가 낭비되게 됩니다. 정확도가 낮은 검색으로 인한 법적 책임 및 규정 준수 위험도 따릅니다. 여기에는 몇 가지 원인이 있습니다. 첫째, 대부분의 기업 내 데이터는 구조화되어 있지 않아 필요한 정보를 정확하게 찾아내기가 어렵습니다. 둘째, 대부분의 경우 데이터가 조직의 여러 저장소에 분산되고 네트워크 공유, 관계형 데이터베이스, 타사 애플리케이션 등 이질적인 [ more… ]