NEWS

AWS Summit Online 2020 후기 – 강연 다시 보기 참여하세요! 지난 5월 13일 AWS에서도 매년 개최해온 국내 최대 클라우드 기술 콘퍼런스를 AWS Summit Online 행사로 선보였습니다. 작년에 1만 5천여명이 참석했었기 때문에 온라인에서도 많인 분들이 집과 회사에서 접속해 주셨습니다. 그동안 AWS Innovate 및 AWS Builders 처럼 다양한 온라인 이벤트를 진행한 경험을 토대로 아시아-태평양 지역 및 북미 지역의 고객들에게 지구 한 바퀴를 도는 온라인 서밋이 성공리에 개최하였습니다. AWS Summit Online 입장 시 화면 및 Korean Zone과 로봇 카페의 대한민국 응원 영상 예고해 드린대로 AWS의 창업자이자 CEO인 앤디 제시(Andy Jassy)와 영업 및 마케팅 총괄 부사장인 매트 가먼(Matt Garman)의 대담, 아마존닷컴의 CTO이신 버너 보겔스(Werner Vogels) 박사님의 기조 연설이 진행되었습니다. 특히 보겔스 박사님의 기조 연설에서는 포스트-코로나의 기술적인 도전을 해결하기 위해 기본기가 중요하다고 강조했습니다. ‘견고한 토대(Solid Foundations)’가 없으면 안정성과 기능이 떨어지기 때문에 눈 앞에 문제 만을 해결할 것이 아니라 기본기를 토대 신속하게 솔루션을 개발하고 주위 변화에 [ more… ]

Amazon Macie, 신규 버전 출시 및 최대 90% 요금 인하 제공 (서울 리전 포함) Amazon Macie는 기계 학습을 통해 자동으로 데이터를 발견하고 분류하여 민감한 데이터를 검색하고 보호할 수 있도록 해주는 완전관리형 서비스입니다. 오랜 시간에 걸쳐 Macie 고객들은 만족하는 기능과 그렇지 않은 기능들에 대해 알려주었습니다. 서비스 팀은 이러한 피드백에 대응하기 위해 많은 노력을 기울였으며 이제 향상된 버전의 새로운 Amazon Macie의 출시를 알려드리게 되어 기쁘게 생각합니다. 신규 버전에서는 요금제를 간소화했습니다. 이제 평가되는 Amazon Simple Storage Service(S3) 버킷 수와 민감한 데이터 검색 작업을 위해 처리되는 데이터의 양에 따라 요금이 부과됩니다. 새로운 계층형 요금제에서는 요금이 80% 인하되었습니다. 볼륨이 증가할수록 비용을 90% 이상 줄일 수 있습니다. 동시에 많은 새로운 기능이 도입되었습니다. 개인 식별이 가능한 정보(PII) 탐지를 위한 업데이트된 기계 학습 모델 및 정규식을 사용하여 고객이 정의한 민감한 데이터 유형을 비롯한 확장된 민감한 데이터 검색 AWS Organizations를 통한 다중 계정 지원 AWS SDK 및 AWS CLI(명령줄 인터페이스)를 [ more… ]

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 2부 AWS에서 빅 데이터 ETL 워크플로를 실행하는 대기업은 많은 내부 최종 사용자를 지원하는 대규모로 운영하며 수천 개의 동시 파이프라인을 실행합니다. 이러한 상황과 새로운 프레임워크 및 빅데이터 프로세싱 프레임워크의 최신 릴리스에 보조를 맞추기 위해 빅 데이터 플랫폼을 지속적으로 업데이트 및 확장해야 하는 필요성에 따라, 빅 데이터 플랫폼의 관리를 간소화할 뿐 아니라 빅 데이터 애플리케이션에 대한 간편한 액세스를 지원하는 효율적인 아키텍처 및 조직적 구조가 요구되고 있습니다. 이 게시물 시리즈의 1부에서는 Apache Airflow, Genie 및Amazon EMR을 사용하여 빅 데이터 워크플로를 관리하는 방법에 대해 배웠습니다. 이 게시물은 AWS CloudFormation 템플릿을 배포하고, Genie를 구성하고, Apache Airflow에서 작성한 예제 워크플로를 실행하는 방법을 단계별로 안내합니다. 사전 조건 이 단계별 안내를 위해서는 다음과 같은 사전 조건을 갖추어야 합니다. AWS 계정 솔루션 개요 이 솔루션은 AWS CloudFormation 템플릿을 사용하여 필수 리소스를 생성합니다. 사용자는 배스천 호스트에 대한 SSH 터널을 [ more… ]

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 1부 AWS에서 빅 데이터 ETL 워크플로를 실행하는 대기업은 많은 내부 최종 사용자를 지원하는 대규모로 운영하며 수천 개의 동시 파이프라인을 실행합니다. 이러한 상황과 새로운 프레임워크 및 빅데이터 프로세싱 프레임워크의 최신 릴리스에 보조를 맞추기 위해 빅 데이터 플랫폼을 지속적으로 업데이트 및 확장해야 하는 필요성에 따라, 빅 데이터 플랫폼의 관리를 간소화할 뿐 아니라 빅 데이터 애플리케이션에 대한 간편한 액세스를 지원하는 효율적인 아키텍처 및 조직적 구조가 요구되고 있습니다. 이 게시물에서는 수천 개의 동시 ETL 워크플로를 지원하고 이를 실현하는 데 필요한 운영 작업을 간소화하기 위한 중앙 집중식 플랫폼 팀의 빅 데이터 플랫폼 유지 관리 작업을 돕는 아키텍처를 소개합니다. 아키텍처 구성 요소 높은 수준에서 보면 이 아키텍처는 Amazon EMR과 함께 두 가지의 오픈 소스 기술을 사용하여 ETL 워크플로 작성, 오케스트레이션 및 실행을 위한 빅 데이터 플랫폼을 제공합니다. Genie는 빅 데이터 작업 동시 제출, 동적 작업 [ more… ]