NEWS

EMR Notebooks를 사용하여 실행 중인 클러스터에 Python 라이브러리 설치 작년에 AWS는 오픈소스 Jupyter 노트북 애플리케이션 기반의 관리형 노트북 환경인 EMR Notebooks를 소개했습니다.이 게시물에서는 EMR Notebooks를 사용하여 실행 중인 클러스터에서 직접 노트북 범위 라이브러리를 설치하는 방법을 알아봅니다. 이 기능이 도입되기 전에는 부트스트랩 작업에 의존하거나 사용자 지정 AMI를 사용하여 클러스터를 프로비저닝할 때 EMR AMI로 사전에 패키징되지 않은 추가 라이브러리를 설치해야 했습니다. 이 게시물에서는 EMR Notebooks 안에서 미리 설치된 Python 라이브러리를 로컬에서 사용하여 결과를 분석하고 플롯을 작성하는 방법도 설명합니다. 이 기능은 데이터 세트를 분석하고 시각화해야 하지만 PyPI 리포지토리에 액세스할 수 없는 시나리오에서 유용합니다. EMR Notebooks로 노트북 범위 라이브러리를 사용할 때의 이점 노트북 범위 라이브러리는 다음과 같은 이점을 제공합니다. 런타임 설치 – PyPI 리포지토리에서 즐겨찾는 Python 라이브러리를 가져와서 필요할 때 바로 원격 클러스터에 설치할 수 있습니다. 이러한 라이브러리는 Spark 런타임 환경에서 즉시 사용할 수 있습니다. 노트북 세션을 다시 시작하거나 클러스터를 다시 생성하지 않아도 됩니다. [ more… ]

Amazon EMR 재구성을 통한 신속한 클러스터 수정 장기 실행 중인 Amazon EMR 클러스터를 사용하는 개발자 또는 데이터 과학자는 워크로드가 빠르게 변화하는 상황을 접하게 됩니다. 이러한 워크로드의 변화는 종종 클러스터에서 최적화된 실행을 위해 별도의 애플리케이션 구성을 필요로 합니다. 이제 재구성 기능을 사용해서 실행 중인 EMR 클러스터의 구성을 변경할 수 있습니다. EMR 릴리스 emr-5.21.0부터 이 기능을 사용해서 새 클러스터를 생성하거나 각 노드에 수동으로 SSH 접속하지 않더라도 구성을 수정할 수 있습니다. 이 게시물에서는 다음 내용을 다룹니다. 재구성 사용 인스턴스 그룹 상태, 구성 버전 및 이벤트 재구성 사용 사례 예시 재구성의 이점 재구성 사용 다음과 작업이 EMR release emr-5.21.0에서 업데이트되었습니다. 재구성 제출 구성 수정 구성 수준 정의 재구성 제출 EMR 콘솔, SDK 또는 AWS CLI를 사용하여 재구성을 제출할 수 있습니다. 자세한 내용은 재구성 제출 및 추가 정보를 참조하십시오. 구성 수정 재구성을 제출할 경우 클러스터에 적용하고자 하는 모든 구성을 포함해야 합니다. 이러한 항목에 대해서만 업데이트가 적용되며 [ more… ]

AWS 주간 소식 모음 – 2020년 4월 13일 안녕하세요! 여러분~ 매주 월요일 마다 지난 주 업데이트된 국내 AWS관련 콘텐츠를 정리해 드리는 AWS 주간 소식 모음입니다. AWS 클라우드에 대한 새로운 소식을 확인하시는데 많은 도움 되시길 바랍니다. 혹시 빠지거나 추가할 내용이 있으시면, 저에게 메일 주시면 다음 중에 추가 공유해 드리겠습니다. AWS Summit Online이 시작됩니다! 국내 최대 클라우드 행사인 AWS Summit이 온라인으로 돌아왔습니다. 5월 13일 아마존 CTO인 버너 보겔스 박사님 기조연설과 45개이상의 강연 세션, 온라인 데모 및 문의 부스 등이 제공됩니다. 꼭 참석하세요. 지금 등록하기 AWS코리아 블로그 Amazon Elastic Container Service(ECS), Amazon EFS 파일 시스템 지원 출시 (서울 리전 포함) (2020-04-10) AWS Academy, 대학생 취업을 위한 교육 프로그램을 소개합니다! (2020-04-09) AWS 클라우드 교육 및 자격증 블로그를 시작합니다! (2020-04-07) Apache Spark용 Amazon EMR 런타임을 통한 질의 성능 최적화하기 (2020-04-06) Amazon Redshift, ra3.4xlarge 인스턴스 추가 업데이트 (서울 리전 포함) (2020-04-06) Amazon CloudWatch Contributor Insights, 빠른 [ more… ]

Amazon Elastic Container Service(ECS), Amazon EFS 파일 시스템 지원 출시 (서울 리전 포함) Amazon Elastic Container Service의 출시 5년후, 이제  개발자들에게 일상적인 요소가 되었으며 AWS 고객은 ECS와 같은 컨테이너 오케스트레이션 도구를 점점 더 많이 채택하고 있습니다. 그런데, 일부 유형의 애플리케이션은 여전히 컨테이너화된 환경으로 전환하는 것이 어렵습니다. 컨테이너는 사실상 일시적이기 때문에 데이터 지속성 또는 공유 스토리지가 필요한 애플리케이션을 빌드하는 경우, 컨테이너가 동적으로 확장 및 축소될 때,컨테이너가 종료되면 로컬 데이터가 손실됩니다. 오늘부터 Amaon ECS에 Amazon Elastic File System(EFS) 파일 시스템에 대한 지원을 시작합니다. ECS 및 AWS Fargate에서 실행되는 컨테이너는 모두 Amazon EFS을 사용할 수 있습니다. Amazon Elastic File System(EFS)은 고가용성의 확장 가능한 완전관리형 공유 파일 시스템을 제공합니다. 즉, Amazon EFS를 사용하면 데이터를 컴퓨팅과 별도로 저장할 수 있습니다. 또한 Amazon EFS는 리전별 서비스입니다. 즉, 이 서비스는 고가용성 및 내구성을 위해 3개의 가용 영역 내에 또는 3개 영역에 걸쳐 데이터를 저장하고 있습니다. 이를 통해 [ more… ]