지락문화예술공작단

EMR Notebooks를 사용하여 실행 중인 클러스터에 Python 라이브러리 설치 작년에 AWS는 오픈소스 Jupyter 노트북 애플리케이션 기반의 관리형 노트북 환경인 EMR Notebooks를 소개했습니다.이 게시물에서는 EMR Notebooks를 사용하여 실행 중인 클러스터에서 직접 노트북 범위 라이브러리를 설치하는 방법을 알아봅니다. 이 기능이 도입되기 전에는 부트스트랩 작업에 의존하거나 사용자 지정 AMI를 사용하여 클러스터를 프로비저닝할 때 EMR AMI로 사전에 패키징되지 않은 추가 라이브러리를 설치해야 했습니다. 이 게시물에서는 EMR Notebooks 안에서 미리 설치된 Python 라이브러리를 로컬에서 사용하여 결과를 분석하고 플롯을 작성하는 방법도 설명합니다. 이 기능은 데이터 세트를 분석하고 시각화해야 하지만 PyPI 리포지토리에 액세스할 수 없는 시나리오에서 유용합니다. EMR Notebooks로 노트북 범위 라이브러리를 사용할 때의 이점 노트북 범위 라이브러리는 다음과 같은 이점을 제공합니다. 런타임 설치 – PyPI 리포지토리에서 즐겨찾는 Python 라이브러리를 가져와서 필요할 때 바로 원격 클러스터에 설치할 수 있습니다. 이러한 라이브러리는 Spark 런타임 환경에서 즉시 사용할 수 있습니다. 노트북 세션을 다시 시작하거나 클러스터를 다시 생성하지 않아도 됩니다. [ more… ]

Amazon EMR 재구성을 통한 신속한 클러스터 수정 장기 실행 중인 Amazon EMR 클러스터를 사용하는 개발자 또는 데이터 과학자는 워크로드가 빠르게 변화하는 상황을 접하게 됩니다. 이러한 워크로드의 변화는 종종 클러스터에서 최적화된 실행을 위해 별도의 애플리케이션 구성을 필요로 합니다. 이제 재구성 기능을 사용해서 실행 중인 EMR 클러스터의 구성을 변경할 수 있습니다. EMR 릴리스 emr-5.21.0부터 이 기능을 사용해서 새 클러스터를 생성하거나 각 노드에 수동으로 SSH 접속하지 않더라도 구성을 수정할 수 있습니다. 이 게시물에서는 다음 내용을 다룹니다. 재구성 사용 인스턴스 그룹 상태, 구성 버전 및 이벤트 재구성 사용 사례 예시 재구성의 이점 재구성 사용 다음과 작업이 EMR release emr-5.21.0에서 업데이트되었습니다. 재구성 제출 구성 수정 구성 수준 정의 재구성 제출 EMR 콘솔, SDK 또는 AWS CLI를 사용하여 재구성을 제출할 수 있습니다. 자세한 내용은 재구성 제출 및 추가 정보를 참조하십시오. 구성 수정 재구성을 제출할 경우 클러스터에 적용하고자 하는 모든 구성을 포함해야 합니다. 이러한 항목에 대해서만 업데이트가 적용되며 [ more… ]