지락문화예술공작단

Amazon EMR 클러스터 탄력성에 따른 Spark 노드 손실 문제 해결 방법 AWS 고객은 Amazon EMR의 클러스터 탄력성을 활용하여 작업량에 따라 사용 인스턴스 수를 조정해서 비용을 절감할 수 있습니다. 특히, EC2 스팟 인스턴스를 사용하면, 빠르게 끝나는 작업에 대해서 80-90%의 저렴한 비용으로 작업을 할 수 있습니다. 또한, Amazon EMR의 오토 스케일링 기능을 통해 고객은 클러스터 사용이나 기타 작업 관련 지표에 따라 클러스터를 동적으로 확장 및 축소 할 수 있습니다. 다만, 이 기능을 통해 리소스를 효율적으로 사용할 수 있지만 작업 실행 중에 EC2 인스턴스가 중단될 수도 있습니다. 그 결과 계산 및 데이터가 손실될 수 있으며 이는 작업의 안정성을 저해하거나 재컴퓨팅을 통해 중복 작업을 초래할 수 있습니다. 이에 대한 해결 방법으로 실행 중인 작업에 영향을 미치지 않고 노드를 정상적으로 중단하기 위해 Amazon EMR은 Apache Hadoop의 폐기 메커니즘을 사용할 수 있습니다. Amazon EMR 팀은 이 메커니즘을 개발하여 오픈 소스로 공헌하기도 했습니다. 이 메커니즘은 대부분의 하둡 [ more… ]

Parquet 형식의 EMRFS S3 최적화 커미터를 통한 Apache Spark 쓰기 성능 개선하기 EMRFS S3 최적화 커미터는 Amazon EMR 5.19.0부터 Apache Spark 작업에 사용할 수 있는 새로운 출력 커미터입니다. 이 커미터는 EMRFS(EMR 파일 시스템)을 사용하는 Amazon S3에 Apache Parquet 파일을 쓸 때의 성능을 개선합니다. 이 게시물에서는 최근 성능 벤치마크를 실행하여 신규 최적화된 커미터를 기존 커미터 알고리즘(FileOutputCommitter 알고리즘 버전 1 및 2)과 비교하여 어떻게 Spark 쓰기 성능이 개선되었는지 알아봅니다. 실제 사용 시, 제약 사항에 대해 설명하고 가능한 해결 방법을 제시해 드리고자 합니다. EMRFS S3와 FileOutputCommitter와 비교 Amazon EMR 버전 5.19.0 이하에서는 Amazon S3에 Parquet를 쓰는 Spark 작업에는 기본적으로 FileOutputCommitter라고 하는 Hadoop 커밋 알고리즘이 사용해 왔습니다. 이 알고리즘에는 버전 1과 버전 2의 두 가지 버전이 있습니다. 두 버전 모두 임시 위치에 중간 작업 출력을 쓰는 방법을 활용합니다. 그런 다음 이름 바꾸기 작업을 수행하여 작업 완료 시간에 데이터를 표시합니다. 알고리즘 버전 1에는 두 가지 [ more… ]

AWS Toolkit for IntelliJ를 통해 손쉽게 서버리스 앱 배포해 보기 작년 re:Invent에서 AWS Toolkit for IntelliJ 작업이 진행 중임을 알려 드린바 있습니다. 그 이후로 이 툴킷은 GitHub에서 활발한 개발이 진행되어 왔으며, 지난 3월에 정식 출시 하였습니다.  이 툴킷은 서버리스 애플리케이션 개발을 위한 통합 환경을 제공합니다. 예를 들어, 이를 통해 다음과 같은 작업을 수행할 수 있습니다. Java로 개발한 애플리케이션을 서버리스로 즉시 배포 가능 AWS Lambda와 유사한 실행 환경에서 단계별 디버깅을 이용해서 로컬에서 코드 테스트 원하는 AWS 리전에 애플리케이션을 배포 Lambda 함수를 로컬 또는 원격에서 호출 . Amazon S3, Amazon API Gateway 및 Amazon SNS과 같은 다양한 이벤트 소스로부터 샘플 페이로드를 사용하거나 맞춤 설정 가능 이 글에서는 간단하게 AWS Toolkit for IntelliJ 사용 방법을 소개합니다. AWS Toolkit for IntelliJ 설치 먼저, AWS SAM(Serverless Application Model) CLI를 설치합니다. 이 CLI는 Lambda와 유사한 실행 환경을 제공하며 단계별 코드 디버깅을 지원합니다. 또한 이 툴킷으로 SAM CLI를 사용하여 애플리케이션에 대한 [ more… ]