[월:] 2019년 08월

Parquet 형식의 EMRFS S3 최적화 커미터를 통한 Apache Spark 쓰기 성능 개선하기 EMRFS S3 최적화 커미터는 Amazon EMR 5.19.0부터 Apache Spark 작업에 사용할 수 있는 새로운 출력 커미터입니다. 이 커미터는 EMRFS(EMR 파일 시스템)을 사용하는 Amazon S3에 Apache Parquet 파일을 쓸 때의 성능을 개선합니다. 이 게시물에서는 최근 성능 벤치마크를 실행하여 신규 최적화된 커미터를 기존 커미터 알고리즘(FileOutputCommitter 알고리즘 버전 1 및 2)과 비교하여 어떻게 Spark 쓰기 성능이 개선되었는지 알아봅니다. 실제 사용 시, 제약 사항에 대해 설명하고 가능한 해결 방법을 제시해 드리고자 합니다. EMRFS S3와 FileOutputCommitter와 비교 Amazon EMR 버전 5.19.0 이하에서는 Amazon S3에 Parquet를 쓰는 Spark 작업에는 기본적으로 FileOutputCommitter라고 하는 Hadoop 커밋 알고리즘이 사용해 왔습니다. 이 알고리즘에는 버전 1과 버전 2의 두 가지 버전이 있습니다. 두 버전 모두 임시 위치에 중간 작업 출력을 쓰는 방법을 활용합니다. 그런 다음 이름 바꾸기 작업을 수행하여 작업 완료 시간에 데이터를 표시합니다. 알고리즘 버전 1에는 두 가지 [ more… ]

AWS Toolkit for IntelliJ를 통해 손쉽게 서버리스 앱 배포해 보기 작년 re:Invent에서 AWS Toolkit for IntelliJ 작업이 진행 중임을 알려 드린바 있습니다. 그 이후로 이 툴킷은 GitHub에서 활발한 개발이 진행되어 왔으며, 지난 3월에 정식 출시 하였습니다.  이 툴킷은 서버리스 애플리케이션 개발을 위한 통합 환경을 제공합니다. 예를 들어, 이를 통해 다음과 같은 작업을 수행할 수 있습니다. Java로 개발한 애플리케이션을 서버리스로 즉시 배포 가능 AWS Lambda와 유사한 실행 환경에서 단계별 디버깅을 이용해서 로컬에서 코드 테스트 원하는 AWS 리전에 애플리케이션을 배포 Lambda 함수를 로컬 또는 원격에서 호출 . Amazon S3, Amazon API Gateway 및 Amazon SNS과 같은 다양한 이벤트 소스로부터 샘플 페이로드를 사용하거나 맞춤 설정 가능 이 글에서는 간단하게 AWS Toolkit for IntelliJ 사용 방법을 소개합니다. AWS Toolkit for IntelliJ 설치 먼저, AWS SAM(Serverless Application Model) CLI를 설치합니다. 이 CLI는 Lambda와 유사한 실행 환경을 제공하며 단계별 코드 디버깅을 지원합니다. 또한 이 툴킷으로 SAM CLI를 사용하여 애플리케이션에 대한 [ more… ]