AWS Lambda – 최대 10GB 임시 스토리지 지원 시작
서버리스 애플리케이션은 웹 API, 모바일 백엔드 및 스트리밍 분석부터 기계 학습(ML) 및 고성능 애플리케이션의 데이터 처리 단계에 이르기까지 임시 컴퓨팅 기능을 사용하여 이벤트 기반으로 실행됩니다. AWS Lambda에는 사용자 코드를 위해 512MB의 임시 파일 시스템(/tmp)이 포함되어 있지만, 이는 Amazon Elastic File System(Amazon EFS)과 같이 내구성 있는 스토리지를 위한 것이 아닌 임시 스크래치(Scratch) 리소스입니다.
그러나 추출, 변환, 로드 작업과 PDF 파일 생성 또는 미디어 트랜스코딩과 같은 콘텐츠 생성 워크플로에는 대량의 데이터를 신속하게 처리할 수 있는 빠르고 확장 가능한 로컬 스토리지가 필요합니다. 데이터 집약적 애플리케이션에는 호출과 관련된 대량의 임시 데이터 또는 캐시된 데이터가 필요하며, 이러한 데이터는 동일한 실행 환경의 모든 호출에 고성능 방식으로 재사용할 수 있습니다. 이전에는 512MB로 제한되었기 때문에 고객은 Amazon Simple Storage Service(Amazon S3) 및 Amazon EFS에서 데이터를 선택적으로 로드해야 했거나, Amazon S3에서 다운로드한 대용량 객체의 처리를 위해 할당된 함수 메모리를 늘려서 비용이 늘어났습니다. 고객은 Lambda 실행 환경에서 로컬로 대용량 데이터를 캐시할 수 없었기 때문에 함수를 호출할 때마다 병렬로 데이터를 읽어야 했고 이로 인해 확장하기가 더 어려워졌습니다.
오늘, AWS Lambda에서 512MB~10,240MB 사이의 임시 스토리지(/tmp)를 구성할 수 있게 되었음을 발표합니다. 이제 함수가 데이터를 읽거나 쓰기 위해 가져오는 임시 스토리지의 양을 제어할 수 있으므로 ETL 작업, ML 추론 또는 기타 데이터 집약적 워크로드에 AWS Lambda를 사용할 수 있습니다.
AWS Lambda 임시 스토리지가 증가함에 따라 최대 10GB까지 대기 시간이 짧은 안전한 임시 파일 시스템에 액세스할 수 있습니다. 무료로 최대 512MB를 계속해서 사용할 수 있으며 호출 기간 동안 사용 가능한 한도를 초과하여 구성한 스토리지 양에 대해 요금이 부과됩니다.
Lambda 함수를 위한 대용량 임시 스토리지 설정
Lambda 함수에 대용량 임시 스토리지를 구성하려면 AWS Lambda 콘솔의 일반 구성(General Configuration) 섹션에서 구성(Configuration) 탭을 선택합니다. 기본값이 512MB인 임시 스토리지 설정에 대한 새 구성이 표시됩니다.
편집(Edit) 버튼을 클릭하면 Lambda 함수에 대해 1MB 단위로 512MB부터 10,240MB까지의 임시 스토리지를 구성할 수 있습니다.
AWS Command Line Interface(AWS CLI)를 사용하면 update-function-configuration 명령을 사용하여 임시 스토리지를 원하는 크기로 업데이트할 수 있습니다.
$ aws lambda update-function-configuration --function-name PDFGenerator
--ephemeral-storage '{"Size": 10240}'AWS SDK 및 AWS CloudFormation을 통해 Lambda API를 사용하여 임시 스토리지를 구성할 수 있습니다. 자세한 내용은 AWS 설명서의 함수 옵션 구성을 참조하세요.
검토 결과, AWS Lambda는 광범위한 스토리지 옵션을 제공합니다. 자세한 내용은 제 동료인 James Beswick가 작성한 웹 앱의 AWS Lambda 데이터 스토리지 옵션 중에서 선택이라는 훌륭한 블로그 게시물을 참조하세요. 이 표를 바탕으로 이러한 옵션과 일반적인 사용 사례 간의 차이점을 보여 주어 여러분의 애플리케이션에 적합한 옵션을 선택하는 데 도움이 되었으면 합니다.
| 기능 | 임시 스토리지(/tmp) | Lambda 계층 | Amazon EFS | Amazon S3 |
| 최대 크기 | 10,240MB | 50MB(직접 업로드) | 탄력성 | 탄력성 |
| 지속성 | 임시 | 내구성 | 내구성 | 내구성 |
| 콘텐츠 | 동적 | 정적 | 동적 | 동적 |
| 스토리지 유형 | 파일 시스템 | 아카이브 | 파일 시스템 | 객체 |
| Lambda 이벤트 소스 통합 | N/A | N/A | N/A | 네이티브 |
| 지원되는 작업 | 모든 파일 시스템 작업 | 변경 불가능 | 모든 파일 시스템 작업 | 원자적(버전 관리 포함) |
| 객체 태깅 및 메타데이터 |
N | N | N | Y |
| 요금 모델 | Lambda에 포함됨 (512MB 초과 시 과금) |
Lambda에 포함됨 | 스토리지+데이터 전송+처리량 | 스토리지+요청+데이터 전송 |
| 모든 호출에서 공유됨 | N | Y | Y | Y |
| 공유/권한 모델 | 함수 전용 | IAM | IAM+NFS | IAM |
| AWS Glue 및 Amazon QuickSight용 소스 |
N | N | N | Y |
| Lambda의 상대적 데이터 액세스 속도 | 가장 빠름 | 가장 빠름 | 매우 빠름 | 빠름 |
정식 출시
AWS Lambda를 사용할 수 있는 모든 리전에서 Lambda 함수 인스턴스당 최대 10GB의 임시 스토리지를 구성할 수 있습니다. 10GB 컨테이너 이미지 지원 및 10GB 함수 메모리와 함께 10GB의 임시 함수 스토리지를 사용하여 대용량 임시 파일 사용, 데이터 및 미디어 처리, 기계 학습 추론, 재무 분석 등의 워크로드를 지원할 수 있습니다.
Datadog, HashiCorp(Terraform), Lumigo, Thundra, Slalom, Contino 등의 많은 AWS Lambda 파트너를 통해서도 지원을 받을 수 있습니다.
이 기능의 경우 함수 호출 기간에 대한 무료 용량 512MB를 초과하여 구성한 스토리지에 대해서는 요금이 부과됩니다. 자세한 내용은 AWS Lambda 제품 및 요금 페이지를 참조해 주시고, AWS Lambda용 AWS re:Post 또는 일반적인 AWS Support 문의를 통해 피드백을 보내주세요.
– Channy
업데이트. 일반적인 사용 사례를 알아보고 예제 애플리케이션을 배포하여 Lambda의 임시 스토리지에 있는 비디오 파일의 크기를 조정하려면 AWS Compute 블로그의 AWS Lambda용 대용량 임시 스토리지 사용을 참조하세요.
Leave a Reply