AWS Step Functions Distributed Map — 대규모 병렬 데이터 처리를 위한 서버리스 기능 출시
AWS Step Functions Distributed Map — 대규모 병렬 데이터 처리를 위한 서버리스 기능 출시 AWS Step Functions용 분산 맵 출시를 발표하게 되어 매우 기쁩니다. 이 흐름은 반정형 데이터의 온디맨드 처리와 같은 대규모 병렬 워크로드 오케스트레이션에 대한 지원을 확장합니다. Step Function의 맵 상태는 데이터 세트의 여러 항목에 대해 동일한 처리 단계를 실행합니다. 기존 맵 상태는 한 번에 40개의 병렬 반복으로 제한됩니다. 이러한 제한으로 인해 수천 개 항목(또는 그 이상)을 병렬로 처리하도록 데이터 처리 워크로드를 확장하기가 어렵습니다. 오늘날 이전에는 더 높은 수준의 병렬 처리를 달성하려면 기존 맵 상태 구성 요소에 복잡한 해결 방법을 구현해야 했습니다. 새로운 분산 맵 상태를 사용하면 Step Functions를 작성하여 서버리스 애플리케이션 내에서 대규모 병렬 워크로드를 조정할 수 있습니다. 이제 Amazon Simple Storage Service(S3)에 저장된 로그, 이미지 또는 .csv 파일과 같은 수백만 개의 객체를 반복할 수 있습니다. 새로운 분산 맵 상태는 최대 1만 개의 병렬 워크플로를 실행하여 데이터를 처리할 [ more… ]
