AQE: Coalescing Post Shuffle Partitions
안녕하세요. 카카오 데이터PE셀(응용분석팀)의 Logan입니다. 응용분석팀에서 식별키 성연령 개발을 담당하고 있습니다. 데이터 분석에 Spark를 메인으로 사용하고 있고, 모델링에는 Tensorflow를 주로 사용하고 있습니다. 지난 번 글인 “Spark Shuffle Partition과 최적화” 에서는 Spark Partition에 대한 개념을 소개하고, 최적화 실험을 통해 Spark Partition을 이해하는 방법에 대해 설명한 바 있습니다. 이번에는 동적 최적화 프레임워크인 Adaptive Query Execution(이하 AQE)에 대해 설명하고, 주로 […]
Source: AQE: Coalescing Post Shuffle Partitions
