Spark Shuffle Partition과 최적화
안녕하세요. 카카오 데이터PE셀(응용분석팀)의 Logan입니다. 응용분석팀에서 식별키 성연령 개발을 담당하고 있습니다. 데이터 분석에 Spark를 메인으로 사용하고 있고, 모델링에는 Tensorflow를 주로 사용하고 있습니다. 여기에서는 Spark Partition에 대한 개념을 소개하고, 최적화 실험을 통해 Spark Partition을 이해하는 방법에 대해 설명하고자 합니다. Spark를 다루면서 자원 세팅을 어떻게 해야 하는지가 항상 고민이었습니다. 여러 시행착오를 겪으면서 Spark에서 자원 세팅을 하려면 먼저 Partition에 […]
Source: Spark Shuffle Partition과 최적화
Leave a Reply