Amazon SageMaker Data Wrangler – 기계 학습을 위해 데이터를 준비하는 시각적 인터페이스 제공
Amazon SageMaker Data Wrangler – 기계 학습을 위해 데이터를 준비하는 시각적 인터페이스 제공 오늘 Amazon SageMaker의 새로운 기능인 Amazon SageMaker Data Wrangler를 소개하게 되어 정말 기쁩니다. 이 기능을 사용하면 데이터 사이언티스트와 엔지니어가 시각적 인터페이스를 사용하여 기계 학습(ML) 애플리케이션을 위한 데이터를 쉽고 빠르게 준비할 수 있습니다. 데이터 사이언티스트와 ML 엔지니어 그룹에 실제로 ML 문제를 연구하는 데 얼마나 많은 시간을 할애하는지 물어볼 때마다 이들은 단체로 한숨을 쉰 후에 “운이 좋으면 20%“라고 답합니다. 그 이유를 물어보면, 한결같이 “항상 데이터 준비에만 최대 80%가 소요되기 때문“이라고 말합니다. 실제로 훈련을 위한 데이터 준비는 ML 프로세스의 중요한 단계이며, 아무도 이 사실을 부인하지 않을 것입니다. 일반적인 태스크는 다음과 같습니다. 데이터 찾기: 원시 데이터가 저장되는 위치를 찾아서 액세스 데이터 시각화: 데이터 세트의 각 열에 대한 통계 속성 검사, 히스토그램 작성, 이상치 연구 데이터 정리: 중복 제거, 값이 누락된 항목 삭제 또는 채우기, 이상치 제거 데이터 보강 및 피처 엔지니어링: [ more… ]
