aws

Amazon SageMaker Model Monitor – 기계 학습 모델을 위한 완전 관리형 자동 모니터링 기능 출시 (서울 리전 포함) Amazon SageMaker Model Monitor는 정식 서비스 환경에서 기계 학습(ML) 모델을 모니터링하고, 데이터 품질 문제가 발생했을 때 이를 알려주는 새로운 서비스입니다. 데이터 작업을 시작하면서 때 처음 깨달은 것은 데이터 품질에 아무리 주의를 기울여도 부족하다는 것입니다. 데이터베이스 중 하나에서 예기치 않은 NULL 값이나 복잡한 문자 인코딩 때문에 발생한 문제를 해결하기 위해 수많은 시간을 보낸 경험을 여러분 모두 한 번은 겪었을 거라 생각합니다. 기계 학습 모델은 말 그대로 대량의 데이터로 만들어지므로, ML 전문가들이 데이터 세트를 관리하는 데 왜 그토록 많은 시간을 투자하는지 쉽게 이해할 수 있습니다. 이들은 특히 학습 세트(모델 학습에 사용)와 검증 세트(정확도 측정에 사용)의 데이터 샘플이 동일한 통계 속성을 가지고 있는지 확인합니다. 어디서 괴물이 나타날지 모릅니다! 실험용 데이터 세트는 완벽하게 제어할 수 있지만 모델이 처리할 실제 데이터에 대해서는 확신하기 어렵습니다. 물론 실제 데이터는 [ more… ]

Amazon SageMaker Experiments – 반복적인 기계 학습 모델 훈련 구성, 추적 및 평가 기능 출시 (서울 리전 포함) Amazon SageMaker Experiments는 반복적인 기계 학습(Machine Learning, ML) 모델 버전을 구성, 추적, 비교 및 평가하는 데 사용되는 새로운 기능입니다. 기계 학습 워크로드는 매우 반복적인 과정입니다. 프로젝트 한 건을 진행하는 동안 데이터 과학자와 ML 엔지니어가 최대한의 정확성을 찾기 위해 학습하는 모델의 수는 수천 개에 달합니다. 실제로, 알고리즘, 데이터 세트 및 학습 파라미터(일명 하이퍼파라미터)의 조합은 무한대이며 이 안에는 소위 건초에서 바늘을 찾는 것과 같은 어려움이 존재합니다. 자동 모델 튜닝과 Amazon SageMaker Autopilot 같은 도구는 ML 실무 작업에서 거대한 수의 조합을 자동으로 탐색하고 고성능 모델을 빠르게 찾는 데 도움이 됩니다. 그러나 이러한 도구를 사용하면 학습 작업의 수가 폭발적으로 증가합니다. 시간이 지남에 따라 지표를 추적하고 실험별로 작업을 그룹화하고 동일한 실험 또는 전체 실험에서 작업을 비교하고 이전 작업을 쿼리하는 등의 수많은 작업을 효율적으로 처리하는 것이 거의 불가능해지므로 [ more… ]

Amazon SageMaker Processing – 완전 관리형 데이터 처리 및 모델 평가 Amazon SageMaker의 새로운 기능인  SageMaker Processing은 사전 처리, 사후 처리 및 모델 평가 워크로드를 쉽게 실행할 수 있습니다. 정확한 ML(기계 학습) 모델 학습을 위해서는 여러 가지 단계가 필요하지만 다음과 같은 데이터 세트 사전 처리보다 더 중요한 단계는 없습니다. 사용 중인 ML 알고리즘에 사용되는 입력 형식으로 데이터 세트 변환 기존 기능을 더욱 강력한 표현 방식으로 변환(예: 핫 인코딩 범주형 기능) 숫자 기능 재조정 또는 정규화 고급 기능 엔지니어링(예: 우편 주소를 GPS 좌표로 대체) 자연어 처리 애플리케이션용으로 텍스트 정리 및 토큰화 그 외 더 많은 작업 이러한 작업에는 데이터 세트에서 맞춤형 스크립트를 실행하고, 나중에 학습 작업에서 사용할 수 있도록 처리된 버전을 저장하는 작업이 포함됩니다. 여러분도 짐작할 수 있듯이 이러한 스크립트를 수동으로 실행하거나, 자동화 도구를 구축하고 확장하는 일은 ML 팀에게는 그리 흥미로운 업무가 아닙니다. 사후 처리 작업(필터링, 데이터 정렬 등) 및 모델 [ more… ]