amazon web service
Amazon SageMaker Serverless Inference – 서버리스 기계 학습 추론 기능
Amazon SageMaker Serverless Inference – 서버리스 기계 학습 추론 기능 2021년 12월, AWS는 기본 인프라를 구성하거나 관리할 필요 없이 추론을 위한 기계 학습(ML) 모델을 배포할 수 있도록 Amazon SageMaker의 새로운 옵션으로 Amazon SageMaker Serverless Inference(평가판)를 도입했습니다. 오늘 Amazon SageMaker Serverless Inference가 정식 출시 되었음을 발표하게 되어 기쁘게 생각합니다. ML 추론 사용 사례에 따라 모델 호스팅 인프라에 대한 요구 사항이 달라집니다. 광고 게재, 사기 탐지 또는 맞춤형 제품 추천 등의 사용 사례를 다루는 경우, 응답 시간이 수 밀리초 이하인 API 기반 온라인 추론을 찾고 있을 것입니다. 컴퓨터 비전(CV) 애플리케이션과 같은 대규모 ML 모델로 작업하는 경우, 몇 분 내에 더 큰 페이로드 크기에서 추론을 실행하도록 최적화된 인프라가 필요할 수 있습니다. 전체 데이터 집합 또는 대규모 데이터 배치에 대한 예측을 실행하려는 경우, 모델 제공 엔드포인트를 호스팅하는 대신 온디맨드 일회성 일괄 추론 작업을 실행할 수 있습니다. 챗봇 서비스와 같이 트래픽 패턴이 간헐적인 애플리케이션이나 문서에서 [ more… ]