Amazon SageMaker 자동 모델 최적화를 위한 웜 스타트 구성하기

2019-01-16 KENNETH 0

Amazon SageMaker 자동 모델 최적화를 위한 웜 스타트 구성하기 올해 초 개발자와 데이터 과학자가 기계 학습 모델을 학습시키고 최적화하는 데 소요되는 시간과 노력을 크게 줄일 수 있는 Amazon SageMaker 자동 모델 튜닝을 발표했습니다. 오늘은  자동 하이퍼파라미터 최적화(Hyper Parameter  Optimization, HPO) 작업의 웜 스타트 구성을 하는 방법을 살펴보겠습니다.  웜 스타트 구성은 HPO 프로세스를 가속화하고 모델 최적화 비용을 절감해줍니다. 예를 들어 적은 예산으로 HPO 작업을 시작하고 결과를 분석한 후 예산을 더 많이 투입해 모델 최적화를 계속하기로 결정할 수 있습니다. 또한 다른 하이퍼파라미터 구성을 사용할 수도 있습니다(예: 최적화할 하이퍼파라미터를 추가하거나 일부 파라미터에 대해 다른 검색 범위 적용). 다른 예로는 데이터 과학자나 개발자가 이전 모델 튜닝 이후에 새로운 데이터를 수집한 후 모델을 다시 튜닝하려는 경우를 들 수 있습니다. 두 경우 모두 이전 튜닝 작업에서 얻은 선행 지식을 사용하여 하이퍼파라미터 튜닝 작업을 시작하면 최상의 모델을 빠르게 만들어내는 데 도움이 되고 결과적으로 고객의 비용이 절감됩니다. 하지만 [ more… ]

Amazon DocumentDB 신규 출시 – MongoDB 호환 가능한 빠르고 확장성 높은 고가용성 문서 데이터베이스

2019-01-14 KENNETH 0

Amazon DocumentDB 신규 출시 – MongoDB 호환 가능한 빠르고 확장성 높은 고가용성 문서 데이터베이스 AWS 데이터베이스 페이지를 보면, AWS에서는 고객들의 특정 요구 사항을 충족하기 위해 각각 고유한 용도의 다양한 유형의 데이터베이스 서비스를 제공하고 있습니다.  즉, 애플리케이션에 따라서 관계형(RDB), 키-값(Key-Value), 인메모리(In-memory), 그래프(Graphe), 시계열(Time series), 원장(Ledger) 데이터베이스 등을 다양하게 조합하여 멋지고 강력한 애플리케이션을 구축할 수 있습니다. Amazon DocumentDB(MongoDB 호환성 포함) 소개 오늘 AWS에서는 빠르고 확장 가능하면서 고가용성을 제공하는 문서 데이터베이스로서 기존의 MongoDB 애플리케이션 및 도구와 호환되도록 설계된 Amazon DocumentDB를 출시합니다. DocumentDB는 3개의 개별 가용 영역에 걸쳐 6개의 복제를 제공하는 특수 용도의 SSD 기반 스토리지 계층을 사용합니다. 이 스토리지 계층은 분산형으로 구성되어 내결함성 및 자가 복구 기능을 탑재하고 있어 정식 서비스 규모의 MongoDB 워크로드를 전환하는 데 필요한 성능, 확장성 및 가용성을 제공합니다. 각 MongoDB 데이터베이스는 일련의 컬렉션을 포함합니다. 관계형 데이터베이스 테이블과 유사한 각 컬렉션에는 일련의 문서를 포함하며 각 문서는 JSON과 유사한 BSON 형식을 [ more… ]

AWS 주간 소식 모음 – 2019년 1월 14일

2019-01-14 KENNETH 0

AWS 주간 소식 모음 – 2019년 1월 14일 안녕하세요! 여러분~ 매주 월요일 마다 지난 주에 업데이트된 국내 AWS관련 콘텐츠를 정리해 드립니다. AWS 클라우드에 대한 새로운 소식을 확인하시는데 많은 도움 되시길 바랍니다. 혹시 빠지거나 추가할 내용이 있으시면, 저에게 메일 주시면 추가 공유해 드리겠습니다. AWS코리아 블로그 Amazon EKS, 서울 리전 출시! (2019-01-11) Western Digital HDD 시뮬레이션 사례 소개 – 4만개 스팟 인스턴스로 2500만 건의 고성능 컴퓨팅(HPC) 작업 활용 (2019-01-10) Amazon EC2 X1e 인스턴스 타입 서울 리전 출시 (2019-01-10) AWS Fargate, 서버리스 컨테이너 서비스 요금 최대 50% 인하 (서울 리전 포함) (2019-01-09) AWS 주간 소식 모음 – 2019년 1월 7일 (2019-01-07) AWS 추천 콘텐츠 AWS re:Invent 2018 참관기 (2019-01-11) AWS의 ARN 이해하기 (2019-01-11) AWS, 몽고DB 호환 아마존 도큐먼트DB 발표 (2019-01-11) AWS 최신 뉴스 Amazon EKS, 서울 리전에서 사용 가능 (2019-01-12) AWS Database Migration Service, 이제 MongoDB 호환성을 목표로 Amazon DocumentDB를 지원 (2019-01-11) Amazon Neptune, 이제 아시아 태평양(시드니)에서 사용 가능 (2019-01-11) Amazon DocumentDB 소개 (MongoDB 호환 가능) – [ more… ]

Amazon EKS, 서울 리전 출시!

2019-01-11 KENNETH 0

Amazon EKS, 서울 리전 출시! Amazon Elastic Container Service for Kubernetes (EKS)가 드디어 서울 리전에 출시되었습니다! 2018년 7월에  정식 출시된 이후로 고객의 요구에 따라 지속해서 리전 확대를 진행하였습니다. Amazon EKS는 Kubernetes를 직접 설치, 운영, 유지 관리할 필요 없이 AWS에서 제공하는 완전 관리형 Kubernetes 서비스입니다.  CNCF 재단에서 공인하는 오픈 소스 Kubernetes 인증 서비스이므로 업스트림 프로젝트에서 실행되는 기존의 모든 애플리케이션은 Amazon EKS와 호환됩니다. 컨테이너 시작 및 중지, 가상 서버에서 컨테이너 스케줄링, 클러스터 데이터 저장 및 기타 작업은 모두 AWS가 관리하는 Kubernetes 제어 플레인 노드에서 자동으로 가용성과 확장성을 책임집니다. 이제 EKS를 통해 컨테이너 기반 애플리케이션 개발 및 배포에만 집중하실 수 있습니다. 이제 다양한 AWS 서비스와 긴밀한 통합을 통해 마이크로서비스 애플리케이션을 손쉽게 구현 실행할 수 있으며, 필요하다면 온-프레미스 클러스터에도 함께 배포할 수 있으습니다. 또한, Kubernetes Jobs API를 사용하면 Amazon EKS 클러스터에서 순차 또는 병렬 워크로드를 실행할 수 있으며, Amazon EC2 온디맨드 인스턴스, 예약 인스턴스 [ more… ]

Western Digital HDD 시뮬레이션 사례 소개 – 4만개 스팟 인스턴스로 2500만 건의 고성능 컴퓨팅(HPC) 작업 활용

2019-01-10 KENNETH 0

Western Digital HDD 시뮬레이션 사례 소개 – 4만개 스팟 인스턴스로 2500만 건의 고성능 컴퓨팅(HPC) 작업 활용 Western Digital에서 어떻게 AWS에 클라우드 규모의 HPC 클러스터를 구축하여 차세대 하드 디스크 드라이브(HDD) 헤드 설계의 핵심 요소를 시뮬레이션하는 데 사용했는지에 대해 HPC Wire에 기고한 바 있습니다. 본 사례에 언급된 시뮬레이션 작업은 백만 개의 vCPU를 가진 Amazon EC2 클러스터에서 2500만 건을 단 8시간 만에 완료하였습니다. Western Digital의 시뮬레이션 작업 중 상당 부분은 HDD를 구성하는 다양한 기술 및 솔루션의 조합을 평가해야 하는 필요성에 의해 진행됩니다. 웨스턴 디지털의 엔지니어 팀은 같은 저장 공간에 더 많은 데이터를 저장하여 스토리지 용량을 개선하고 이에 따라 전송 속도도 향상하는 데 초점을 맞추고 있습니다. 소재, 에너지 레벨 및 회전 속도를 조합한 수 백만 가지의 경우를 시뮬레이션하는 방식으로 팀은 최고의 밀도와 최고 속도의 읽기-쓰기 시간을 찾아냅니다. 이러한 작업에서 보다 빠르게 결과를 얻어낸다는 것은 더 나은 결과를 도출하고 신제품을 더욱 신속하게 시장에 출시할 수 [ more… ]