aws

Amazon SageMaker를 통한 美 대학 농구 결과 예측하기 미국에서 3월 중순이 되면 수백만 명의 사람들이 대학 농구를 시청하며 내기를 하곤 합니다. 저도 미국에서 살긴 하지만 저와는 무관한 일입니다. 하하! 그런데, NCAA 대학 챔피언십이 진행되는 와중에 Amazon의 Professional Services Machine Learning 전문가 중 한 명인 Wesley Pasfield의 작업물을 하나 간단히 소개하고 싶었습니다. Wesley 씨는 Amazon SageMaker 내장형 XGBoost 알고리즘을 사용하여 kenpom.com과 College Basketball Reference에서 데이터를 가져와 3월의 광란이라 불리는 대학 농구 토너먼트의 결과를 예측하는 모델을 구축했습니다. Wesley가 데이터를 수집하고, 조사를 위한 데이터 분석을 수행하고(데이터 과학 링고로 작성된 EDA), xgboost 알고리즘용으로 데이터의 형식을 바꾸고, SageMaker SDK를 사용하여 두 가지 모델에 대한 교육 작업을 생성하며, 마지막으로 https://cbbpredictions.com/에서 예측 역할을 할 SageMaker 추론 엔드포인트를 생성하는 과정을 설명합니다. 자세한 것은 Predict March Madness using Amazon Sagemaker의 1부와 2부를 살펴보시기 바랍니다. (영어로 된 가이드지만 따라하기 편하게 되어 있습니다.) 정말 멋지죠. Amazon SageMaker에서 Jupyter 노트북을 열고 xgboost 알고리즘을 [ more… ]

AWS 주간 소식 모음 – 2018년 3월 27일 안녕하세요! 여러분~ 매주 지난 주에 업데이트된 국내 AWS관련 콘텐츠를 정리해 드립니다. AWS 클라우드에 대한 새로운 소식을 확인하시는데 많은 도움 되시길 바랍니다. 혹시 빠지거나 추가할 내용이 있으시면, 저에게 메일 주시면 추가 공유해 드리겠습니다. AWS코리아 블로그 Amazon EFS Sync를 통한 빠른 데이터 이동 도구 출시 (2018-03-24) Amazon Kinesis Analytics을 이용한 실시간 핫스팟 기능 (2018-03-23) Amazon EC2 리소스 ID 업데이트 – 더 많은 리소스 유형 마이그레이션 (2018-03-23) AWS Certificate Manager, 인증서 Certificate Transparency 지원 예정 (2018-03-23) AWS코리아 발표 자료 Amazon Rekognition을 이용하여 인공지능 안면 인식 키오스크 만들기 – 강정희 (AWS 솔루션즈 아키텍트) (2018-03-20) AWS 머신러닝 서비스를 활용한 실시간 이미지 분석 – 김무현 (AWS 솔루션즈 아키텍트) (2018-03-20) AI 비지니스 무엇을 어떻게 준비하고 해야 하는가? – 정우진 (AWS 사업개발 담당) (2018-03-20) Amazon Polly를 통한 서버리스 동화 구연 앱 만들기 – 윤석찬 (AWS 테크에반젤리스트) (2018-03-20) AWS코리아 동영상 AWS [ more… ]

Amazon EFS Sync를 통한 빠른 데이터 이동 도구 출시 AWS re:Invent 2017이 개최되기 며칠 전 출시한 Amazon EFS File Sync를 마침내 정식으로 출시하였습니다. 이 도구는 다수의 파일을 온프레미스 또는 클라우드 내 파일 시스템에서 Amazon Elastic File System(EFS)으로 이동하는 데 유용합니다. 클라우드보다 앞서 개발된 cp 및 rsync 같은 단순한 단일 스레드 명령줄 툴은 방대한 데이터를 다른 곳으로 이동하는 데 필요한 처리량을 제공하지 못합니다. 이들 도구는 주로 스케줄링, 오케스트레이션 및 네트워크 보안을 처리하는 스크립트 내에서 기본 구성 요소로 사용되는 경우가 많습니다. 보안 및 병렬 방식 EFS File Sync는 위에서 언급한 도구 보다 최대 5배 더 빠르게 실행되는 안전하고 고도로 병렬화된 데이터 전송 메커니즘을 사용합니다. 이 메커니즘은 VMware ESXi 또는 EC2 인스턴스 내에서 에이전트로 실행할 수 있고, NFS(v3 및 v4)를 통해 소스 파일 시스템에 액세스할 수 있으며, EFS가 출시된 모든 AWS 리전에서 사용할 수 있습니다. 이 에이전트가 AWS와의 모든 통신을 실행해 주므로, VPN을 [ more… ]

Amazon Kinesis Analytics을 이용한 실시간 핫스팟 기능 오늘 Amazon은 스트리밍 데이터에서 “핫스팟”을 감지하는 Amazon Kinesis Data Analytics의 새로운 Machine Learning 기능을 발표합니다. Kinesis Data Analytics는 2016년 8월에 출시된 이래 꾸준히 기능이 추가되었습니다. 알다시피 Kinesis Data Analytics는 완벽하게 관리되는 스트리밍 데이터용 실시간 처리 엔진으로, SQL 쿼리를 작성하여 데이터에서 의미를 도출하고 결과를 Kinesis Data Firehose, Kinesis Data Streams 또는 AWS Lambda 함수에 출력합니다. 새로운 HOTSPOT 함수는 Kinesis의 기존 Machine Learning 기능에 추가되어 고객이 자율 스트리밍 기반 Machine Learning 알고리즘을 활용할 수 있도록 합니다. 데이터 과학 또는 Machine Learning과 관련한 전문 지식이 없는 고객도 이 기능을 활용할 수 있습니다. 핫스팟 이 HOTSPOTS 함수는 새로운 Kinesis Data Analytics SQL 함수로, 복잡한 Machine Learning 모델을 명시적으로 구축하거나 교육하지 않고도 데이터에서 상대적으로 밀집한 리전을 찾는 데 사용할 수 있습니다. 즉각적인 주의가 필요한 데이터의 하위 섹션을 파악하고 핫스팟을 Kinesis 데이터 스트림 또는 Firehose 제공 스트림으로 스트리밍하거나 AWS [ more… ]

Amazon EC2 리소스 ID 업데이트 – 더 많은 리소스 유형 마이그레이션 작은 규모의 필수 Amazon EC2 리소스에 대해 더 긴 ID를 제공했던 이전 작업에 이어 이제 나머지 EC2 리소스에 대해서도 2018년 7월을 마이그레이션 기한으로 하여 동일한 작업을 수행합니다. 고객은 사용자, 리전 및 유형 별로 옵트인하고 코드, 정규식, 데이터베이스 스키마 및 데이터베이스 쿼리가 예상대로 작동하는지 확인할 수 있습니다. 특정 EC2 리소스 유형에 대한 ID를 인식, 처리 및 저장하는 코드를 사용하시는 경우 이 게시물을 자세히 읽어 보시기 바랍니다! 알아 두어야 할 사항은 다음과 같습니다. 마이그레이션 기한 – 2018년 7월 전까지 코드와 스키마가 새로운 긴 형식의 ID를 처리 및 저장할 수 있는지 확인할 수 있습니다. 이 기한이 지나면 긴 ID는 새로 생성되는 모든 리소스에 대해 기본으로 할당됩니다. 기존 리소스의 ID는 있는 그대로 유지되며 계속 정상적으로 작동합니다. 더 많은 리소스 유형 – 긴 ID는 이제 모든 유형의 EC2 리소스에서 지원되며 고객은 원하는 대로 옵트인할 [ more… ]