aws

Amazon SageMaker Pipelines – 기계 학습 프로젝트에 DevOps 자동 배포 기능 제공 오늘 Amazon SageMaker의 새로운 기능인 Amazon SageMaker Pipelines를 출시합니다. 이 기능을 사용하면 데이터 사이언티스트 및 엔지니어가 전체 기계 학습 파이프라인을 쉽게 구축하고 자동화하여 확장할 수 있습니다. 기계 학습(ML)은 본질적으로 실험적이며 예측할 수 없습니다. 여러 가지 많은 방법으로 며칠 또는 몇 주에 걸쳐 데이터를 탐색하고 처리하며, 귀중한 보석을 찾기 위해 반짝이는 정동석을 깨뜨리려고 합니다. 그리고 다양한 알고리즘과 파라미터로 실험하며 최고 정확도의 검색을 바탕으로 많은 모델을 훈련하고 최적화합니다. 이 프로세스는 보통 서로 종속된 단계를 포함하며, 이러한 단계를 수동으로 관리하기란 꽤 복잡할 수 있습니다. 특히 모델 계보 추적은 어려울 수 있고 감사 가능성 및 거버넌스를 저해할 수 있습니다. 마지막으로 상위 모델을 배포하고 참조 테스트 세트를 기반으로 평가합니다. 드디어 끝일까요? 아직 아닙니다. 새로운 아이디어를 시도하거나 새로운 데이터에서 모델을 주기적으로 다시 훈련하기 위해 몇 번이고 반복할 수 있습니다. ML이 흥미롭긴 하지만, 많은 반복 [ more… ]

Amazon SageMaker Feature Store – 기계 학습 피처 저장, 검색 및 공유 기능 제공 오늘 Amazon SageMaker의 새로운 기능인 Amazon SageMaker Feature Store를 소개하게 되어 정말 기쁩니다. 이 기능을 사용하면 데이터 사이언티스트와 기계 학습 엔지니어는 훈련 및 예측 워크플로에서 사용되는 준비된 데이터를 쉽고 안전하게 저장, 검색 및 공유할 수 있습니다. 기계 학습(ML) 모델을 훈련하는 올바른 알고리즘 선택의 중요성 때문에 숙련된 실무자는 고품질 데이터 제공의 중요성을 잘 알고 있습니다. 데이터 정리가 바람직한 첫 단계입니다. ML 워크플로는 누락된 값을 채우고 이상치를 제거하는 등의 단계를 주기적으로 포함합니다. 그런 다음, 종종 일반 기술과 난해한 기술을 함께 사용하여 데이터 변환으로 이전합니다(이를 “피처 엔지니어링”이라고 함). 즉, 피처 엔지니어링의 목적은 데이터를 변환하고 표현력을 높여 알고리즘의 훈련 효율성을 향상시키는 것입니다. 예를 들어, 많은 열 형식의 데이터 세트가 상세 주소와 같은 문자열을 포함합니다. 대부분의 ML 알고리즘에서 문자열은 의미가 없으므로 숫자 표현으로 인코딩해야 합니다. 그래서 상세 주소를 GPS 좌표로 바꿀 [ more… ]

Amazon SageMaker Data Wrangler – 기계 학습을 위해 데이터를 준비하는 시각적 인터페이스 제공 오늘 Amazon SageMaker의 새로운 기능인 Amazon SageMaker Data Wrangler를 소개하게 되어 정말 기쁩니다. 이 기능을 사용하면 데이터 사이언티스트와 엔지니어가 시각적 인터페이스를 사용하여 기계 학습(ML) 애플리케이션을 위한 데이터를 쉽고 빠르게 준비할 수 있습니다. 데이터 사이언티스트와 ML 엔지니어 그룹에 실제로 ML 문제를 연구하는 데 얼마나 많은 시간을 할애하는지 물어볼 때마다 이들은 단체로 한숨을 쉰 후에 “운이 좋으면 20%“라고 답합니다. 그 이유를 물어보면, 한결같이 “항상 데이터 준비에만 최대 80%가 소요되기 때문“이라고 말합니다. 실제로 훈련을 위한 데이터 준비는 ML 프로세스의 중요한 단계이며, 아무도 이 사실을 부인하지 않을 것입니다. 일반적인 태스크는 다음과 같습니다. 데이터 찾기: 원시 데이터가 저장되는 위치를 찾아서 액세스 데이터 시각화: 데이터 세트의 각 열에 대한 통계 속성 검사, 히스토그램 작성, 이상치 연구 데이터 정리: 중복 제거, 값이 누락된 항목 삭제 또는 채우기, 이상치 제거 데이터 보강 및 피처 엔지니어링: [ more… ]

AWS re:Invent Daily Recap 다시보기 – 기조 연설 요약 및 분야별 집중 탐구 AWS re:Invent 2020 기간 주요 리더들의 기조 연설을 요약하고, 신규 출시 제품에 대해 AWS 전문가들과 서비스 소개와 데모, 그리고 AWS 인공 지능 분야 Hero와 함께 하는 Daily Recap을 매주 수/목/금 오후 1시 부터 2시까지 한국어로 AWS on Air 생중계 방송을 진행하고 있습니다. 많은 분들의 성원하에 온-디맨드 영상을 조기에 공개합니다. 클라우드 컴퓨팅 산업의 동향과 미래 기술의 변화를 살펴보시고, 클라우드 기술 학습과 여러분의 애플리케이션 재발명(reInvent)에 도움이 되시길 바랍니다.(re:Invent 행사 종료때 까지 계속 업데이트 될 예정입니다.) 기조 연설 요약 이번 re:Invent에서는 3주간 분야별로 5번의 기조 연설이 진행됩니다. 각 기조 연설의 중요 부분과 알아두면 좋을 부분을 요약해 드립니다. Andy Jassy 기조연설 요약 클라우드 산업 및 기술 동향 및 신규 서비스 등 3시간 분량을 40분안에 요약해 드립니다. 지금 시청하기 파트너 기조연설 요약 AWS 파트너 프로그램 소개 및 ISV 및 SaaS 파트너를 위한 [ more… ]

새로운 기능 — Amazon VPC Reachability Analyzer Amazon Virtual Private Cloud(VPC)를 사용하면 AWS 클라우드에서 논리적으로 격리된 고객별 가상 네트워크를 시작할 수 있습니다. 고객이 클라우드를 확장하고 점점 더 복잡해지는 네트워크 아키텍처를 구축함에 따라 잘못된 구성으로 인한 네트워크 연결 문제를 해결하는 데 시간이 오래 걸릴 수 있습니다. 이제 한 VPC 내의 두 엔드포인트 또는 여러 VPC 내의 엔드포인트 간에 연결 가능성 문제를 해결하는 네트워크 진단 도구인 VPC Reachability Analyzer를 발표합니다. 네트워크 구성이 의도한 대로 되었는지 확인하는 방법 IP 주소 범위 선택, 서브넷생성, 라우팅 테이블 및 네트워크 게이트웨이 구성 등 가상 네트워크 환경을 완벽하게 제어할 수 있습니다. 또한 VPC의 네트워크 구성을 쉽게 사용자 지정할 수 있습니다. 예를 들어 인터넷 게이트웨이를 사용하여 인터넷에 액세스할 수 있는 웹 서버의 퍼블릭 서브넷을 만들 수 있습니다. 데이터베이스 및 애플리케이션 서버와 같이 보안에 민감한 백엔드 시스템을 인터넷에 액세스할 수 없는 프라이빗 서브넷에 배치할 수 있습니다. 보안 그룹 및 [ more… ]