Articles by KENNETH

Amazon HealthLake – 클라우드 기반 의료 데이터 저장, 변환 및 분석 서비스 제공 의료 기관은 가족력과 임상 관찰부터 진단 및 약물 치료에 이르기까지 매일 방대한 양의 환자 정보를 수집합니다. 그리고 더 나은 의료 서비스를 제공하기 위해 환자의 건강 정보를 포괄적으로 이해하고자 이러한 모든 데이터를 사용합니다. 현재 이 데이터는 다양한 시스템(전자 의료 기록, 실험실 시스템, 의료 이미지 리포지토리 등)에 분산되어 있으며 수십 개의 호환되지 않는 형식으로 존재합니다. Fast Healthcare Interoperability Resources(FHIR)와 같은 새로운 표준의 목표는 이러한 시스템에서 구조화된 데이터를 설명하고 교환하기 위한 일관된 형식을 제공하여 이 과제를 해결하는 것입니다. 그러나 이러한 데이터 대부분은 의료 기록(예: 임상 기록), 문서(예: PDF 실험실 보고서), 양식(예: 보험 청구), 이미지(예: 엑스레이, MRI), 오디오(예: 녹음된 대화) 및 시계열 데이터(예: 심전도 검사)에 포함된 구조화되지 않은 정보이며, 이러한 정보를 추출하는 작업은 쉽지 않습니다. 의료 기관에서 이 모든 데이터를 수집하고 변환(태그 지정 및 인덱싱), 구조화 및 분석을 위해 준비하려면 몇 [ more… ]

Amazon Lookout for Metrics 미리보기 – 비즈니스 상태를 모니터링하기 위한 이상 탐지 서비스 기계 학습(ML)으로 지표에서 이상을 탐지하여 ML 경험이 없어도 사전에 비즈니스 상태를 모니터링하고 문제를 진단하며 빠르게 기회를 찾을 수 있도록 지원하는 새로운 서비스, Amazon Lookout for Metrics를 소개합니다. Lookout for Metrics는 Amazon이 오탐을 줄이면서 데이터에서 찾기 어려운 이상한 변경 사항을 탐지하는 데 사용하던 기술을 동일하게 사용합니다. 또한 유사한 결과를 그룹화하고 심각도별로 순위를 매기며 이상의 근본 원인을 파악하기 위한 정보를 제공합니다. 이 서비스는 매출, 웹 페이지 보기, 일일 활성 사용자, 이탈률, 거래량, 모바일 앱 설치 등과 같은 다양한 지표에서 사용할 수 있습니다. 오늘 Lookout for Metrics 서비스의 미리보기가 출시되었습니다. 이상 탐지를 위해 Amazon Lookout for Metrics를 사용해야 하는 이유는 무엇인가요? 모든 업계의 조직이 기술과 자동화를 통해 비즈니스의 효율성을 향상시키고자 합니다. 당면 과제는 다를 수 있지만, 공통된 사항은 결함과 기회를 조기에 파악하는 역량을 갖추는 것이고 이를 통해 자재 비용 절감, 마진 [ more… ]

Amazon SageMaker Pipelines – 기계 학습 프로젝트에 DevOps 자동 배포 기능 제공 오늘 Amazon SageMaker의 새로운 기능인 Amazon SageMaker Pipelines를 출시합니다. 이 기능을 사용하면 데이터 사이언티스트 및 엔지니어가 전체 기계 학습 파이프라인을 쉽게 구축하고 자동화하여 확장할 수 있습니다. 기계 학습(ML)은 본질적으로 실험적이며 예측할 수 없습니다. 여러 가지 많은 방법으로 며칠 또는 몇 주에 걸쳐 데이터를 탐색하고 처리하며, 귀중한 보석을 찾기 위해 반짝이는 정동석을 깨뜨리려고 합니다. 그리고 다양한 알고리즘과 파라미터로 실험하며 최고 정확도의 검색을 바탕으로 많은 모델을 훈련하고 최적화합니다. 이 프로세스는 보통 서로 종속된 단계를 포함하며, 이러한 단계를 수동으로 관리하기란 꽤 복잡할 수 있습니다. 특히 모델 계보 추적은 어려울 수 있고 감사 가능성 및 거버넌스를 저해할 수 있습니다. 마지막으로 상위 모델을 배포하고 참조 테스트 세트를 기반으로 평가합니다. 드디어 끝일까요? 아직 아닙니다. 새로운 아이디어를 시도하거나 새로운 데이터에서 모델을 주기적으로 다시 훈련하기 위해 몇 번이고 반복할 수 있습니다. ML이 흥미롭긴 하지만, 많은 반복 [ more… ]

Amazon SageMaker Feature Store – 기계 학습 피처 저장, 검색 및 공유 기능 제공 오늘 Amazon SageMaker의 새로운 기능인 Amazon SageMaker Feature Store를 소개하게 되어 정말 기쁩니다. 이 기능을 사용하면 데이터 사이언티스트와 기계 학습 엔지니어는 훈련 및 예측 워크플로에서 사용되는 준비된 데이터를 쉽고 안전하게 저장, 검색 및 공유할 수 있습니다. 기계 학습(ML) 모델을 훈련하는 올바른 알고리즘 선택의 중요성 때문에 숙련된 실무자는 고품질 데이터 제공의 중요성을 잘 알고 있습니다. 데이터 정리가 바람직한 첫 단계입니다. ML 워크플로는 누락된 값을 채우고 이상치를 제거하는 등의 단계를 주기적으로 포함합니다. 그런 다음, 종종 일반 기술과 난해한 기술을 함께 사용하여 데이터 변환으로 이전합니다(이를 “피처 엔지니어링”이라고 함). 즉, 피처 엔지니어링의 목적은 데이터를 변환하고 표현력을 높여 알고리즘의 훈련 효율성을 향상시키는 것입니다. 예를 들어, 많은 열 형식의 데이터 세트가 상세 주소와 같은 문자열을 포함합니다. 대부분의 ML 알고리즘에서 문자열은 의미가 없으므로 숫자 표현으로 인코딩해야 합니다. 그래서 상세 주소를 GPS 좌표로 바꿀 [ more… ]

Amazon SageMaker Data Wrangler – 기계 학습을 위해 데이터를 준비하는 시각적 인터페이스 제공 오늘 Amazon SageMaker의 새로운 기능인 Amazon SageMaker Data Wrangler를 소개하게 되어 정말 기쁩니다. 이 기능을 사용하면 데이터 사이언티스트와 엔지니어가 시각적 인터페이스를 사용하여 기계 학습(ML) 애플리케이션을 위한 데이터를 쉽고 빠르게 준비할 수 있습니다. 데이터 사이언티스트와 ML 엔지니어 그룹에 실제로 ML 문제를 연구하는 데 얼마나 많은 시간을 할애하는지 물어볼 때마다 이들은 단체로 한숨을 쉰 후에 “운이 좋으면 20%“라고 답합니다. 그 이유를 물어보면, 한결같이 “항상 데이터 준비에만 최대 80%가 소요되기 때문“이라고 말합니다. 실제로 훈련을 위한 데이터 준비는 ML 프로세스의 중요한 단계이며, 아무도 이 사실을 부인하지 않을 것입니다. 일반적인 태스크는 다음과 같습니다. 데이터 찾기: 원시 데이터가 저장되는 위치를 찾아서 액세스 데이터 시각화: 데이터 세트의 각 열에 대한 통계 속성 검사, 히스토그램 작성, 이상치 연구 데이터 정리: 중복 제거, 값이 누락된 항목 삭제 또는 채우기, 이상치 제거 데이터 보강 및 피처 엔지니어링: [ more… ]