NEWS

새로운 기능 – Amazon SageMaker 관리형 데이터 병렬 처리를 통해 대규모 데이터 세트 훈련 간소화 오늘 Amazon SageMaker가 수백 또는 수천 기가바이트의 데이터 세트에 대한 모델을 더 쉽게 훈련할 수 있는 새로운 데이터 병렬 처리 라이브러리를 지원한다는 것을 발표하게 되어 기쁩니다. 데이터 세트와 모델이 점점 커지고 정교해짐에 따라 대규모 분산 훈련 작업을 수행하는 기계 학습(ML) 실무자는 Amazon Elastic Compute Cloud (EC2) p3 및 p4 인스턴스와 같은 강력한 인스턴스를 사용하는 경우에도 점점 더 긴 훈련 시간에 직면해야 합니다. 예를 들어 8개의 NVIDIA V100 GPU가 장착된 ml.p3dn.24xlarge 인스턴스를 사용하면 공개적으로 사용 가능한 COCO 데이터 세트에 대한 마스크 RCNN 및 빠른 RCNN과 같은 고급 물체 감지 모델을 훈련하는 데 6시간이 걸립니다. 마찬가지로, 최첨단 자연어 처리 모델인 BERT 훈련은 동일한 인스턴스에서 100시간 이상 걸립니다. 자율 주행 차량 회사와 같은 일부 고객은 대규모 GPU 클러스터에서 며칠 동안 실행되는 대량의 훈련 작업을 일상적으로 처리합니다. 상상할 수 [ more… ]

새로운 기능 – Amazon SageMaker 기반 수십억 개의 파라미터로 딥 러닝 모델 훈련 간소화 오늘 Amazon SageMaker에서 이전에 하드웨어 한계로 인해 훈련이 어려웠던 매우 큰 딥 러닝 모델의 훈련을 단순화 할 수 있는 기능을 발표하게 되어 매우 기쁩니다. 지난 10년 동안 딥 러닝(DL)이라는 기계 학습 관련 기술은 세계에 큰 반향을 일으켰습니다. 신경망을 기반으로 DL 알고리즘은 이미지, 비디오, 음성 또는 텍스트와 같은 방대한 양의 비정형 데이터에 숨겨진 정보 패턴을 추출하는 탁월한 능력을 가지고 있습니다. 실제로 DL은 특히 컴퓨터 비전 및 자연어 처리에서 인간이 하는 것 같은 다양하고 복잡한 작업에서 인상적인 결과를 신속하게 달성했습니다. 사실, 딥 러닝은 ImageNet 대규모 시각 인식 과제(ILSVRC), 일반 언어 이해 평가(GLUE)나 스탠포드 질문 응답 데이터 세트(SQUAD)와 같은 참조 작업에 대한 결과를 지속적으로 개선하면서 혁신은 그 어느 때보다 빨라졌습니다. 보다 복잡한 작업을 처리하기 위해 딥 러닝 연구원들은 점점 더 복잡한 모델을 설계하고, 더 많은 뉴런 레이어와 더 많은 [ more… ]

Amazon SageMaker Clarify – 데이터 편향성 감지를 통한 기계 학습 모델의 투명성 개선 오늘 Amazon SageMaker Clarify를 발표하게 되어 매우 기쁩니다. Amazon SageMaker의 새로운 기능인 Clarify는 이해관계자와 고객에게 모델의 동작을 설명함으로써 기계 학습(ML) 모델의 바이어스를 감지하고 투명성을 개선하는 데 도움이 됩니다. 데이터 세트에 존재하는 통계 패턴을 학습하는 훈련 알고리즘에 의해 ML 모델이 구축되기 때문에 몇 가지 질문이 즉시 떠오릅니다. 첫째, ML 모델이 특정 예측을 제시하는 이유를 설명할 수 있다면 좋지 않을까? 둘째, 모델링하려는 실제 문제가 데이터 세트로 충실히 설명되지 않는다면 어떻게 될까? 이러한 문제를 감지할 수는 있을까? 이러한 문제로 인해 감지할 수 없는 방식으로 일종의 바이어스가 발생하지는 않을지. 이러한 질문들은 추측에 근거한 것이 절대 아닙니다. 매우 현실적이며 그 영향의 범위는 매우 넓을 수 있습니다. 바이어스 문제부터 시작합시다. 비정상적인 신용 카드 거래를 감지하는 모델을 연구하고 있다고 가정합시다. 다행히 대다수의 거래는 합법적이며 데이터 세트의 99.9%를 차지합니다. 즉, 십만 개 중에서 100개인 0.1%만 [ more… ]