NEWS

Amazon SageMaker의 MXNet 추론 컨테이너를 활용한 KoGPT2 모델 배포하기 기계 학습 기반 자연어 처리를 위한 다양한 학습 모델이 나오고 있는 가운데, 다국어로 학습된 BERT의 한국어 성능 한계를 극복하기 위해 SK텔레콤의 T-Brain에서는 KoBERT라는 한국형 사전 훈련 모델을 개발하였습니다. 위키피디아나 뉴스 등에서 수집한 수백만 개의 한국어 문장으로 이루어진 대규모 말뭉치(corpus)를 기반으로 학습하였으며, 한국어의 불규칙한 언어 변화의 특성을 반영하기 위해 데이터 기반 토큰화(Tokenization) 기법을 적용하여 Apache MXNet을 비롯하여 PyTorch,  ONNX 등 다양한 딥러닝 API를 지원합니다. 또한, 기존 KoBERT 의 뒤를 이어 OpenAI의 대용량 언어 모델인 GPT2를 한글 데이터로 학습시킨 KoGPT2 모델을 구축했습니다. 이를 위해 SK텔레콤 Conv.AI팀이 대규모 언어 모델 학습 로직을 구현하고, Amazon Machine Learning Solutions Lab이 대규모 분산 학습 인프라 구성 및 최적화, GluonNLP팀에서 학습 성능 개선에 협업으로 참여하였습니다. 이를 통해 기존 학습 과정 대비 학습 효율이 2배 이상 향상되었으며, 한국어 대화 데이터에 해당 모델을 적용했을 때 대화의 자연스러움이 크게 향상되었습니다. KoGPT2와 [ more… ]

Amazon CloudWatch Synthetics를 통해 웹 사이트, API 엔드포인트 등 모니터링하기 현대 애플리케이션에는 컨테이너, 마이크로서비스, 레거시 내부 서비스 및 타사 서비스를 비롯한 수백 또는 수천 개의 가동 부품이 포함됩니다. 각 부품의 상태 및 성능을 모니터링하는 것 외에 부품이 함께 작동하여 허용할 수 있는 고객 경험을 제공하는지 확인해야 합니다. Amazn CloudWatch Synthetics(AWS re:Invent 2019에서 발표)를 사용하면 사이트, API 엔드포인트, 웹 워크플로 및 기타 항목을 모니터링할 수 있습니다. 성능 및 가용성에 대한 가시성이 개선되어 외부에서 내부를 파악할 수 있으므로 문제를 더 빠르게 인지하고 해결할 수 있습니다. 고객 만족을 개선하는 동시에, 애플리케이션이 성능 목표를 준수한다는 확신을 높일 수 있습니다. 단 몇 분이면 CloudWatch Synthetics를 시작할 수 있습니다. Amazon CloudWatch에 저장된 지표와 S3 버킷에 저장된 기타 데이터(스크린샷 및 HTML 페이지)를 사용하여 개별 웹 페이지, 다중 웹 페이지 워크플로(예: 마법사 및 체크아웃) 및 API 엔드포인트를 모니터링하는 Canary를 생성하면 됩니다. Canary를 생성할 때 CloudWatch 경보를 설정하면 성능, [ more… ]

AWS Transfer Family, SFTP외 FTP 및 FTPS 추가 지원 AWS Transfer for SFTP는 2018년 11월에 출시된 완전관리형 서비스로, SFTP(Secure File Transfer Protocol)를 사용하여 Amazon S3의 파일을 직접 송신하고 수신할 수 있는 기능을 제공합니다. 이제 FTPS 및 FTP에 대한 지원을 추가하는 서비스 확장이 발표됨에 따라 기존의 AWS Transfer for SFTP 서비스에 더해 AWS에서 FTPS(File Transfer Protocol over SSL) 및 FTP 워크로드를 손쉽게 마이그레이션하고 안전하게 실행할 수 있게 됩니다. Amazon S3에 대한 SFTP, FTPS 및 FTP 기반의 전송 지원과 함께, AWS Transfer for SFTP, FTPS 및 FTP를 총칭하는 “AWS Transfer 패밀리”도 발표됩니다. 일부 소프트웨어 아카이브 및 과학 연구 애플리케이션에서는 FTP를 사용하여 소프트웨어 아티팩트 또는 퍼블릭 데이터 세트를 배포하며 CRM, ERP 및 공급망 애플리케이션에서는 FTPS를 사용하여 민감한 데이터를 전송합니다. 기존 애플리케이션의 다수는 FTP 또는 FTPS에서 SFTP로 전환할 수 없는데 기존 애플리케이션 및 프로세스를 변경해야 하기 때문입니다. 특히 타사 제품이 포함된 애플리케이션의 경우 비현실적이거나 [ more… ]