Amazon Athena – 초단위 페타바이트급 동적 데이터 질의 서비스

2016-12-01 KENNETH 0

Amazon Athena – 초단위 페타바이트급 동적 데이터 질의 서비스 (과거 1.44MB 플로피 디스크를 썼던 경험이 무색하게) 매일 우리는 매우 빠른 데이터량 성장에 놀라게 됩니다. 일상적으로 대량의 로그를 쌓고 질의하는 작업과 정형 혹은 반정형 데이터의 크기는 이미 페타바이트 규모입니다. 우리는 데이터의 위치를 찾아 로딩한 후 인덱싱을 통해 검색하는 일련의 과정을 빠르게 작업할 수 있는 방법을 찾고 있습니다. 이를 위해 높은 수준의 클라우드 솔루션을 가지고 있으며 모든 것이 수 분안에 처리될 수 있습니다. Amazon Athena 소개 Amazon Athena는 Amazon S3에 저장되어 있는 페타데이터 규모의 데이터를 별도의 클러스터 구성 및 관리를 하지 않더라도 동적 질의를 할 수 있는 신규 서비스입니다. Amazon S3에 위치한 데이터를 지정만 하면, 내부 필드를 자동으로 인지해서 질의를 수행할 수 있습니다. 데이터를 옮기거나 별도 인덱스를 구성할 필요 없이 한 곳에서 할 수 있습니다. Athena는 동적 질의 편집기를 통해 여러분이 손쉽게 작업을 할 수 있도록 도움을 주고 있으며, 표준 ANSI SQL [ more… ]

개발자 미리보기 – F1, 프로그래밍 기반 하드웨어를 위한 EC2 인스턴스

2016-12-01 KENNETH 0

개발자 미리보기 – F1, 프로그래밍 기반 하드웨어를 위한 EC2 인스턴스 일반적인 도구와 특별한 목적의 도구를 선택해야 하실 때가 있으셨나요? 일반 도구는 많은 문제들을 범용적으로 풀기에 좋지만 항상 최선의 선택은 아닙니다. 반대로 특정 목적의 도구는 하나의 업무에는 좋지만, 이런 특정 작업은 자주 있으면 안되겠지요. 컴퓨팅 엔지니어들은 다양한 IT 워크로드에 대해 높은 성등을 달성하기 위해 아키텍처를 설계 및 가이드 마련 시 항상 이러한 선택의 문제에 봉착하게 됩니다. 시간이 흐름에 따라 새로운 형태의 업무와 작업 상태가 출현하고 이는 특정 하드웨어로 처리하는게 최선일 때가 있습니다. 이러한 점은 또 다른 실행 시 균형을 요구합니다. 즉, 높은 성과를 위한 가능성에 투자하느냐 아니면 분기별 측정하는 개발 주기에 맞추느냐의 상충되는 부분을 선택해야 합니다 FPGA 소개 또 하나의 흥미로운 선택은 FPGA(field programmable gate array, 필드 프로그래머블 게이트 어레이)라고 부르는 하드웨어 기반 맞춤형 솔루션입니다. 특정 기능 목적으로 만들어 하드웨어에 장착되는 일반 칩과는 달리 FPGA는 유연합니다. 즉, FPGA는 PC 보드 소켓에 [ more… ]

Amazon EC2 Elastic GPUs 계획 발표

2016-12-01 KENNETH 0

Amazon EC2 Elastic GPUs 계획 발표 얼마 전 16 GPU까지 지원하는 P2 인스턴스 출시 때, GPU 기반 컴퓨팅에 대한 이점에 대해 설명하였습니다. 이전 글에서 이야기했듯이 GPU를 통해 엄청난 컴퓨팅 용량을 처리하면서도 시간 대비 비용을 획기적으로 줄일 수 있습니다. 오늘 GPU 기반 기능에 대해 저희가 개발하고 있는 기능을 좀 더 발표하고자 합니다. 곧 여러분의 기존 EC2 인스턴스에 그래픽 가속 기능을 추가할 수 있게 됩니다. G2 또는 P2 인스턴스를 사용할 때 GPU 숫자에 따라 인스턴스 크기를 정하게 되어 있습니다. 대부분 애플리케이션에서는 잘 적용되지만, 특정 맞춤형 애플리케이션을 위해 유연한 성능 모델을 지원할 수 있게 됩니다. Amazon EC2 Elastic GPUs 소개 앞으로 출시될 Amazon EC2 Elastic GPUs를 통해 여러분의 애플리케이션에 적합한 EC2 인스턴스 타입을 선택할 수 있고, 인스턴스 실행시에 아래의 4가지 타입 중 GPU를 선택하여 추가할 수 있습니다. 이름 GPU 메모리 eg1.medium 1 GiB eg1.large 2 GiB eg1.xlarge 4 GiB eg1.2xlarge 8 GiB Elastic [ more… ]

Amazon Lightsail – 간편한 가상 사설 호스팅(VPS) 서비스

2016-12-01 KENNETH 0

Amazon Lightsail – 간편한 가상 사설 호스팅(VPS) 서비스 알파 유저, 즉 고급 사용자는 주택, 컴퓨터 또는 가구를 직접 부품으로 조립하는 것을 좋아합니다. 이 분들은 스스로 과정을 즐기면서, 각 부분을 깊게 공부하여 스스로 조립하는 이른바 DIY (do-it-yourself)를 통해 보람을 얻습니다. 유사한 방식을 시스템 아키텍처 및 시스템 구축에도 적용할 수 있습니다. 개별 AWS 구성 요소(서버, 스토리지, IP 주소 등)를 직접 선택하여 구축할 수도 있고, 사전에 구성 설정이 완료된 시스템을 통해 별도 구축 노력 없이 웹 애플리케이션을 바로 실행할 수 있기도 합니다. 대부분의 경우, 후자를 원하는 분들은 가상 사설 호스팅(VPS, Virtual Private Server)을 이용합니다. VPS를 사용하면, 데이터 전송량 등 몇 가지 옵션에 따른 월별 요금으로 서비스를 이용 가능합니다. 초기에 VPS는 완벽하지만 시간이 지남에 따라 서비스 환경에 따라 제약을 받을 수도 있습니다. 특정 시점에서 서비스가 성장하면, 더 필요한 자원을 얻을 수 없을 뿐 아니라 점진적으로 추가하거나 갑자기 많은 트래픽에 필요한 선택 사항도 없습니다. 자동 [ more… ]

No Image

EC2 인스턴스 업데이트 – T2, R4, F1, Elastic GPU, I3, C5 등

2016-12-01 KENNETH 0

EC2 인스턴스 업데이트 – T2, R4, F1, Elastic GPU, I3, C5 등 오늘 오전에 AWS의 CEO인 re:Invent 기조 연설에서 Andy Jassy는 EC2 인스턴스 로드맵에 대한 다음 업데이트를 발표했습니다. 우리는 고성능 I/O, 컴퓨팅 및 메모리 최적화 인스턴스, 버스팅 가능 T2 인스턴스 범위 확대, FPGA 기반 컴퓨팅을 포함한 새로운 하드웨어 가속 영역에 대한 인스턴스 지원을 소개하였습니다. 이 블로그 게시물에는 오늘 공지 사항과 추가 정보가 포함 된 몇 가지 다른 게시물에 대한 링크를 요약하였습니다. 새로운 인스턴스를 위한 계획을 할 때, 저희는 고객이 직면 한 과제와 향후 EC2에서 실행할 작업들을 더 많이 이해하고자 많은 시간을 고객과 논의하였습니다. 다양한 피드백을 받았지만, 그중에서도 인 메모리 기반 분석, 멀티미디어 처리, 기계 학습 (최신 AVX-512 지침 지원) 및 대규모 스토리지 집약적 ERP(Enterprise Resource Planning) 애플리케이션 등이 자주 언급되었습니다. 신규 F1 인스턴스– F1 인스턴스를 사용하면 FPGA(Field-Programmable Gate Array)로 알려진 기법을 통해 하드웨어를 프로그래밍 가능하도록 할 수 있습니다. FPGA에서 실행되는 [ more… ]