Apache Flink를 이용한 AWS기반 실시간 스트림 처리 파이프라인 구성하기

2017-10-25 KENNETH 0

Apache Flink를 이용한 AWS기반 실시간 스트림 처리 파이프라인 구성하기 오늘날 비즈니스 환경에서, 다양한 데이터 소스의 꾸준한 증가에 맞추어 데이터는 계속적으로 생성되고 있습니다. 따라서, 원시 데이터의 대규모 스트림을 통해 실행 가능한 통찰력을 얻기 위한 데이터를 지속적으로 수집하고, 저장하고, 처리하는 능력을 갖춘다는 것은 조직의 경쟁력 측면에서 장점이라 하겠습니다. Apache Flink는 스트림 프로세싱 파이프라인의 기반을 갖추는 데 매우 적합한 오픈소스 프로젝트 입니다. 스트리밍 데이터의 지속적인 분석에 적합한 고유한 기능을 제공합니다. 하지만, Flink를 기반으로 파이프라인 을 구축하고 유지하려면 때때로 물리적 자원 및 운영상의 노력 외에 상당한 전문 지식이 필요합니다. 이 글을 통해서 Amazon EMR, Amazon Kinesis 및 Amazon Elasticsearch Service (ES)를 사용하는 Apache Flink를 기반으로 일관성 있고 확장 가능하며 안정적인 스트림 프로세싱 파이프라인에 대한 레퍼런스 아키텍처를 설명해드리고자 합니다. AWSLabs GitHub 저장소는 레퍼런스 아키텍처를 실제로 탐색하는데 필요한 아티팩트(artifact)를 제공합니다. 리소스에는 샘플 데이터를 Amazon Kinesis Stream으로 수집하는 프로듀서(producer) 애플리케이션과 실시간으로 데이터를 분석하고 그 결과를 시각화하기 위해 [ more… ]

Amazon Aurora 기반 PostgreSQL 호환 서비스 정식 출시

2017-10-25 KENNETH 0

Amazon Aurora 기반 PostgreSQL 호환 서비스 정식 출시 작년 말 Amazon Aurora 서비스에 PostgreSQL 호환 기능 추가 계획에 대해 이야기했습니다.  발표 직후 비공개 베타 버전을 출시했으며, 금년 초 공개 프리뷰를 통해이를 따라 갔다. 베타 및 미리보기 중에 많은 피드백을 받았으며 제품이 고객의 요구를 충족시키고 기대치를 초과 할 수 있도록 최선을 다했습니다. 정식 출시 오늘 Amazon Aurora기반 PostgreSQL 서비스를 정식 출시 하며, 우선 토교 리전을 포함 4개 AWS 리전에서 사용가능합니다.  PostgreSQL 9.6.3과 호환되며 최대 64TB의 스토리지를 지원하도록 자동으로 확장되며, 컴퓨팅 성능과 가용성을 개선하기 위해 6-way 복제 기능을 제공합니다. Amazon Aurora 기반 MySQL 서비스 처럼  관리 서비스로서 설정과 사용이 매우 쉽습니다. 성능 측면에서 보면 PostgreSQL을 직접 실행 한 경우 얻을 수있는 처리량의 최대 3 배를 기대할 수 있습니다 (Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases  참고) RDS Console에서 Amazon Aurora를 엔진으로 선택하고 PostgreSQL과 호환되는 에디션을 선택하고 Next를 클릭하여 PostgreSQL과 [ more… ]

No Image

오늘날 IT 임원이란 최고 변화 관리 책임자(CCMO, Chief Change Management Officer)

2017-10-24 KENNETH 0

오늘날 IT 임원이란 최고 변화 관리 책임자(CCMO, Chief Change Management Officer) 저는 IT 임원들이 조직의 클라우드 여정을 이끌 때 3가지 분야에 에너지를 집중하는 것을 확인한 바 있습니다. 이 게시물에서 저는 각 분야를 미리 살펴보고 향후 몇 주 동안 모든 분야에 대해 자세히 설명하고자 합니다. 또한 다음 주에 열리는 re:Invent의 Executive Summit에서 본 주제에 대해 논의하는 여러 세션을 진행할 예정이며, 여러분의 많은 참석을 바랍니다! 여정(Journey)은 반복적인 과정이며 시간이 걸릴 것이라는 점을 기억하십시오. 여정은 단순히 조직의 기술을 변화시키는 데 그치지 않습니다. 여정은 IT 부서가 기술을 제공하고 비즈니스 가치를 부여하는 방식을 변화시키는 것입니다. 클라우드가 동반하는 기술 변화 및 새로운 비즈니스 모델을 통해 여러분은 조직 전반에 걸쳐 직무 기능, 재무, 제품 개발 방법론 등을 살펴볼 기회를 얻게 됩니다. 사업 동기가 재무적 또는 경쟁적 성격을 띠든 혹은 두 가지 성격을 모두 갖고 있든 상관 없이, 이러한 여정은 여러분의 경력 전반에 걸쳐 비즈니스를 개선하기 위한 변혁을 [ more… ]

AWS 주간 소식 모음 – 2017년 10월 23일

2017-10-23 KENNETH 0

AWS 주간 소식 모음 – 2017년 10월 23일 안녕하세요! 여러분~ 매주 월요일 마다 지난 주에 업데이트된 국내 AWS관련 콘텐츠를 정리해 드립니다. AWS 클라우드에 대한 새로운 소식을 확인하시는데 많은 도움 되시길 바랍니다. 혹시 빠지거나 추가할 내용이 있으시면, 저에게 메일 주시면 추가 공유해 드리겠습니다. AWS코리아 블로그 Stephen Orban – 클라우드를 통해 구현된 실험 문화의 조성 (2017-10-20) Amazon ECR 수명 주기 정책을 통한 컨테이너 이미지 자동 삭제 기능 출시 (2017-10-20) Github에 대한 AWS DevOps 개발 도구 기능 확대 (2017-10-20) AWS re:Invnet 2017 행사와 함께 하세요! (2017-10-20) AWS 관리 콘솔 한국어 홈페이지 공개 (2017-10-19) Amazon Lightsail – 윈도 가상 서버 서비스 출시 (2017-10-17) Gluon 소개 – AWS와 마이크로소프트가 만드는 딥러닝 라이브러리 (2017-10-17) AWS코리아 발표 자료 Gaming on AWS – GameLift를 통한 실전 DevOps: 세션형 멀티플레이어 게임의 구현부터 운영까지 Step by Step (2017-10-17) Gaming on AWS – Serverless로 게임 서비스 구현하기 (2017-10-17) AWS Lambda를 기반으로한 [ more… ]

Stephen Orban – 클라우드를 통해 구현된 실험 문화의 조성

2017-10-20 KENNETH 0

Stephen Orban – 클라우드를 통해 구현된 실험 문화의 조성 “비즈니스에서 중요한 것은 속도” – Jeff Bezos   시장에서 기업의 경쟁력을 유지한다는 것은 예나 지금이나 늘 어려운 일입니다. Wired는 1955년부터 집계된 Fortune 500에서 매년 20~50개의 기업들이 탈락하고 있다고 지적합니다. 이러한 회전율은 기술과 많은 관련이 있습니다. 구체적으로, 클라우드는 지난 몇 년간이런 트렌드를 가능하게 한 핵심 요소 중 하나입니다. 소자본 기업들은 클라우드를 통해 갑자기 두각을 나타내어 산업 전반에 혼란을 불러일으킬 수 있습니다. 예를 들면 AirBnB, Pinterest, Uber 및 Spotify 같은 업체들은 설립된 지 10년도 채 되지 않았음에도 불구하고 현재 클라우드를 통해 비즈니스를 구현함으로써 업계 전체를 새롭게 정의하고 있습니다. 이러한 파괴적 기업들 (그리고 대부분의 신생 기업들)의 공통점은 무엇일까요? 그들은 실험으로부터 시작되었습니다. 그 누구도 이들 업체가 시장에서 성공할 것이라고 확신하지 못했습니다. 실험은 더 이상 스타트업의 전유물이 아니다 좋은 소식은, 클라우드가 실험을 가능하게 할 뿐 아니라,기업의 규모나 사업 기간에 관계 없이 계속 경쟁력을 유지하도록 도움을 줄 수 있다는 [ more… ]