[월:] 2020년 05월

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 2부

2020-05-14 KENNETH 0

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 2부 AWS에서 빅 데이터 ETL 워크플로를 실행하는 대기업은 많은 내부 최종 사용자를 지원하는 대규모로 운영하며 수천 개의 동시 파이프라인을 실행합니다. 이러한 상황과 새로운 프레임워크 및 빅데이터 프로세싱 프레임워크의 최신 릴리스에 보조를 맞추기 위해 빅 데이터 플랫폼을 지속적으로 업데이트 및 확장해야 하는 필요성에 따라, 빅 데이터 플랫폼의 관리를 간소화할 뿐 아니라 빅 데이터 애플리케이션에 대한 간편한 액세스를 지원하는 효율적인 아키텍처 및 조직적 구조가 요구되고 있습니다. 이 게시물 시리즈의 1부에서는 Apache Airflow, Genie 및Amazon EMR을 사용하여 빅 데이터 워크플로를 관리하는 방법에 대해 배웠습니다. 이 게시물은 AWS CloudFormation 템플릿을 배포하고, Genie를 구성하고, Apache Airflow에서 작성한 예제 워크플로를 실행하는 방법을 단계별로 안내합니다. 사전 조건 이 단계별 안내를 위해서는 다음과 같은 사전 조건을 갖추어야 합니다. AWS 계정 솔루션 개요 이 솔루션은 AWS CloudFormation 템플릿을 사용하여 필수 리소스를 생성합니다. 사용자는 배스천 호스트에 대한 SSH 터널을 [ more… ]

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 1부

2020-05-14 KENNETH 0

Apache Airflow, Genie 및 Amazon EMR을 통한 빅데이터 워크플로 오케스트레이션 – 1부 AWS에서 빅 데이터 ETL 워크플로를 실행하는 대기업은 많은 내부 최종 사용자를 지원하는 대규모로 운영하며 수천 개의 동시 파이프라인을 실행합니다. 이러한 상황과 새로운 프레임워크 및 빅데이터 프로세싱 프레임워크의 최신 릴리스에 보조를 맞추기 위해 빅 데이터 플랫폼을 지속적으로 업데이트 및 확장해야 하는 필요성에 따라, 빅 데이터 플랫폼의 관리를 간소화할 뿐 아니라 빅 데이터 애플리케이션에 대한 간편한 액세스를 지원하는 효율적인 아키텍처 및 조직적 구조가 요구되고 있습니다. 이 게시물에서는 수천 개의 동시 ETL 워크플로를 지원하고 이를 실현하는 데 필요한 운영 작업을 간소화하기 위한 중앙 집중식 플랫폼 팀의 빅 데이터 플랫폼 유지 관리 작업을 돕는 아키텍처를 소개합니다. 아키텍처 구성 요소 높은 수준에서 보면 이 아키텍처는 Amazon EMR과 함께 두 가지의 오픈 소스 기술을 사용하여 ETL 워크플로 작성, 오케스트레이션 및 실행을 위한 빅 데이터 플랫폼을 제공합니다. Genie는 빅 데이터 작업 동시 제출, 동적 작업 [ more… ]

No Image

USN-4359-1: APT vulnerability

2020-05-14 KENNETH 0

USN-4359-1: APT vulnerability apt vulnerability A security issue affects these releases of Ubuntu and its derivatives: Ubuntu 20.04 LTS Ubuntu 19.10 Ubuntu 18.04 LTS Ubuntu 16.04 LTS Summary APT could be made to crash if it opened a specially crafted file. Software Description apt – Advanced front-end for dpkg Details It was discovered that APT incorrectly handled certain filenames during package installation. If an attacker could provide a specially crafted package to be installed by the system administrator, this could cause APT to crash. Update instructions The problem can be corrected by updating your system to the following package versions: Ubuntu 20.04 LTS apt – 2.0.2ubuntu0.1 Ubuntu 19.10 apt – 1.9.4ubuntu0.1 Ubuntu 18.04 LTS apt – 1.6.12ubuntu0.1 Ubuntu 16.04 LTS apt – 1.2.32ubuntu0.1 To update your system, please follow these instructions: https://wiki.ubuntu.com/Security/Upgrades. In general, a standard system update will make [ more… ]

[도서] 타입스크립트 프로그래밍

2020-05-14 KENNETH 0

[도서] 타입스크립트 프로그래밍 분야별 신상품 – 국내도서 – 컴퓨터와 인터넷 [도서]타입스크립트 프로그래밍 보리스 체르니 저/우정은 역 | 인사이트(insight) | 2020년 05월 판매가 22,500원 (10%할인) | YES포인트 1,250원(5%지급) 타입스크립트는 자바스크립트의 슈퍼셋 프로그래밍 언어로, 동적 타입 언어인 자바스크립트의 단점을 보완하기 위해 탄생했다. 동적 타입 언어를 사용하는 개발자라면 프로그램을 확장하는 것이 얼마나 힘든 일인지, Source: [도서] 타입스크립트 프로그래밍

No Image

Announcing Windows 10 Insider Preview Build 19628

2020-05-14 KENNETH 0

Announcing Windows 10 Insider Preview Build 19628 Hello Windows Insiders, today we’re releasing Windows 10 Insider Preview Build 19628 to Windows Insiders in the Fast ring. Some Windows Insiders might notice that the name of the branch we’re releasing builds from has changed to MN_RELEASE starting with today’s build. As we mentioned back in December, the Fast ring receives builds directly from this active development branch. In this case, we are practicing our ability to change which branch we consider as the active development branch. This is just a short-term change and we intend to release builds from RS_PRERELEASE again soon. As our engineers work in development cycles internally, we may prioritize work being done in a specific branch and may need to move Insiders between branches. The builds from the MN_RELEASE branch are not matched to a specific Windows [ more… ]