Amazon Managed Workflows for Apache Airflow(MWAA) 정식 출시

2020-12-01 KENNETH 0

Amazon Managed Workflows for Apache Airflow(MWAA) 정식 출시 데이터 처리 파이프라인의 양과 복잡성이 증가함에 따라 전체 프로세스를 일련의 작은 태스크로 분해하여 간소화하고 워크플로의 일부로 이러한 태스크의 실행을 조정할 수 있습니다. 이를 위해 많은 개발자와 데이터 엔지니어가 커뮤니티에서 만든 플랫폼인 Apache Airflow를 사용하여 워크플로를 프로그래밍 방식으로 작성, 예약 및 모니터링합니다. Airflow를 사용하면 워크플로를 스크립트로 관리하고, 사용자 인터페이스(UI)를 통해 모니터링하며, 강력한 플러그인 세트를 사용해 기능을 확장할 수 있습니다. 그러나 Airflow를 수동으로 설치, 유지 관리 및 확장하는 동시에 사용자의 보안, 인증 및 권한 부여를 처리하려면 실제 비즈니스 문제 해결에 쏟는 시간보다 더 많은 시간이 할애됩니다. 이러한 이유로 AWS에서 오픈 소스 버전의 Apache Airflow를 쉽게 실행하고 추출-변환-로드(ETL) 작업 및 데이터 파이프라인을 실행할 워크플로를 구축할 수 있는 완전관리형 서비스, Amazon Managed Workflows for Apache Airflow(MWAA)의 출시 소식을 전하게 되어 정말 기쁩니다. Airflow 워크플로는 Amazon Athena 쿼리를 사용하여 Amazon Simple Storage Service(S3)와 같은 소스에서 입력을 검색하고, [ more… ]

No Image

USN-4652-1: SniffIt vulnerability

2020-12-01 KENNETH 0

USN-4652-1: SniffIt vulnerability It was discovered that SniffIt incorrectly handled certain configuration files. An attacker could possibly use this issue to execute arbitrary code. Source: USN-4652-1: SniffIt vulnerability

No Image

USN-4651-1: MySQL vulnerabilities

2020-11-30 KENNETH 0

USN-4651-1: MySQL vulnerabilities Tom Reynolds discovered that due to a packaging error, the MySQL X Plugin was listening to all network interfaces by default, contrary to expectations. This update changes the default MySQL configuration to bind the MySQL X Plugin to localhost only. This change may impact environments where the MySQL X Plugin needs to be accessible from the network. The mysqlx-bind-address setting in the /etc/mysql/mysql.conf.d/mysqld.cnf file can be modified to allow network access. Source: USN-4651-1: MySQL vulnerabilities

No Image

USN-4650-1: QEMU vulnerabilities

2020-11-30 KENNETH 0

USN-4650-1: QEMU vulnerabilities Alexander Bulekov discovered that QEMU incorrectly handled SDHCI device emulation. An attacker inside the guest could use this issue to cause QEMU to crash, resulting in a denial of service, or possibly execute arbitrary code on the host. In the default installation, when QEMU is used with libvirt, attackers would be isolated by the libvirt AppArmor profile. (CVE-2020-17380) Sergej Schumilo, Cornelius Aschermann, and Simon Wrner discovered that QEMU incorrectly handled USB device emulation. An attacker inside the guest could use this issue to cause QEMU to crash, resulting in a denial of service. (CVE-2020-25084) Sergej Schumilo, Cornelius Aschermann, and Simon Wrner discovered that QEMU incorrectly handled SDHCI device emulation. An attacker inside the guest could use this issue to cause QEMU to crash, resulting in a denial of service. (CVE-2020-25085) Gaoning Pan, Yongkang Jia, and Yi Ren [ more… ]

CodeBuild Report를 통한 UnitTest 및 Code Coverage 시각화

2020-11-30 KENNETH 0

CodeBuild Report를 통한 UnitTest 및 Code Coverage 시각화 유닛테스트는 모듈의 기능을 테스트 할 수 있는 작은 단위의 효과적인 테스트입니다. 하나의 소프트웨어는 여러개의 모듈로 이루어져있으며 유닛테스트는 이런 각각의 모듈이 정상적으로 기능을 수행하는지 시험할 수 있는 최소 수준의 시험단위를 뜻합니다. AWS CodeBuild에서는 유닛테스트와 코드 커버리지의 결과를 시각화하여 리포트로 받아볼 수 있습니다. 덕분에 CI/CD 파이프라인의 일부로서 CodeBuild 를 보다 효과적으로 활용할 수 있게 되었습니다. CodeBuild 보고서가 지원하는 테스트 보고서 파일 형식은 다음과 같습니다. Cucumber JSON JUnit XML NUnit XML NUnit3 XML TestNG XML Visual Studio TRX 샘플 코드는 https://github.com/aws-samples/amazon-cicd-concurrency-sample-application.git 을 사용하였습니다. HashMap의 동시성 이슈를 가지고 있으며 테스트를 위해 Junit으로 유닛테스트를 수행하고 있습니다. 또한 얼마나 많은 범위를 테스트하고 있는지 Jacoco를 이용해 코드 커버리지를 측정하고 있습니다. 해당 유닛테스트와 코드 커버리지 도구에 대한 정보는 Junit, Jacoco를 검색해보세요. 먼저 유닛테스트 보고서를 만들기위해 보고서의 결과 경로를 buildspec에 추가한 후 CodeBuild Report에서 리포트 그룹을 생성합니다. 1. 오른쪽 Build 탭의 [ more… ]