AWS Data Wrangler를 이용한 AWS Lake Formation 관리 테이블 구성하기

2022-01-14 KENNETH 0

AWS Data Wrangler를 이용한 AWS Lake Formation 관리 테이블 구성하기 데이터 레이크를 통한 데이터 누적, 분석 및 활용이 기업의 경쟁력을 높이기 위한 필수 요건이 되었습니다. 많은 기업들이 현재 필요한 데이터뿐만 아니라, 미래를 대비한 다양한 종류의 데이터를 저장하고 있습니다. 데이터의 누적만큼, 데이터 보관 및 활용 관련 지켜야 할 다양한 규정 준수 요건들이 생겨나고, 데이터의 정합성과 관리 감독에 대한 필요성이 아래와 같이 발생하고 있습니다. 개인정보 보호법, GDPR(General Data Protection Regulation), CCPA(California Consumer Privacy Act)등 다양한 법규 관련 사항으로 인하여, 불필요한 데이터를 삭제할 필요가 있습니다. 데이터의 ACID(Atomicity, Consistency, Isolation, Durability)를 보장하는 데이터 레이크 관리 및 운영방안이 필요합니다. 관리 감독을 위한 코드를 기초로 한 데이터 레이크 생성 및 운영방안이 필요합니다. AWS에서는 지난 AWS re:Invent 2021을 통하여 ACID를 지원하는 AWS Lake Formation에서 관리 테이블을 소개하였습니다. 또한, AWS ProServe팀에서 오픈소스 기반의 AWS Data Wrangler API를 개발하였고, 이를 통하여 관리 테이블을 포함한 데이터 레이크의 개발 및 운영이 [ more… ]

No Image

2022 카카오 신입공채 1차 온라인 코딩테스트 for Tech developers 문제해설

2022-01-14 KENNETH 0

2022 카카오 신입공채 1차 온라인 코딩테스트 for Tech developers 문제해설 지난 2021년 9월 11일 토요일 오후 2시부터 7시까지 5시간 동안 2022 KAKAO BLIND RECRUITMENT 1차 코딩 테스트가 진행되었습니다. 테스트에는 총 7개의 문제가 출제되었으며, 개발 언어는 C++, Java, JavaScript, Kotlin, Python, Swift 총 6가지가 제공되었습니다. 문제는 작년과 마찬가지로 쉬운 난이도에서 어려운 난이도 순으로 배치했습니다. 6번 문제를 제외한 나머지 문제는 테스트 케이스를 모두 통과해야 정답으로 인정되었고, 부문 […] Source: 2022 카카오 신입공채 1차 온라인 코딩테스트 for Tech developers 문제해설

No Image

What’s New with the NGINX Controller Application Delivery Module for 2022

2022-01-13 KENNETH 0

What’s New with the NGINX Controller Application Delivery Module for 2022 ““The man who moves a mountain begins by carrying away small stones.” – Confucius Said another way, a series of small, incremental changes, delivered often, can have a very large impact. This thinking is the basis for modern apps that are commonly developed using CI/CD pipelines. While daily integration of new code into the mainline might not be a silver bullet, the accumulation of many small submissions can result in the next killer application. Like those who aspire to move a mountain, over the past few months NGINX released new versions of the NGINX Controller Application Delivery Module (ADM) that combine dramatically to improve the product – already a powerful governance, observability, and simplified operations platform for NGINX Plus deployments and the applications they support. Specifically, Releases 3.20, 3.21, and [ more… ]

No Image

Announcing Windows 11 Insider Preview Build 22533

2022-01-13 KENNETH 0

Announcing Windows 11 Insider Preview Build 22533 Hello Windows Insiders, today we are releasing Windows 11 Insider Preview Build 22533 to the Dev Channel. TL;DR We are resetting the rollout of the updated entry point for Widgets with weather on the taskbar first introduced with Build 22518. As a result, some Insiders who had this enabled may find it has reverted to the original experience as seen in released version of Windows 11. However, our intention is to quickly expand the rollout to the majority of Insiders in the Dev Channel. This build includes a good set of fixes and improvements but as always, be sure to check the known issues too. We’re rolling out a new Calls experience for the Your Phone app – details below. We are providing ISOs for this build which can be downloaded here. Changes and [ more… ]

고성능 컴퓨팅(HPC)용 Amazon EC2 Hpc6a 인스턴스 출시

2022-01-13 KENNETH 0

고성능 컴퓨팅(HPC)용 Amazon EC2 Hpc6a 인스턴스 출시 고성능 컴퓨팅(HPC)를 통해 과학자와 엔지니어는 전산 유체 역학 (CFD), 일기 예보 및 유전체학과 같은 복잡하고 컴퓨팅 집약적인 문제를 해결할 수 있습니다. HPC 애플리케이션에는 일반적으로 높은 메모리 대역폭, 짧은 지연 시간, 고대역폭 네트워크 상호 연결 및 고속 병렬 파일 시스템에 대한 액세스를 갖춘 인스턴스가 필요합니다. 많은 고객이 HPC 워크로드를 실행하기 위해 AWS를 선택했습니다. 예를 들어 Descartes Labs는 AWS를 사용하여 1.93 PFLOPS를 제공하는 TOP500 LINPACK 벤치마킹(가장 강력한 상용 컴퓨터 시스템) 실행을 지원하여 2019년 6월 TOP500 목록에서 136위를 차지했습니다. 이 실행은 Amazon EC2 C5 인스턴스 클러스터에서 41,472 코어를 사용했습니다. 작년에 Descartes Labs는 LINPACK 벤치마크를 다시 실행하여 EC2 인스턴스 클러스터에 172,692개의 코어로 2021년 6월 TOP500 목록에서 상위 40위 안에 들었습니다. 이는 단 2년 만에 417%의 성능 향상을 나타냅니다. AWS를 사용하면 클라우드에서 HPC를 실행하고 대부분의 온프레미스 환경에서는 실용적이지 않은 수만 개의 병렬 작업으로 확장하여 연구 속도를 높이고 결과 [ more… ]