No Image

KHP 하둡 배포판 릴리즈 관리하기(feat. khp-package)

2022-12-12 KENNETH 0

KHP 하둡 배포판 릴리즈 관리하기(feat. khp-package) 들어가기 전에 카카오 하둡 플랫폼(Kakao Hadoop Platform, 이하 KHP)는 카카오 자체 개발 하둡 플랫폼입니다. 이에 대한 전체적인 소개는 아래 링크에서 확인하실 수 있습니다. 카카오 자체 개발 하둡 플랫폼 KHP KHP는 오픈 소스인 하둡 컴포넌트들을 어떻게 릴리즈(관리)하는가 이번 글에서는 KHP가 오픈 소스 하둡 컴포넌트들을 어떻게 관리하고 릴리즈하고 있는지 소개합니다. KHP를 구성하는 주요 구성 요소 중에는 khp-package가 있습니다. […] Source: KHP 하둡 배포판 릴리즈 관리하기(feat. khp-package)

No Image

카카오 자체 개발 하둡 플랫폼, Kakao Hadoop Platform(KHP)

2022-12-12 KENNETH 0

카카오 자체 개발 하둡 플랫폼, Kakao Hadoop Platform(KHP) Kakao Hadoop Platform (KHP) 카카오에서 자체 개발한 하둡 솔루션인 Kakao Hadoop Platform, KHP를 소개합니다.  하둡이 무엇인지 궁금하시다면 아래 링크를 통해 “하둡엔지니어링파트” 를 확인해보세요. https://tech.kakao.com/2022/10/21/data-platform-engineering/ 하둡을 사용하기 위해서는 에코시스템 내 다양한 하둡 컴포넌트들의 호환성을 검증하고, 이를 배포 및 운영 관리하는 도구가 필요합니다. 하둡을 운영 환경에서 사용해 보신 분들이라면 이는 선택이 아닌 필수라는 데에 공감대가 있으실 것으로 생각합니다. 카카오의 […] Source: 카카오 자체 개발 하둡 플랫폼, Kakao Hadoop Platform(KHP)

No Image

추천팀의 DDD 도입기

2022-12-12 KENNETH 0

추천팀의 DDD 도입기 추천팀의 DDD 도입기 안녕하세요, 추천팀 제이입니다. 추천팀에서 새로운 머신러닝 플랫폼 개발 프로젝트에 Domain-driven design (DDD)를 적용했는데요, 이 글에서는 적용한 배경과 적용 과정, 그리고 진행하면서 느낀 점들을 공유하고자 합니다. ML SaaS 개발 배경과 소프트웨어 복잡성 저는 추천팀에서 ML SaaS(Machine Learning Software as a Service) 플랫폼을 개발하고 있습니다. ML SaaS 플랫폼은 머신러닝을 잘 모르는 사용자도 추천팀이 가지고 […] Source: 추천팀의 DDD 도입기

No Image

USN-5772-1: QEMU vulnerabilities

2022-12-12 KENNETH 0

USN-5772-1: QEMU vulnerabilities It was discovered that QEMU incorrectly handled bulk transfers from SPICE clients. A remote attacker could use this issue to cause QEMU to crash, resulting in a denial of service, or possibly execute arbitrary code. This issue only affected Ubuntu 14.04 ESM and Ubuntu 16.04 ESM. (CVE-2021-3682) It was discovered that QEMU did not properly manage memory when it transfers the USB packets. A malicious guest attacker could use this issue to cause QEMU to crash, resulting in a denial of service, or possibly execute arbitrary code. This issue only affected Ubuntu 18.04 LTS, Ubuntu 20.04 LTS and Ubuntu 22.04 LTS. (CVE-2021-3750) It was discovered that the QEMU SCSI device emulation incorrectly handled certain MODE SELECT commands. An attacker inside the guest could possibly use this issue to cause QEMU to crash, resulting in a denial of [ more… ]

Amazon SageMaker Data Wrangler – 신규 SaaS 애플리케이션 데이터 소스 지원

2022-12-12 KENNETH 0

Amazon SageMaker Data Wrangler – 신규 SaaS 애플리케이션 데이터 소스 지원 데이터는 기계 학습의 원동력입니다. 기계 학습에서 데이터 준비는 원시 데이터를 추가 처리 및 분석에 적합한 형식으로 변환하는 프로세스입니다. 데이터 준비를 위한 일반적인 프로세스는 데이터를 수집한 다음 정리하고 레이블을 지정하고 마지막으로 검증 및 시각화하는 것으로 시작됩니다. 고품질의 데이터를 올바로 얻는 프로세스는 보통 복잡하고 시간이 많이 걸릴 수 있습니다. 이것이 바로 AWS에서 기계 학습(ML) 워크로드를 구축하는 고객들이 Amazon SageMaker Data Wrangler의 기능을 높이 평가하는 이유입니다. SageMaker Data Wrangler를 통해 고객은 단일 시각적 인터페이스에서 데이터 준비 프로세스를 간소화하고 데이터 준비 워크플로의 필수 프로세스를 완료할 수 있습니다. Amazon SageMaker Data Wrangler는 ML용 데이터를 집계하고 준비하는 데 걸리는 시간을 줄이는 데 도움이 됩니다. 그러나 데이터의 확산으로 인해 일반적으로 고객은 제조 데이터를 위한 SAP OData, 고객 파이프라인을 위한 Salesforce, 웹 애플리케이션 데이터를 위한 Google Analytics와 같은 외부 SaaS(Software-as-a-Service) 애플리케이션을 비롯한 여러 시스템에 데이터가 분산되어 있습니다. [ more… ]