Articles by KENNETH

Woot.com은 어떻게 AWS 기반 서버리스 데이터 레이크를 구축 하였는가? 이 글에서는 관계형 데이터베이스를 기반으로 구축된 기존 데이터 웨어하우스를 대체할 클라우드 네이티브 데이터 웨어하우스를 설계하는 방법에 대해 Woot.com의 사례를 소개합니다. (Woot는 2004 년에 설립되어 2010년 Amazon에 의해 인수된 최초의 일일 거래 사이트입니다. 원래 Woot는 매진 할 때까지 하루에 단 하나의 제품만을 제공했으나, 최근에는 7 가지 카테고리에 걸쳐 특별 일일 거래 및 기타 기간 한정 상품을 제공하고 있습니다.) 우선 설계 초기에는 관계형 데이터베이스에서 다른 관계형 데이터베이스로 그대로 마이그레이션하는 것이 가장 단순한 솔루션으로 보였습니다. 하지만 데이터 웨어하우스에서 정말로 필요로 했던 것에 우선적으로 역점을 두기로 결정했습니다. 작업에 적합한 도구를 사용하여 레거시 Oracle 데이터베이스를 더 작은 마이크로 서비스로 분리하는 방법을 모색하기 시작했습니다. 이 프로세스의 목적은 단순히 AWS 도구를 사용하는 것에 그치지 않고 클라우드 네이티브 기술을 사용하여 최종적인 목표를 실현하는 것 입니다. 이 마이그레이션을 위해서는 ETL(추출, 변환, 로드) 파이프라인을 새로 개발하여 기존 데이터를 마이그레이션하면서 새로운 데이터의 [ more… ]

Amazon ECS와 Amazon ECR의 AWS PrivateLink 설정 방법 Amazon ECS와 Amazon ECR에서 AWS PrivateLink가 정식으로 지원됩니다. AWS PrivateLink는 AWS 서비스 액세스에 대한 높은 가용성과 확장성을 제공하기 위한 네트워킹 기술입니다. 이 기술을 사용하면 모든 트래픽을 AWS 네트워크 안에 유지할 수 있습니다. ECR 및 ECS에 대한 AWS PrivateLink 엔드포인트 생성 시, 이 서비스 엔드포인트는 VPC 안에 프라이빗 IP 주소를 갖는 탄력적 네트워크 인터페이스로 나타납니다. AWS PrivateLink가 지원되기 전에는 ECR에 저장된 도커 이미지를 다운로드하거나 ECS Control plane과 통신하려면 Amazon EC2 인스턴스는 인터넷 게이트웨이를 사용해야 했습니다. 퍼블릭 IP 주소가 있는 퍼블릭 서브넷의 인스턴스는 인터넷 게이트웨이를 직접 사용했습니다. 프라이빗 서브넷의 인스턴스는 퍼블릭 서브넷에 호스팅되는 NAT(네트워크 주소 변환) 게이트웨이를 사용하고, NAT 게이트웨이가 인터넷 게이트웨이를 통해 ECR 및 ECS와 통신합니다. AWS PrivateLink를 사용하면 퍼블릭 서브넷과 프라이빗 서브넷의 인스턴스 모두 프라이빗 연결을 통해 Amazon ECR에서 이미지를 다운로드할 수 있습니다. 또한 인스턴스는 인터넷 게이트웨이나 NAT 게이트웨이가 없어도 AWS PrivateLink [ more… ]

Amazon VPC에서 네트워크 연결성에 대한 디버깅 도구 활용하기 AWS내의 리소스들은 최적의 성능으로 서비스를 제공하기 위해 기반 네트워크에 크게 의존합니다. 예를 들어, 데이터베이스를 최적화하고 프런트엔드 애플리케이션 서버를 고비용의 하이엔드 Amazon EC2 인스턴스에서 실행하더라도 기반 네트워크에 문제가 발생하면 이러한 모든 유익한 요소가 단번에 무효화될 수도 있습니다. 이러한 이유로 지속적으로 네트워크 연결의 상태와 안정성을 모니터링하는 것이 절대적으로 중요합니다. 성능에 영향을 미치는 요소에는 대기 시간과 네트워크 경로를 통한 패킷 손실률 등이 있습니다. 이러한 요인들은 다양한 애플리케이션의 동작에 영향을 줄 수 있습니다. 다행히 AWS에는 AWSSupport-SetupIPMonitoringFromVPC라는 내재된 도구가 있어 관련 지표들을 모니터링할 수 있으며, 이를 Amazon CloudWatch 경보와 함께 사용하여 비정상적인 패턴을 감지하는 특정 작업을 수행할 수도 있습니다. 다음 스크린샷은 CloudWatch 대시보드의 출력을 보여줍니다. 출력결과 이해하기 일반적으로 네트워크 통계를 측정하는 데 사용되는 도구인 ping에서 통계가 파생됩니다. ping은 A지점에서 Z지점간 일반 경로의 상태에 대한 정보를 수집하는 데 유용하지만, 특정 네트워크 내의 모든 경로에 대한 상태를 평가하기에는 부족한 [ more… ]