No Image

분산 웹 캐시 (Wcache)의 개선과정 – Part 2

2017-10-23 KENNETH 0

분산 웹 캐시 (Wcache)의 개선과정 – Part 2 Overview Part 1: 분산 웹 캐시에서는 카카오의 트래픽을 처리하고 있는 Wcache에 대한 간략한 소개를 하였습니다. 이전 버전의 Wcache는 기본적으로 준수한 응답속도를 보이고 있었지만, metadata를 집중된 DB에 저장하는 방식 및 기타 구조상의 문제로 인한 성능 안정성 문제, 그리고 기능상의 문제들이 잠재되어 있었습니다. 본 포스트에서는 이전 버전의 Wcache에서 어떠한 구조적 문제가 있었는지, 또한 이를 어떻게 해결하였는지를 다룹니다. Part 2: Wcache 저장 구조 변경 저장 구조 변경 – 성능 안정화 기존 BigFile 저장방식의 문제점 이전 포스트에 나와있듯이 Wcache는 metadata 정보를 컨텐츠와는 별도로 DB에 저장해 두고 있었습니다. 메모리에 올라와 있는 LRU hashtable에 원하는 컨텐츠가 캐싱되어 있지 않다면, SQLite DB에 컨텐츠 키를 가지고 어떤 BigFile에 있는지, 헤더의 길이는 얼마나 되는지 등의 정보들을 조회를 해야 하는 것이죠. 위 과정은 평상시 읽는 과정에서는 문제가 없었지만, block 단위로 컨텐츠를 디스크에 저장할 때와 BigFile이 가득 차 오래된 BigFile block들을 replace 할 [ more… ]

No Image

분산 웹 캐시 (Wcache)의 개선과정 – Part 1

2017-10-23 KENNETH 0

분산 웹 캐시 (Wcache)의 개선과정 – Part 1 Overview 웹 서비스의 규모가 커지고 이용자의 수가 늘어날수록 서비스 제공자는 scalability 이슈에 직면합니다. 그중에서도 실제 ‘로딩 속도’의 차이를 느끼게 해 주고 트래픽의 대부분을 차지하는 정적 컨텐츠의 신속한 제공은 서비스 품질을 좌우하는 중요한 요소가 되곤 합니다. 이런 수많은 컨텐츠들(Javascript, css, image 등)을 빠르게 제공하기 위해 클라이언트와 서버 사이에 위치하며 컨텐츠를 임시로 저장하는 Middlebox를 웹 캐시(web cache)라고 합니다. 웹 캐시의 기능은 Apache Traffic Server, Nginx, Squid와 같은 어플리케이션에서 지원하고 있으며, 대량의 컨텐츠를 처리하기 위한 전용 하드웨어 형태의 상용 솔루션도 있습니다. 본 포스트에서는 카카오에서 자체적으로 개발하여 운영 중인 웹 캐시, Wcache에 대한 간략한 소개를 진행하고 올해 상반기에 진행되었던 대대적인 구조 개편 내역을 다음 포스트에 설명하고자 합니다. Part 1: 분산 웹 캐시, Wcache 개발 배경 및 기본적인 기능 기존에 웹 캐시로 사용되던 상용 솔루션의 문제점은 아래와 같았습니다. 장비 대수가 증가함에 따라 늘어나는 라이센스 비용. 버그 수정 [ more… ]

Hey Cortana, set a reminder: Harman Kardon Invoke voice-activated speaker available October 22

2017-10-20 KENNETH 0

Hey Cortana, set a reminder: Harman Kardon Invoke voice-activated speaker available October 22 If you’re like me, you use Cortana to regularly add reminders, so you don’t miss anything at work or home. Which is why I’ve asked Cortana to remind me to check out the new voice-activated speaker our partners at Harman Kardon are releasing on Sunday, October 22 – the Harman Kardon Invoke with Cortana. Invoke will be available in-store and online at Microsoft Store, Best Buy, and online at HarmanKardon.com. Invoke comes in two color options, Pearl Silver (White) and Graphite (Black) and retails for $199.95 USD. With more than 60 years of sound expertise, Harman is renowned for blending rich audio with best-in-class design. Crafted from premium materials, Invoke delivers powerful 360-degree sound from three direct-radiating woofers, three direct-radiating tweeters and two passive radiators. Invoke also features [ more… ]

Stephen Orban – 클라우드를 통해 구현된 실험 문화의 조성

2017-10-20 KENNETH 0

Stephen Orban – 클라우드를 통해 구현된 실험 문화의 조성 “비즈니스에서 중요한 것은 속도” – Jeff Bezos   시장에서 기업의 경쟁력을 유지한다는 것은 예나 지금이나 늘 어려운 일입니다. Wired는 1955년부터 집계된 Fortune 500에서 매년 20~50개의 기업들이 탈락하고 있다고 지적합니다. 이러한 회전율은 기술과 많은 관련이 있습니다. 구체적으로, 클라우드는 지난 몇 년간이런 트렌드를 가능하게 한 핵심 요소 중 하나입니다. 소자본 기업들은 클라우드를 통해 갑자기 두각을 나타내어 산업 전반에 혼란을 불러일으킬 수 있습니다. 예를 들면 AirBnB, Pinterest, Uber 및 Spotify 같은 업체들은 설립된 지 10년도 채 되지 않았음에도 불구하고 현재 클라우드를 통해 비즈니스를 구현함으로써 업계 전체를 새롭게 정의하고 있습니다. 이러한 파괴적 기업들 (그리고 대부분의 신생 기업들)의 공통점은 무엇일까요? 그들은 실험으로부터 시작되었습니다. 그 누구도 이들 업체가 시장에서 성공할 것이라고 확신하지 못했습니다. 실험은 더 이상 스타트업의 전유물이 아니다 좋은 소식은, 클라우드가 실험을 가능하게 할 뿐 아니라,기업의 규모나 사업 기간에 관계 없이 계속 경쟁력을 유지하도록 도움을 줄 수 있다는 [ more… ]

Amazon ECR 수명 주기 정책을 통한 컨테이너 이미지 자동 삭제 기능 출시

2017-10-20 KENNETH 0

Amazon ECR 수명 주기 정책을 통한 컨테이너 이미지 자동 삭제 기능 출시 오늘부터 Amazon EC2 Container Registry(Amazon ECR)의 일부인 수명 주기 정책을 사용하여 오래되거나 사용하지 않는 이미지를 자동으로 제거함으로써 컨테이너 이미지 리포지토리를 깔끔하게 정리할 수 있습니다. Amazon ECR은 종합 관리형 도커 컨테이너 레지스트리로 서비스 규모 조정을 통해 수백 개의 이미지의 일괄 풀링을 처리하는 데 따른 일반적인 문제를 염려할 필요 없이 도커 컨테이너 이미지를 용이하게 저장하고 관리하고 배포할 수 있습니다. 규모가 커지면 Amazon ECR을 사용하는 개발팀이 여러 컨테이너 이미지 버전으로 리포지토리가 가득차는 현상을 자주 접하게 됩니다. 그럴 경우 코드 변경을 찾기 힘들어지고 불필요한 스토리지 비용이 발생하여 문제가 됩니다. 이전에는 리포지토리를 정리하려면 오래된 이미지를 직접 삭제하거나 스크립트를 작성하고 실행하는 데 많은 시간이 소요되었습니다. 이제는 수명 주기 정책을 통해 규칙 집합을 정의하여 오래된 컨테이너 이미지를 자동으로 제거할 수 있습니다. 또한 규칙 미리 보기를 통해 규칙을 실행할 때 영향을 받는 컨테이너 이미지가 어떤 것인지 [ more… ]