Amazon S3 업데이트 — 강력한 쓰기 후 읽기 일관성
Amazon S3 업데이트 — 강력한 쓰기 후 읽기 일관성 2006년에 S3를 출시했을 때 사실상 무제한의 용량 (“…개수에 상관없이 블록을 쉽게 저장…”)과, 99.99%의 가용성을 제공하도록 설계되었으며 데이터가 여러 위치에 투명하게 저장되는 내구성 있는 스토리지를 제공한다는 사실에 대해 논의했습니다. 이 출시 이후 고객은 백업 및 복원, 데이터 아카이빙, 엔터프라이즈 애플리케이션, 웹 사이트, 빅 데이터, 그리고 10,000개가 넘는 (마지막 계산 시 수치) 데이터 레이크와 같은 놀랄 정도로 다양한 방식으로 S3를 사용해왔습니다. S3 및 기타 대규모 분산 시스템의 더 흥미롭고 때로는 다소 혼란스러운 측면 중 하나가 바로 일반적으로 최종 일관성이라고 하는 개념입니다. 간단히 말해서 데이터를 저장하거나 수정하는 PUT과 같은 S3 API 함수를 호출한 후에는 데이터가 허용되고 안정적으로 저장되었지만 모든 GET 또는 LIST 요청에는 아직 표시되지 않는 약간의 시간 지연이 있습니다. 제가 이를 바라보는 방법은 다음과 같습니다. S3의 이러한 측면은 빅 데이터 워크로드 (대부분 Amazon EMR을 사용함)와 데이터 레이크의 경우 매우 까다로울 수 있습니다. 둘 [ more… ]
