Amazon Kinesis Data Firehose 서울 리전 출시!
Amazon Kinesis Data Firehose는 실시간 데이터를 저장소에 저장하거나 분석 도구를 바로 활용할 수 있는 서비스로서 오늘 서울 리전에 출시하였습니다.
Kinesis Data Firehose를 사용하면, 실시간 데이터 소스를 지속적으로 데이터를 변환 및 다양한 위치로 보내서 기존에 사용하고 있는 기존 비즈니스 인텔리전스 도구 및 대시보드를 통해 준 실시간으로 분석할 수 있습니다.
Kinesis Data Firehose는 데이터 처리량에 맞춰 자동으로 규모가 조정되며 지속적인 관리가 필요 없는 완전관리형 서비스입니다. 또한, 데이터를 로드하기 전에 배치 처리, 압축, 변환 및 암호화하여 대상 스토리지의 사용량을 최소화하고 보안을 강화할 수 있습니다.
기존 Kinesis Stream 뿐만 아니라 Firehose PUT APIs, Kinesis Agent, AWS IoT, CloudWatch Logs, CloudWatch Events 등에서 데이터를 전달 받을 수 있습니다. 이렇게 전달 받은 데이터는 중간에서 다양한 방법으로 데이터 변환도 가능합니다. 예를 들어, AWS Lambda 함수를 통해 데이터 형식을 바꾸거나, AWS Glue 서비스를 통해 Apache Parquet, Apache ORC 포맷으로 전환 가능합니다.
이렇게 변환된 데이터는 Amazon S3, Amazon Redshift, Amazon Elasticsearch Service, Splunk 등으로 저장할 수 있습니다.
Amazon Kinesis Data Firehose를 사용하면 가전제품, 내장형 센서, TV 셋톱 박스 등과 같은 연결된 디바이스의 데이터를 지속적으로 캡처하여 Amazon S3 및 Amazon Redshift로 전송해서 바로 대시보드를 만들 수 있습니다. 웹 사이트의 사용자 클릭을 실시간으로 분석하기 위해 Hearst는 전 세계 300여개의 웹 사이트에서 매일 30테라바이트의 데이터를 전송 처리하여, 웹 사이트 클릭에서 집계된 지표까지 전체 데이터 스트림을 몇 분 만에 분석가들에게 전달할 수 있습니다.
그 외에도 로그 데이터를 Amazon Elasticsearch Service로 계속해서 보내서 Kibana를 사용해 데이터를 시각화하고 분석하거나 네트워크 트래픽 흐름 로그를 캡처하여 변환하여 Splunk로 로드하여 보안 모니터링도 가능합니다.
좀 더 자세한 것은 제품 페이지, 기술 문서 그리고 사용 사례에 대한 실습 가이드, 블로그 글 등을 참고해 주시기 바랍니다.
– Channy(윤석찬);
Leave a Reply