AWS Fargate, Fluentd 및 Amazon Kinesis Data Firehose를 사용한 확장형 로그 솔루션 집계기 구축하기
AWS Fargate, Fluentd 및 Amazon Kinesis Data Firehose를 사용한 확장형 로그 솔루션 집계기 구축하기 최신 분산 애플리케이션들은 매일 기가바이트 수준의 로그 데이터를 생산해 낼 수 있는데, Amazon S3에서 Elasticsearch에 이르는 수많은 솔루션을 활용하면 이에 대한 분석과 스토리지 처리는 비교적 어렵지 않게 구현할 수 있지만 로그를 안정적으로 집계하고 최종 대상까지 전송하는 것은 여전히 어려운 영역에 속합니다. 이 게시물에서는 AWS Fargate, Amazon Kinesis Data Firehose 및 Fluentd를 사용하여 로그 집계기를 구축하는 방법을 설명합니다.본 아키텍처에서 중요한 로그 집계기 솔루션의 핵심을 구성하게 될 Fluentd는 로그 수집, 필터링, 버퍼링 및 라우팅을 처리하여 통합된 로깅 계층을 제공하는 것을 목표로 하는 오픈 소스 프로젝트입니다. Fluentd는 여러 클라우드 플랫폼에서 널리 사용되고 있으며 2016년 CNCF( Cloud Native Computing Foundation)에 채택된 솔루션입니다. AWS Fargate는 Fluentd 집계기를 위한 간단한 컴퓨팅 환경을 제공합니다. 로그를 최종 대상으로 스트리밍하는 Kinesis Data Firehose는 로그를 로드하기 전 데이터를 배치로 만들고 압축, 변환 및 암호화합니다. Kinesis는 대상에서 [ more… ]