카프카 커넥트를 데이터 파이프라인으로 사용하는 이유? kafka-sink-connector 오픈소스 언빡싱!

카프카 커넥트를 데이터 파이프라인으로 사용하는 이유? kafka-sink-connector 오픈소스 언빡싱!

들어가며 안녕하세요, 광고추천팀에서 데이터 엔지니어로 일하고 있는 cory 입니다. 저는 광고추천팀에서 카프카(Kafka) 기반 스트림 데이터 플랫폼을 개발 및 운영하고 있습니다.  광고추천팀에서는 노출(impression), 클릭(click), 전환(conversion) 등의 광고 로그 데이터를 원천 데이터라고 부르며, 이 원천 데이터 분석을 기반으로 개인화된 광고를 서빙(Serving)하는 작업을 진행합니다. 팀 내 데이터 사이언티스트 크루들이 원활하게 데이터를 분석할 수 있도록 하려면 데이터 처리 프로세스(Extraction […]
Source: 카프카 커넥트를 데이터 파이프라인으로 사용하는 이유? kafka-sink-connector 오픈소스 언빡싱!