Amazon EFS Sync를 통한 빠른 데이터 이동 도구 출시

AWS re:Invent 2017이 개최되기 며칠 전 출시한 Amazon EFS File Sync를 마침내 정식으로 출시하였습니다.

이 도구는 다수의 파일을 온프레미스 또는 클라우드 내 파일 시스템에서 Amazon Elastic File System(EFS)으로 이동하는 데 유용합니다. 클라우드보다 앞서 개발된 cp 및 rsync 같은 단순한 단일 스레드 명령줄 툴은 방대한 데이터를 다른 곳으로 이동하는 데 필요한 처리량을 제공하지 못합니다. 이들 도구는 주로 스케줄링, 오케스트레이션 및 네트워크 보안을 처리하는 스크립트 내에서 기본 구성 요소로 사용되는 경우가 많습니다.

보안 및 병렬 방식
EFS File Sync는 위에서 언급한 도구 보다 최대 5배 더 빠르게 실행되는 안전하고 고도로 병렬화된 데이터 전송 메커니즘을 사용합니다. 이 메커니즘은 VMware ESXi 또는 EC2 인스턴스 내에서 에이전트로 실행할 수 있고, NFS(v3 및 v4)를 통해 소스 파일 시스템에 액세스할 수 있으며, EFS가 출시된 모든 AWS 리전에서 사용할 수 있습니다. 이 에이전트가 AWS와의 모든 통신을 실행해 주므로, VPN을 설정하거나 방화벽을 통한 인바운드 연결을 허용할 필요가 없습니다.

AWS Management Console에서 에이전트와 동기화 작업을 시작, 제어 및 모니터링할 수 있습니다. 작업에서는 전체 파일 시스템 또는 특정 디렉토리 트리를 전송하도록 지정할 수 있으며, 이미 대상에 있는 파일을 감지해 건너뛰는 옵션도 제공됩니다. 파일 메타데이터(수정 및 액세스 시간, POSIX 소유권 및 허가, 심볼릭 링크, 하드 링크)도 복사됩니다.

EFS File Sync 사용
이 블로그 게시물을 작성하기 위해 EC2 인스턴스를 시작하고 NFS 파일 시스템(/data)을 내보내고 Linux 커널 소스 코드로 파일 시스템을 채웠습니다.

인스턴스와 같은 리전에서 EFS 콘솔을 열고 File syncs를 클릭합니다.

Get started를 클릭하고 Amazon EC2를 호스트 플랫폼으로 선택한 후 Launch instance, Connect to agent를 차례로 클릭해 계속 진행합니다.

Launch instance를 클릭하면 EC2 콘솔이 별도의 탭에서 열립니다. Memory optimized 인스턴스 유형(xlarge 이상)을 선택하고 포트 80에서 인바운드 트래픽을 허용하는 퍼블릭 IP 주소와 보안 그룹으로 구성한 후 다른 EC2 인스턴스와 마찬가지로 시작합니다. 그런 다음 상태 점검이 통과할 때까지 1~2분 정도(화분에 물을 주거나 강아지를 살피기에 좋은 시간) 기다립니다.