Amazon SageMaker Ground Truth 기반 3D 포인트 클라우드 레이블 지정 기능 출시 (서울 리전 포함)

AWS re:Invent 2018에서 공개된 Amazon Sagemaker Ground Truth는 기계 학습 데이터 세트에 간편하게 주석을 기록해주는 Amazon SageMaker의 기능입니다. AWS 고객은 내장 워크플로로 효율적이고 정확하게 이미지 및 텍스트 데이터에 레이블을 지정하거나 사용자 지정 워크플로로 모든 유형의 데이터에 레이블을 지정할 수 있습니다. 데이터 샘플이 인력(개인, 타사 또는 MTurk)에게 자동으로 배포되고 주석이 Amazon Simple Storage Service(S3)에 저장됩니다. 또는 자동 데이터 레이블 지정을 활성화하여 데이터 세트에 레이블을 지정하는 데 소요되는 시간과 관련 비용을 절약할 수 있습니다.

약 1년 전에 자동차 분야의 저희 고객을 만났는데, 주요 관심사는 자율 주행을 위한 3D 데이터 세트에 레이블을 지정하는 것이었습니다. LIDAR 센서가 수집하는 이런 데이터 세트는 특히 용량이 크고 복잡합니다. 데이터는 프레임으로 저장되며, 일반적으로 약 5만~5백만 포인트가 포함되어 있고 각 용량이 수백 메가바이트에 이르기도 합니다. 프레임은 개별적으로 또는 순차적으로 저장되어 이동하는 물체를 손쉽게 추적할 수 있습니다.

여러분께서도 짐작하시겠지만, 이런 데이터 세트에 레이블을 지정하는 작업은 매우 오랜 시간이 소요됩니다. 작업자들이 복잡한 3D 장면을 살펴보고 여러 가지 객체 클래스에 주석을 기록해야 하기 때문입니다. 그래서 매우 복잡한 도구를 구축하고 관리해야 하는 경우가 많습니다. 언제나 고객이 더욱 간단하고 효율적인 워크플로를 구축할 방법을 고민하는 Ground Truth 팀은 더 많은 피드백을 수집해 연구를 시작했습니다.

드디어 오늘 Amazon Sagemaker Ground Truth의 내장 편집기와 첨단 보조 레이블 지정 기능을 사용하여 3D 포인트 클라우드에 레이블을 지정할 수 있게 되었다는 소식을 알려드리고자 합니다.

3D 포인트 클라우드 레이블 지정 소개
다른 Ground Truth 작업 유형과 마찬가지로, 3D 포인트 클라우드의 입력 데이터는 S3 버킷에 저장해야 합니다. 또한, 매니페스트 파일에 설명을 기록해야 합니다. 매니페스트 파일이란 S3에서의 프레임 위치와 각 속성이 포함된 JSON 파일입니다. 데이터 세트에는 단일 프레임 데이터 또는 다중 프레임 시퀀스가 포함될 수 있습니다.

또는 데이터 세트에 내장 카메라에서 수집한 이미지 데이터가 포함될 수도 있습니다. Ground Truth는 “센서 결합”이라는 기능을 사용하여 최대 8대의 카메라까지 3D 포인트 클라우드를 동기화할 수 있습니다. 따라서 작업자들은 현실감 있는 장면을 촬영하고 2D 이미지와 3D 포인트 클라우드에 서로 레이블을 적용할 수도 있습니다.

매니페스트 파일이 준비되면, Ground Truth에서 다음과 같은 작업 유형을 생성할 수 있습니다.

객체 탐지: 3D 포인트 클라우드 프레임 내에서 관심 객체를 확인합니다.
객체 추적: 연속적인 3D 포인트 클라우드 프레임에서 관심 객체를 추적합니다.
의미론적 분할: 3D 포인트 클라우드 프레임의 포인트를 사전 정의된 카테고리로 분할합니다.

작업자들이 새 프레임에 주석을 기록하는 레이블 지정 작업이 되거나 기존 주석을 검토하고 세밀하게 조정하는 조정 작업이 될 수도 있습니다. 작업은 개인 인력 또는 AWS Marketplace에서 선택한 공급업체 인력에게 배포될 수 있습니다.

작업자들은 내장 그래픽 사용자 인터페이스(GUI)와 내비게이션 및 레이블 지정을 위한 바로가기를 사용하여 레이블, 상자, 카테고리를 신속하고 정확하게 3D 객체(예: “자동차”, “보행자”)에 적용할 수 있습니다. 또한, 차량 색상이나 객체가 완전히 보이는지, 부분적으로만 보이는지 여부와 같이 사용자가 정의한 속성을 추가할 수도 있습니다.

GUI에는 레이블 지정 작업의 복잡도를 상당히 낮추어주고, 시간을 절약하고, 주석의 품질을 개선해주는 여러 가지 보조 레이블 지정 기능이 있습니다. 다음은 몇 가지 예시입니다.

스내핑: Ground Truth는 객체 주변으로 여백 없이 꼭 맞는 상자를 추론해서 그립니다.
보간: 레이블을 지정하는 작업자가 시퀀스의 첫 번째와 마지막 프레임에 있는 객체에 주석을 기록합니다. Ground Truth가 중간 프레임에 자동으로 주석을 기록합니다.
지면 탐지 및 제거: Ground Truth는 객체 상자에서 지면에 속한 3D 포인트를 자동으로 탐지하고 제거할 수 있습니다.

보조 레이블 지정을 사용하더라도 복잡한 프레임과 시퀀스에 주석을 기록하려면 상당한 시간이 걸릴 수 있으므로 데이터 손실을 예방하려면 작업을 주기적으로 저장해야 합니다.

3D 포인트 클라우드 데이터 세트 준비
앞서 언급하였듯이 3D 데이터 세트를 설명하는 매니페스트 파일을 제공해야 합니다. 이 파일의 형식은 Ground Truth 설명서에 정의되어 있습니다. 물론, 매니페스트 파일을 구축하는 단계는 데이터 세트마다 다릅니다. 예를 들어 Audi A2D2 데이터 세트에는 360도 3D LIDAR 데이터와 2D 이미지를 포함하여 약 40만 개의 프레임이 포함됩니다. 자율 주행 연구에 흔히 사용되는 또 다른 데이터 세트인 KITTI에는 이미지 15,000개와 그에 해당하는 클라우드 포인트가 있는 3D 데이터 세트가 포함되고 레이블이 지정된 객체가 총 80,256개입니다. 이 노트북은 KITTI 데이터를 Ground Truth 형식으로 변환하는 방법을 보여줍니다.

데이터 세트에 3D LIDAR 데이터와 2D 카메라 이미지가 모두 포함되어 있으면 동기화하기가 어렵습니다. 3D 포인트를 2D 좌표로 프로젝션하고 내장 카메라에서 촬영된 사진에 이를 매핑하거나 그 반대의 작업이 필요합니다. 또 다른 문제는 특정 디바이스에서 수집된 데이터는 해당 디바이스에 속하는 좌표를 사용합니다. 다행히 차량 어디에 디바이스가 위치하고, 어느 방향을 향하는지는 알고 있습니다. 이 모든 문제는 글로벌 좌표 시스템, 일명 World Coordinate System(WCS)을 구축하는 방법으로 해결할 수 있습니다. 행렬 연산(자세한 설명은 생략)을 사용하여 WCS 내에 있는 모든 데이터 포인트의 좌표를 계산할 수 있습니다.

프레임이 처리되면 차량 위치, S3에서 LIDAR 데이터의 위치, S3에서 관련 사진의 위치와 같은 정보가 매니페스트 파일에 저장됩니다. 용량이 큰 데이터 세트의 경우, 모든 작업을 처리하는 과정에서 상당한 워크로드가 발생합니다. 이는 Amazon SageMaker Processing, Amazon EMR 또는 AWS Glue와 같은 관리형 서비스에서 실행할 수 있습니다.

Amazon SageMaker Ground Truth로 3D 포인트 클라우드 레이블 지정
이 노트북을 바탕으로 간단히 데모를 보여드리겠습니다. 이 데모는 미리 처리된 샘플 프레임에서 시작해 각 6가지 작업 유형(객체 탐지, 객체 추적, 의미론적 분할 및 관련 조정 작업 유형)에 대해 3D 포인트 클라우드 레이블 지정 작업을 생성하는 프로세스를 간소화합니다. 직접 개인 작업자가 되어서 작업자 GUI와 레이블 지정 도구로 프레임에 레이블을 지정할 수 있습니다.

사진은 천 마디 말보다 값지고, 영상은 그보다 더 효과적입니다! 첫 번째 영상에서는 두 개의 보조 레이블 지정 기능으로 몇 대의 차량에 주석을 기록해보겠습니다. 첫째, 지면에 상자를 놓습니다. 실제로 지면을 캡처하지 않고도 지면에 가까운 객체 포인트를 캡처하는 데 도움이 됩니다. 둘째, 객체에 상자를 맞춥니다. 빈 공간 없이 상자가 객체에 꼭 맞게 됩니다.

두 번째 영상에서는 동일한 기술로 세 번째 차량에 주석을 기록합니다. 앞의 영상보다는 상당히 “보기”가 어렵기는 하지만 다행히 차량 주변으로 꼭 맞는 상자를 놓을 수 있었습니다. 다음의 9개 프레임을 재생해보니 이 차량은 움직이는 상태였던 것을 알 수 있었습니다. 10번째 프레임으로 바로 넘어가서 차량의 새로운 위치로 경계 상자를 조정했습니다. Ground Truth가 중간에 있는 8개 프레임에 자동으로 레이블을 지정합니다. 이는 ‘보간’이라고 하는 다른 보조 레이블 지정 기능입니다.