Amazon SageMaker Ground Truth – 동영상 레이블 지정 기능 출시 (서울 리전 포함)

AWS re:Invent 2018에서 공개된 Amazon Sagemaker Ground Truth는 기계 학습 데이터 세트에 간편하게 주석을 기록해주는 Amazon SageMaker의 기능입니다. 고객은 내장 워크플로로 효율적이고 정확하게 이미지, 텍스트 및 3D 포인트 클라우드에 레이블을 지정하거나 사용자 지정 워크플로로 모든 유형의 데이터에 레이블을 지정할 수 있습니다. 데이터 샘플이 인력(개인, 타사 또는 MTurk)에게 자동으로 배포되고 주석이 Amazon Simple Storage Service(S3)에 저장됩니다. 또는 자동 데이터 레이블 지정을 활성화하여 데이터 세트에 레이블을 지정하는 데 소요되는 시간과 관련 비용을 절약할 수 있습니다.

기계 학습 모델이 더욱 정교해지면서 영상 콘텐츠에 기계 학습 예측을 적용하는 AWS 고객들이 늘어나고 있습니다. 아마 자율 주행이 가장 잘 알려진 사용 사례일 것입니다. 안전을 지키기 위해서는 도로 상태와 움직이는 물체를 실시간으로 정확히 탐지하고 추적해야 합니다. 영상 예측도 스포츠 분야에서 흔히 활용되는데, 선수나 경주 차량을 추적하여 팬들이 좋아하는 각종 통계를 계산합니다. 의료 기관에서도 영상 예측을 사용하여 의료 영상에서 해부학적 개체를 식별하고 추적합니다. 제조 기업도 마찬가지로 조립 라인, 택배 물류 등에서 물체를 추적합니다. 그 외에도 다양한 사례가 있고 여러 산업에서 멋진 응용 사례들이 계속 등장하고 있습니다.

물론, 이를 위해서는 영상 데이터 집합을 구축하고 레이블을 지정해야 합니다. 이때 관심 대상인 물체에 수동으로 레이블을 붙여야 합니다. 초당 프레임이 30개일 경우, 1분 분량 영상에서 이미지가 1,800개가 나오므로 얼마 지나지 않아 작업량이 급격히 증가할 수 있습니다. 게다가 이미지에 레이블을 지정하고, 워크플로를 관리하는 등의 작업을 위한 도구도 개발해야 합니다. 이 모든 작업을 처리하느라 조직의 핵심 비즈니스에서 귀중한 시간과 리소스가 소모됩니다.

저희 AWS 고객들이 더 나은 솔루션을 요청하였고, 오늘 Amazon Sagemaker Ground Truth에서 영상 레이블 지정을 지원한다는 소식을 전해드릴 수 있게 되었습니다.

고객 사용 사례: National Football League
National Football League(NFL)는 이미 이 새로운 기능을 사용하기 시작했습니다. NFL 선수 건강 및 혁신 부문 전무, Jennifer Langton는 이렇게 말했습니다. “National Football League(NFL)에서는 기계 학습(ML)을 활용하여 팬, 방송사, 코치, 팀이 더욱 깊이 있는 분석 정보를 이용할 수 있도록 도울 방법을 지속적으로 모색하고 있습니다. 이러한 기능을 구축하려면 정확히 레이블이 지정된 훈련 데이터가 대량으로 필요합니다. Amazon SageMaker Ground Truth는 프로젝트 일정을 앞당기는 일등 공신입니다. 새로운 영상 객체 추적 워크플로에 더해 다른 기존의 컴퓨터 비전(CV) 레이블 지정 워크플로를 사용해서 경기 중에 코트에서 총 22명의 선수가 움직이는 모습을 추적하는 컴퓨터 비전 시스템을 훈련하는 데 사용할 레이블을 개발했습니다. Amazon SageMaker Ground Truth는 양질의 레이블 지정 데이터 집합을 개발하는 기간을 80% 이상 단축했습니다“.

NFL에서 몇 가지 예측된 프레임을 제공해주었는데, Seattle Seahawks 영상에서 헬멧을 탐지하는 사례입니다. 이 영상의 프레임은 353개입니다. 첫 번째 사진은 100번 프레임입니다.

두 번째 사진은 110번 프레임입니다.

영상 레이블 지정 소개
영상 작업 유형을 추가한 고객은 다음과 같은 용도로 Amazon Sagemaker Ground Truth를 사용할 수 있습니다.

영상 클립 분류
영상 다중 프레임 객체 탐지
영상 다중 프레임 객체 추적

다중 프레임 작업 유형은 여러 레이블을 지원하므로 영상 프레임에 있는 여러 가지 객체 클래스에 레이블을 지정할 수 있습니다. 레이블 지정 작업을 생성해서 처음부터 프레임에 주석을 기록할 수도 있고 조정 작업을 생성해서 이미 레이블이 지정된 프레임을 검토하고 세밀하게 조정할 수 있습니다. 이런 작업은 개인 인력 또는 AWS Marketplace에서 선택한 공급업체 인력에게 배포될 수 있습니다.

작업자는 내장된 GUI를 사용하면 모든 프레임에서 간편하게 객체에 레이블을 지정하고 추적할 수 있습니다. 프레임에 주석을 달고 나면 보조 레이블 지정 기능을 사용하여 다음 프레임의 경계 상자 위치를 예측할 수 있습니다. 이 내용은 아래의 데모에서 확인할 수 있습니다. 이를 통해 레이블 지정 작업을 상당히 단순화하고, 시간을 절약할 수 있으며, 주석의 품질을 개선할 수 있습니다. 마지막으로, 작업이 자동으로 저장됩니다.

영상 객체 탐지 및 추적을 위한 입력 데이터 준비
예상하고 계시겠지만 입력 데이터는 S3에 위치해야 합니다. 영상 파일이나 일련의 영상 프레임을 가져올 수 있습니다.

Amazon Sagemaker Ground Truth에 영상 파일에서 프레임을 자동 추출하는 도구가 포함되어 있어 첫 번째 옵션이 가장 간단합니다. 또는, 프레임을 샘플링하여(‘n’개 중 1개) 레이블 지정 작업의 양을 줄일 수 있습니다. 추출 도구에서는 시퀀스와 프레임을 설명하는 매니페스트 파일도 구축됩니다. 자세한 내용은 설명서를 참조하세요.

두 번째 옵션은 프레임 추출과 매니페스트 파일 빌드, 이렇게 두 단계가 필요합니다. 일반적으로 사용하는 ffmpeg 오픈 소스 도구로 프레임을 간단하게 추출할 수 있습니다. 영상에서 처음 60초 분량을 프레임 시퀀스로 변환하는 방법은 다음과 같습니다.

$ ffmpeg -ss 00:00:00.00 -t 00:01:0.00 -i basketball.mp4 frame%04d.jpg

각 프레임 시퀀스는 서로 다른 접두어를 붙여서 S3에 업로드해야 합니다. 예를 들어 s3://my-bucket/my-videos/sequence1, s3://my-bucket/my-videos/sequence2 등과 같습니다. 자세한 내용은 설명서를 참조하세요.

프레임 시퀀스를 업로드했다면 이를 설명할 JSON 파일을 직접 가져오거나, Ground Truth가 시퀀스를 크롤링하고 JSON 파일과 매니페스트 파일을 자동으로 구축하게 할 수도 있습니다. 영상 시퀀스는 2,000프레임 이내여야 하며, 이는 초당 30프레임 기준으로 약 1분 분량의 영상에 해당합니다.

각 시퀀스는 간단한 시퀀스 파일로 설명해야 합니다.

시퀀스 번호, S3 접두어, 프레임 번호.
프레임 목록: 번호, 파일 이름, 생성 타임스탬프.

시퀀스 파일의 예시는 다음과 같습니다.

{"version": "2020-06-01",
"seq-no": 1, "prefix": "s3://jsimon-smgt/videos/basketball", "number-of-frames": 1800, 
	"frames": [
		{"frame-no": 1, "frame": "frame0001.jpg", "unix-timestamp": 1594111541.71155},
		{"frame-no": 2, "frame": "frame0002.jpg", "unix-timestamp": 1594111541.711552},
		{"frame-no": 3, "frame": "frame0003.jpg", "unix-timestamp": 1594111541.711553},
		{"frame-no": 4, "frame": "frame0004.jpg", "unix-timestamp": 1594111541.711555},
. . .

마지막으로 매니페스트 파일은 레이블 지정 작업에 포함하려는 시퀀스 파일을 가리켜야 합니다. 예시는 다음과 같습니다.

{"source-ref": "s3://jsimon-smgt/videos/seq1.json"}
{"source-ref": "s3://jsimon-smgt/videos/seq2.json"} . . .

다른 작업 유형과 마찬가지로 레이블 지정 작업이 완료되면 보강된 매니페스트가 S3에서 제공됩니다. 여기에 주석과 레이블이 포함되어 있으며, 이를 기계 학습 훈련 작업에 입력할 수 있습니다.

Amazon SageMaker Ground Truth로 영상 레이블 지정
이 샘플 영상을 사용하여 시퀀스의 처음 10개 프레임에 레이블을 지정했습니다. 아래의 스크린샷을 참조하세요.

먼저 Ground Truth GUI를 사용하여 첫 번째 프레임에 신중하게 레이블을 지정하고 농구공과 농구 선수에 경계 상자를 그립니다. 그런 다음, “다음 예측” 보조 레이블 지정 도구를 사용하여 다음 9개 프레임에서 상자 위치를 예측하고 일부 박스에만 사소한 변경 사항을 적용합니다. 처음으로 해보는 것이었지만 프로세스 자체가 쉽고 직관적이었습니다. 약간의 연습만으로도 훨씬 빠르게 진행할 수 있었습니다!

시작하기
이제 여러분의 차례입니다! 오늘부터 다음 리전에서 Amazon Sagemaker Ground Truth로 영상에 레이블을 지정할 수 있습니다.