올바른 3차원 사람 자세 예측을 위한 2차원 비디오에서의 접촉점 추정

Abstract

2차원 이미지 및 비디오에서 사람의 3차원 자세를 추정하려는 시도가 이루어지고 있지만, 이것은 다른 3차원 좌표가 같은 2차원 좌표로 매핑될 수 있는 근본적인 애매모호성 때문에 한계를 가진다. 본 연구에서는 비디오에서부터 양 손과 양 발에 대한 접촉 여부를 추정하는 컨볼루션 신경망 학습기를 고안하였다. 이를 학습하고 평가하기 위하여 200개의 정제되지 않은 비디오 클립에 대하여 접촉점 라벨링을 한 데이터 세트를 만들어서 사용하으며, 고안한 신경망을 통하여 높은 정확도로 접촉점을 추정할 수 있었다. 이 연구는 사람의 동작에서 물리적인 제약인 접촉점을 비디오에서 직접 예측하여 3차원 자세 및 경로를 더 잘 예측할 수 있으며, 사람-물체 상호작용을 모델링하는 데에 있어 중요한 부분인 접촉점을 추정한다는 것에서 의미를 가진다.