Real time human pose estimation and gesture recognition from depth images using superpixel and SVM classifier

Abstract

본 논문에서는 깊이(depth) 영상만을 이용한 사람의 관절위치추정과 추정한 관절 정보를 바탕으로 한 행동인식 기법을 제안한다. 제안하는 기법은 GPU(Graphic processing unit)의 사용 없이 CPU(Central processing unit)만으로 실시간 동작이 가능하도록 알고리즘을 설계하여 임베디드(Embedded)보드와 같은 저가형 시스템에서도 구동 가능하다. 관절위치추정 알고리즘은 사전의 모델 정보 없이 SVM(support vector machine)을 이용한 학습기반 방법을 사용하여 깊이 영상 내의 사람의 몸의 픽셀을 사전에 정의한 몸의 한 부분으로 분류하며 분류정보를 바탕으로 관절의 위치를 추정한다. 이때 연산 시간을 단축시키기 위해 사람의 모든 픽셀을 분류하는 대신 군집한 픽셀들을 대표하는 superpixel들을 생성한 후 이를 분류하도록 하여 분류하는 픽셀의 개수를 감소시켰다. 행동인식 알고리즘의 경우 추정한 관절의 위치를 바탕으로 관절위치 변화추이를 통해 행동을 인식한다. 행동의 속도와 상관없이 행동인식이 가능하도록 key frame extraction 기법을 사용하여 행동에서 중요한 프레임을 추출 후 등록된 행동들의 keyframe과 비교하여 행동을 인식한다. keyframe은 사람의 관절의 위치 변화가 특정 수준 이상일 경우 추출되기 때문에 행동의 속도와 상관없이 행동의 추이를 파악할 수 있다. 행동등록에 있어서는 사람마다 행동 시 관절의 위치가 차이가 있으므로 이를 강인하게 인식하기 위해 행동 등록 시 키프레임 별 관절 위치의 평균 및 분산이 같이 등록된다. 입력행동은 등록행동들과 비교하여 비교 에러 값이 최소가 되는 행동으로 인식되며, 이때 등록 행동 간의 유사도 바탕으로 한 최대 경계 에러를 설정하여 등록된 행동 외에 다른 행동을 취했을 경우에도 등록된 행동 중 하나로 인식 되는 것을 방지하였다. 최종적으로 sliding window filter를 적용하여 오인식률을 최소화하였다. 제안한 관절위치추정 및 행동인식 기법은 자체 제작한 데이터 베이스를 바탕으로 실험을 진행하였으며, 실제 환경에서 적용 가능할 정도의 성능을 보였다.