An approach to fusing Skeletal data from multiple views to improve human action recognition

Abstract

최근 RGB-D 카메라의 발전은 신체 관절의 3차원 구조 정보를 포함하는 골격을 구성하여 신체 포즈의 모델링을 가능하게 하였고, 이러한 골격은 사람 행동 인식 연구에 활용될 수 있다. 그러나, 단일 카메라에 의한 골격의 추적은 폐색(occlusion)에 취약하며 카메라의 시점에 의존적이다. 본 논문은 두 대의 카메라에서 얻어진 골격을 융합하고, 이를 통해 사람 행동 인식의 성능 개선을 시도하였다. 시점-불변적 행동 인식기의 구축을 위해, 먼저 신체 관절의 3차원 위치에 기반을 둔 히스토그램을 계산하고, 이로부터 프레임 레벨 자질들을 추출하였다. 골격의 움직임은 클러스터링 기법을 적용하여 얻어진 프레임 레벨의 대표 값들로 표현하였다. 마지막으로 행동 인식은 K-nearest neighbor 알고리즘과 dynamic time warping 알고리즘을 접목시킨 시퀀스 매칭으로 구현하였다. 실험 및 평가를 위해, 골격 융합 데이터를 적용한 행동 인지 시스템과 단일 시점 데이터를 적용한 시스템의 인지율을 각각 비교하였다. 그 결과, 골격 융합 데이터를 활용한 시스템은 단일 시점 데이터를 활용한 시스템보다 여일하게 인식률이 더 높음을 관찰하였다. 또한, 시점-불변적인 방식을 채택하여도 불리한 시점에서 얻어진 골격 데이터만을 이용한 시스템은 인지율이 상당히 낮은 결과를 보여주었다. 따라서 본 연구는 비교적 새로운 분야인 다중 시점 행동 인지 연구의 중요성을 실험을 통해 입증하였다.