인간 행동 인식을 위한 블랍 추론 그래프 기반 실시간 다수 객체 추적

Abstract

본 논문은, 고정된 카메라로부터 얻어진 영상들이 주어질 때, 정확한 실루엣을 포함하여 다수 객체를 추적하고 인간의 행동을 인식하는 실시간 다수 객체 추적 및 인간 행동 인식 프레임워크를 기술한다. 이 프레임워크는 블랍 추출, 객체, 추적, 그리고 인간 행동 인식의 세가지 하위 프로세스들로 구성된다. 먼저, 영상이 주어지면, 다양한 조명 상태와 배경의 주기적 변화에 적절히 대처하도록, 픽셀-수준과 영역-수준으로 구성된 2단계 전경 검출 알고리즘을 적용하여 블랍을 추출한다. 2단계 전경 검출 과정에서, 계층적 데이터 구조를 갖는 다중 가우지안 알고리즘을 개선하고 색상과 에지 정보를 이용하여 이동 객체에 속하지 않는 그림자와 하이라이트를 제거하는 전경 검출 방법을 제안한다. 둘째로, 실루엣을 포함하여 다수 객체를 실시간으로 추적하는 방법을 제안한다. 이 과정은 다중-프레임 추적 방법의 일종으로 그룹과 쪼개짐 문제를 해결한다. 블랍 집합이 주어지면, 이전 블랍 집합과 현재 블랍 집합의 연결관계를 파악하여 블랍 연결 이벤트를 결정하고, 이 블랍 연결 이벤트에 따라 블랍 추론 그래프를 갱신한다. 그리고 각각의 버텍스를 쪼개짐, 객체, 또는 그룹 중의 하나로 분류하고, 블랍 추론 그래프로부터 유도된 객체 이벤트에 따라서 효과적으로 객체를 위치 시킨다. 끝으로, 객체 추적 결과가 주어지면, 행동을 Motion History Image (MHI)로 모델링하고, 이 MHI를 정규화 한 후, PCA를 이용하여 데이터 크기를 줄이고, 다중 구조 신경망을 이용하여 행동을 분류한다. 성능 평가를 위하여, 제안된 프레임워크를 몇몇 잘 알려진 데이터 집합과 직접 만든 데이터 집합에 적용하여 실험을 수행하였다. 각각의 피실험자가 각각의 행동에 대해서 조금씩 다른 방식으로 동작을 수행한 경우에도, 걷기, 뛰기, 앉기, 일어서기, 넘어짐의 다섯 가지 행동들에 대해서 높은 인식 결과를 보여 주었다. 또한, 실험을 통해, 제안된 프레임워크가 다수 인간에 대해서도 실시간으로 처리할 수 있음을 보였다. 제안된 프레임워크는 특정 객체 모델 또는 도메인에 특화된 지식을 사용하고 있지 않기 때문에, 지능형 영상 감시와 인간-컴퓨터 상호 작용 등을 포함하는 다양한 응용에 쉽게 사용할 수 있다.