시공간 특징을 이용한 표정인식 기법에 관한 연구

Abstract

많은 기존의 표정인식 연구들에서 동영상 기반 방법이 영상 기반 방법보다 월등한 성능을 보여주었다. 그렇기 때문에 많은 연구자들은 비디오 정보에서 시간정보에 의존하여 표정인식을 수행하고있다. 하지만 시간정보 뿐만 아니라 공간정보 역시 표정인식에서 중요하다. 본 논문에서 우리는 동영상 데이터에서 공간정보를 학습하는 CNN 네트워크를 제안한다. 이 모델은 여러 개의 입력을 받는 multi-input CNN에 기반한다. 각 입력영상들은 convolution layer를 통과하면 표정인식에 단서가 되는 영역을 자동적으로 추출하게 된다. 그 결과 우리가 제안한 Spatial dependent CNN은 여러 영상들의 공간정보, 눈,코,입이 어떠한 모양을 하고 있는지 학습하고 이를 이용해 표정인식을 수행한다. 추가적으로 기존에 사용되었던 연속적인 영상을 쌓아서 학습시킨 CNN, Temporal dependent CNN과 우리의 모델을 결합하여 표정인식에 이상적인 시공간 특징을 학습할 수 있다. 여러 실험을 통해 이 두 모델이 서로 상호보완적인 특징을 학습할수 있음을 알수 있었고 CK+ 와 Oulu-CASIA 데이터에서 세계기록을 갱신하였다.