얼굴 영상 기반 사용자 집중도 인식 시스템을 위한 심층 특징 앙상블 기법

Abstract

기술의 발전으로 인류는 물리적 제약 없이 전세계의 누구나 상호작용할 수 있으며 나아가 로봇과의 상호작용이 기대된다. 인게이지먼트란 상호작용하는 객체가 갖는 속성으로, 로봇과 사람 또는 사람과 사람 간의 이러한 상호작용 수준을 향상시킬 수단이 될 수 있는데 최근 급성장하고 있는 온라인 공개 강의(Massive Open Online course)와 같은 대형 강연에서 이 인게이지먼트 인식 시스템을 필요로 하고 있다. MOOC는 다수에게 제공될 수 있는 장점이 있지만 사용자의 이수율이 급격히 낮은 현상을 보이는데, 이는 사용자들이 대형 강연에대한 집중도가 낮다는 것을 보여준다. 온라인 강의를 포함하여 큰 집단을 대상으로 하는 대형 강연은 전통적 수업과 달리 강사가 청중의 상태를 통해 피드백을 얻기 어려워 이 같은 현상을 깨닫기 힘들다. 이러한 문제를 해결하기 위해 이 논문에서는 청중의 상태를 강사에게 알리고 이수율을 높이기 위한 수단으로 얼굴 영상 기반 집중도 인식 시스템을 제안한다. 심층학습 모델은 역전파 방식으로 지역적 최적화의 가능성이 높고 긴 훈련 시간을 필요로하지만 제안 된 시스템은 심층특징에 Extreme learning machine(ELM) 분류기를 앙상블하여 이러한 단점을 보완하고 집중도 인식을 학습한 심층학습 모델과 비교해 안정적이고 효율적인 성능을 보여주는 것을 실험을 통해 검증했다.