이음새 없는 얼굴 텍스처 매핑을 위한 자동 프레임 선택 기법

Abstract

다중 시점 영상 기반 3차원 얼굴 복원 과정에서 텍스처 매핑 결함은 큰 문제이다. 특히 뜬 눈의 텍스처와 감은 눈의 텍스처가 함께 눈 영역의 텍스처 매핑에 이용되면, 눈의 영역에 이음새 결함을 발생시키게 된다. 하지만 현재 이를 해결하기 위한 다중 시점 얼굴 영상에서 눈의 깜빡임을 탐지하는 연구는 거의 진행되고 있지 않으며, 얼굴이 카메라와 마주한 상황에서의 눈 깜빡임 탐지에 관한 알고리즘은 주로 학습 기반 눈 탐지방법을 이용하고 있다. 그러나 이 같은 학습 기반 눈 탐지 방법은 학습에 이용된 데이터와 입력 영상의 차이에 따라 성능의 차이가 크며, 투영 왜곡이 존재하는 환경에는 적용하는데 어려움이 있다.

따라서 본 논문에서는 학습된 결과를 이용하지 않고, 다중 시점 얼굴 영상에서 눈을 감고 있는 영상을 구분하는 방법을 제안한다. 영상으로부터 눈 탐지를 위해 입력 영상에 대해 균일도 지도를 생성해 눈의 대략적인 위치를 탐지한다. 그것을 바탕으로 정확한 눈의 영역 탐지를 위해 피부 영역 제거, 수평방향 에지 검출의 단계를 거친다.

정확히 탐지된 눈의 영역은 눈 높이 조정, 눈 높이 정렬 단계를 거쳐 눈의 높이를 눈의 뜬 정도를 판단하는데 이용할 수 있도록 하고, 입력된 다중 시점 영상에서 눈을 감은 영상을 걸러낸다. 실험을 통해 제안된 기법이 좋은 성능으로 영상을 걸러내는 것을 확인하였다.