얼굴 영상 분석을 위한 다중 모달 딥러닝 모델 연구

Abstract

사람의 얼굴을 분석하면 신원을 특정하거나 기분, 상태를 확인 할 수 있다. 컴퓨터 비전 분야에서는 영상 내의 얼굴을 분석하기 위해 얼굴 영역을 분할하는 딥러닝 기반의 기법들이 지속적으로 연구되고 있다. 최근에는 디지털 휴먼 생성 기술이 주목 받으면서, 얼굴 영역 분할, 깊이, 법선 벡터 등의 정보를 분석하는 기반 기술의 수요가 증가하고 있다. 이에 따라 앞서 언급된 다중 모달정보를 분석하는 기법들이 제안되고있다. 본고에서는 디지털 휴먼 기술 발전에 따른 얼굴 영상 분석 기술의 수요에 맞추어 얼굴 영상에서 여러 분석 정보를 추출하는 새로운 다중 모달 딥러닝 모델을 제안한다. 제안 모델은 실시간으로 얼굴 영상을 분석할 수 있는 속도를 가지면서, 얼굴 영상 분석 정확도(mIoU) 측면에서 높은 성능을 보인다.