3차원 특징맵 병합 콘볼루션 신경망 기반 비디오 초해상화

Abstract

본 논문은 비디오 초해상화에 있어, 영상 처리 또는 컴퓨터 비전 분야에서 흔히 사용하는 2 차원 콘볼루션 신경망이 아닌, 비디오를 효과적으로 다루기 위한 3 차원 콘볼루션 신경망 구조를 제안한다. 콘볼루션 신경망 내의 각 콘볼루션 계층에서는 같은 크기의 콘볼루션 필터를 사용하는 것이 일반적이지만, 본 논문에서는 동일 계층에서 서로 다른 깊이의 3 차원 필터를 사용해 병합하는 방법을 제안한다. 이는 동일 깊이의 콘볼루션 필터를 사용하는 것에 비해 계층의 시간적 수용 영역을 다각화 함으로써, 콘볼루션 계층이 보다 다양한 특징을 추출할 수 있도록 하는 목적이다. 3 차원 콘볼루션 신경망은 사용하는 콘볼루션 필터의 깊이에 따라서 서로 다른 특성의 영상에 강세를 보이는 것을 확인하였다. 결과적으로, 기존의 딥러닝 기반 초해상화 방법에 비해 최대 1.22 dB 향상된 성능을 얻을 수 있다.