심층 신경망 구조를 이용한 프레임 보간 방법 및 장치

Abstract

본 발명은 심층 신경망 구조를 이용하여 프레임 사이의 중간 프레임을 생성하는 프레임 보간 방법 및 장치에 관한 것으로, 입력 프레임 사이의 중간 프레임을 획득하는 방법은 제1 입력 프레임, 제2 입력 프레임 및 제3 입력 프레임의 3개의 연속적인 입력 프레임을 획득하는 동작, 상기 3개의 입력 프레임에 기초하여 각 입력 프레임의 광학 흐름 특징을 포함하는 8개의 흐름 맵(flow map)을 획득하는 동작, 획득한 상기 8개의 흐름 맵에 기초하여 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵을 획득하는 동작, 획득한 상기 3개의 입력 프레임에서 중간 프레임으로의 흐름 맵의 흐름 정보에 기초하여 상기 3개의 입력 프레임을 와핑(warping)하여 와핑된 프레임을 생성하는 동작 및 상기 와핑된 프레임에 기초하여 상기 제1 입력 프레임과 상기 제2 입력 프레임의 중간 프레임(이하 제1 중간 프레임) 및 상기 제2 입력 프레임과 상기 제3 입력 프레임의 중간 프레임(이하 제2 중간 프레임)을 생성하는 동작을 포함할 수 있으며, 이에 의해 비선형 운동 및 빠른 움직임이 있는 영상에 대해서도 효과적으로 중간 프레임을 생성할 수 있을 것이다.