심층 학습에 기반하여 시네마그래프를 생성하는 방법

Abstract

시네마그래프(Cinemagraph)를 생성하기 위하여 DNN(Deep Neural Network)을 학습시키는 방법이 개시된다. 개시된 방법은, 입력 비디오를 이용하여 전경 계층(foreground layer) 입력을 준비하는 단계, 상기 입력 비디오를 이용하여 배경 계층(background layer) 입력을 준비하는 단계, 상기 전경 계층 입력 및 상기 배경 계층 입력을 DNN(Deep Neural Network)으로 입력하여 상기 DNN으로부터 전경 계층 출력 및 배경 계층 출력이 제공되도록 하는 단계, 상기 전경 계층 출력 및 상기 배경 계층 출력을 합성하여 출력 비디오를 제공하는 단계, 및 상기 입력 비디오, 상기 전경 계층 입력, 상기 전경 계층 출력, 상기 배경 계층 출력 및 상기 출력 비디오에 근거하여 상기 DNN의 내부 파라미터들을 복수회 갱신하는 단계를 포함할 수 있다.