비디오 프레임율 상향 변환 탐지를 위한 신경망 연구

Abstract

쉽고 정교한 비디오 편집 도구들의 발전으로 인해 누구나 쉽게 시각적인 흔적을 남기지 않고 비디오를 위조할 수 있게 되었고, 다양한 방법으로 조작된 비디오들은 정치, 법률적, 사회등 다양한 분야에서 많은 문제를 일으키고 있다. 비디오 프레임율 상향 변환은 비디오를 조작이 일어날 때 빈번히 발생하는 시간축 연산으로 재압축, 비디오 속도 조절, 클립 합성이 이루어질 때 발생하게 된다. 본 연구에서는 이러한 비디오 프레임율 상향 변환을 탐지하기 위한 신경망 학습 기반 방법을 도입한다. 프레임율 변환이 일어났을 때 발생하는 프레임들의 상관관계를 파악하기 위해 프레임의 차이로 생성되는 잔차 프레임을 연속적인 쌍으로 묶어 하나의 학습 단위로 만들고, 이를 신경망으로 학습시켜 동영상의 무결성을 판단하는데 사용한다. 이 학습 기반 기법은 적은 프레임 수를 가지고도 프레임율 변형을 판별할 수 있으며 목표로한 모든 보간 기법에 대하여 기존 연구들에 비하여 성능이 뛰어남을 확인하였다.