단일 카메라에서 색상 채널 외삽법을 활용한 시간적 초해상 기법

Abstract

시간적 초해상 기법은 일반 카메라의 프레임률을 해당 카메라의 최대 프레임률 이상으로 올려서 영상을 찍은 것처럼, 기존 카메라에서 최대 프레임률보다 빠르게 발생했던 움직임들을 영상에 재구성해내는 것이다. 시간적 초해상 기법으로는 다수의 카메라를 사용하는 셋팅과 단일 카메라와 dmd(digital micromirror device)를 연계하여 사용하는 셋팅이 있다. 또한 최신 기법으로는 학습된 이미지 자료를 이용한 압축 감지(Compressive sensing) 기법이 있다. 본 논문에서는 컬러를 간단한 셋업으로 분할하는 방법과 색상 채널 외삽법을 활용하는 시간적 초해상 기법을 제안한다. 제안된 초해상 기법은 RGB 스트로보스코프 혹은 컬러휠 등을 이용하여 일반적인 카메라의 베이어 패턴으로부터 들어오는 정보들에 대하여 RGB 각 채널별로 다른 시점의 영상을 기록하도록 영상을 획득하고, 연속하는 채널간의 부족한 채널을 외삽하는 기법이며, 압축 감지 기법과 같은 기존 방법과 연구 동향과는 다른 관점으로 초해상을 한 새로운 시도이다. 본 논문에서는 연속하는 채널정보를 옵티컬 플로우(Optical flow)기반으로 전경(Fore ground)과 배경(Back ground)를 분리해내는 배경 감법(Back ground subtracition)을 활용하여 시점별로 부족한 채널의 정보를 만들었다. 제안된 방법은 복원된 영상의 화질이 뛰어나고, 해상도의 손실이 적으며 프레임률을 3배로 늘릴 수 있다. 또한 기존의 다른 알고리즘과 결합되어 사용될 수 있다.