적외선 영상을 위한 딥러닝 기반 실시간 동영상 안정화

Abstract

이미 촬영된 동영상의 품질을 카메라의 물리적 한계를 극복하여 향상하는 연구가 활발하게 진행되어왔다. 특히 동영상 안정화는, 외부적인 요인에 의해 흔들리는 카메라로부터 획득한 불안정한 동영상을 흔들리지 않는 동영상으로 변환하는 기술이며, 고품질의 동영상을 획득하기 위한 필수적인 연구 분야이다. 본 논문에서는 가시광선 정보가 부족한 저조도 환경에서 중요하게 사용되고 있는 적외선 동영상이, 차량 혹은 소형 비행 물체 등에서 촬영되어 물리적인 작은 흔들림이 발생하였을 때 이를 실시간으로 안정화할 수 있는 두 가지 딥러닝 기반 모델을 제안한다. 제안하는 모델은 불안정한 동영상과 정답 안정한 동영상 학습 데이터 페어가 없는 환경에서 학습할 수 있는 자기 지도 학습 모델이다. 우리가 제안하는 안정화 모델 두 가지는, 적외선 동영상(해상도: 640x512)에 대하여 실시간 프레임 처리율(>30 fps)과 함께 기존 딥러닝 기반 온라인 안정화 모델보다 더 좋은 안정화 정도를 보이는 것을 수치적 평가 및 결과 영상을 통해 확인하였다.