실제 적용 가능한 초고해상도화를 위한 이중 역투영 기반 내부 학습 방법 및 저품질 영상 생성 방법

Abstract

최근의 초고해상도화 방법들은 대부분 저해상도 영상은 고해상도 영상으로부터 이상적으로 생성되었다고 가정한다. 그렇기 때문에 이 방법들을 이 가정을 따르지 않는 실제 저해상도 영상에 적용할 경우, 제대로 초고해상도화를 수행할 수 없는 문제를 가지고 있다. 이 문제를 해결하기 위해서 무정보 초고해상도화 방법과 실제 적용 가능한 초고해상도화 방법들이 제안되었다. 무정보 초고해상도화 방법들은 다운스케일링 커널만이 다르다고 가정하고, 실제 적용 가능한 초고해상도화 방법들은 이에 더해 압축 에러, 잡음 등을 고려한다. 이 논문에서는 내부 학습 기반의 무정보 초고해상도화 방법과 실제 적용 가능한 초고해상도화를 위한 저품질 영상 생성 방법을 제안한다. 무정보 초고해상도화 방법을 위해서 우리는 다운스케일링을 하는 네트워크와 초고해상도화를 수행하는 네트워크를 내부 학습 방법을 기반으로 통합하여 학습하는 방법을 제안한다. 구체적으로는 두 네트워크를 학습하기 위해 이중 역투영 손실 함수를 제안하였다. 이중 역투영 손실 함수는 초고해상도화 네트워크가 다운스케일링 네트워크로부터 생성된 저해상도 영상을 다시 원 영상으로 복원하는 것을 목표로 하고, 다운스케일링 네트워크는 초고해상도화 네트워크가 생성한 영상을 다시 원 영상으로 만들 수 있도록 하는 것을 목표로 하게 한다. 이 방법을 확장하여, 실제 적용 가능한 초고해상도화를 위한 저품질 영상 생성 방법 또한 제안하였다. 이 방법에서는 저품질 영상을 생성하는 네트워크와 초고해상도화를 수행하는 네트워크를 동시에 학습하며, 저품질 영상 생성 네트워크는 고품질, 고해상도의 영상을 입력으로 받아 저품질, 저해상도 영상을 생성하며, 초고해상도화 네트워크는 저품질, 저해상도 영상을 입력으로 받아 고품질, 고해상도 영상을 복원할 수 있도록 한다. 제안하는 상호보완적인 학습 방법을 통해, 저해상도 영상 생성이 점차 실제와 비슷해지며, 이로 인해 초고해상도화의 성능을 향상시킬 수 있다. 실험으로부터 우리가 제안하는 방법이 기존의 무정보 초고해상도화 방법들과 실제 적용 가능한 초고해상도화 방법들에 비해 더 나은 초고해상도화 성능을 달성했음을 보인다.