실시간 비디오 스트리밍에서의 초해상화 가속을 위한 장치 및 방법

Abstract

실시간 비디오 스트리밍에서의 초해상화 가속을 위한 장치 및 방법을 개시한다. 본 실시예는, 모바일 디바이스 상에서의 실시간 비디오 스트리밍(real-time video streaming)에 있어서, 모바일 디바이스의 컴퓨팅 용량(computing capacity)으로 수용이 가능하면서도 대역폭 제약 하에서도 사용자 QoE(Quality of Experience)를 유지하는 것을 목적으로 한다. 이를 위하여, 심층신경망(Deep Neural Network: DNN) 기반의 SR을 소수의 기 선정된 프레임에 적용하고, SR이 적용된 프레임을 이용하여 나머지 프레임의 해상도를 향상시키되, 기 설정된 품질 마진 이내에서 SR을 적용하기 위한 프레임을 선별한다. 또한, 모바일 디바이스의 컴퓨팅 용량 및 비디오 특화적인(video-specific) 제약 하에서의 실시간 비디오 스트리밍을 위하여, 서버는 심층신경망에 대한 다중 옵션(multiple option), 및 SR 적용 정보를 포함하는 캐시 프로파일(cache profile)을 전달하고, 모바일 디바이스는 컴퓨팅 용량에 적합한 옵션을 선택하는 것이 가능한 SR 가속을 위한 장치 및 방법을 제공한다.