영상 처리 장치가 제공된다. 영상 처리 장치는 입력 비디오 데이터에 포함된 복수 개의 프레임 영상 및 렌더링하고자 하는 목표 시점을 참고하여, 영상 처리 모드를 결정한다. 상기 영상 처리 모드가 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 3D 모델을 생성하는 제1 모드인 경우, 영상 처리 장치는 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 3D 모델을 생성한다. 그리고, 상기 영상 처리 모드가 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 2D 변환을 수행하는 제2 모드인 경우, 상기 영상 처리 장치는 상기 복수 개의 프레임 영상 중 적어도 일부를 이용하여 2D 변환을 수행한다.