본 발명은 고해상도 컬러 영상과의 시간적 일관성을 유지시키면서 깊이 영상을 업샘플링할 수 있도록 함으로써, 보다 높은 정확성과 신뢰성을 가지는 깊이 영상을 획득할 수 있도록 하는 깊이 영상 업샘플링 방법 및 장치에 관한 것으로, 상기 깊이 영상 업샘플링 장치의 깊이 영상 업샘플링 방법은, X,Y 방향의 결합형 양방향 필터를 기반으로 고해상도의 컬러 영상을 이용하여 저해상도의 깊이 영상을 업샘플링 단계; X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 고해상도의 컬러 영상을 이용하여 옵티컬 플로우를 개선하는 단계; 및 상기 X,Y,T 방향의 결합형 양방향 필터를 기반으로 상기 개선된 옵티컬 플로우를 이용하여 상기 업샘플링된 깊이 영상을 보정함으로써, 상기 업샘플링된 깊이 영상의 시간적 일관성을 유지시키는 단계를 포함할 수 있다.