본 발명은 의미론적 객체 매칭을 통한 파노라마 텍스처 매핑 방법 및 시스템에 관한 것으로, 거리 뷰 이미지에서 의미론적 정보를 추출하는 단계, 사용자의 움직임에 따른 카메라 뷰 이미지에 대한 G-버퍼를 렌더링하며, 상기 G-버퍼에서 각 픽셀을 상기 거리 뷰 이미지로 매핑하는 파노라마 이미지 매핑을 수행하는 단계 및 상기 의미론적 정보와 상기 G-버퍼를 이용하여 깊이 테스트, 의미 객체 매칭 테스트 및 3D 인페인팅(inpainting)을 통해 상기 카메라 뷰 이미지와 상기 거리 뷰 이미지에 대한 파노라마 텍스처 매핑을 수행하는 단계를 포함한다.