본 발명은 깊이 이미지를 이용한 다시점 객체 분리 방법 및 시스템에 관한 것으로, 이는 기준 컬러 이미지와 깊이 이미지를 시점 일치시킨 후, 상기 깊이 이미지를 기반으로 타겟 이미지 각각에 대응되는 깊이 이미지들을 획득하고, 이들을 기반으로 시점간 대응 영역을 생성하는 시스템 셋업 단계; 및 상기 타겟 이미지 각각의 컬러 정보를 기반으로 단일 이미지 에너지 항을 생성하고, 상기 시점간 대응 영역을 기반으로 시점간 컬러와 깊이 정보 차이를 반영하는 시점 간 에너지 항을 추가로 생성한 후, MRF(Markov Random Field) 에너지 최적화를 통해 상기 타겟 이미지 각각에 포함된 객체를 분리하는 객체 분리 단계를 포함하여, 시점간 일관성을 유지하여 객체 분리 동작을 수행할 수 있도록 한다.