본 발명은 복제 비디오 여부를 판별하는 기법에 관한 것으로, 복제 비디오 검출 장치에서 입력 비디오를 샷단위로 분할하고, 분할된 각각의 샷에서 키 프레임을 각각 추출한 후에, 추출된 각각의 키 프레임에 대한 시각 정보를 추출하며, 추출된 시각 정보와, 기 정의된 의미 모델, 이미지 데이터베이스 및 폭소노미 이미지 중 어느 하나를 이용하여 의미 정보를 검출하고, 검출된 의미 정보를 이용하여 의미 기반의 비디오 색인을 생성한 후에, 생성된 의미 기반의 비디오 색인과 기준 비디오 색인을 비교하여 복제 비디오 여부를 판별함으로써, 입력 비디오의 복제 여부를 쉽게 판별할 수 있는 것이다.